Nemokamas įrankis · be registracijos
AI robotų tikrinimas
AI robotų tikrinimas parodo, ar ChatGPT, Claude, Perplexity, Google ir Bing robotai gali pasiekti puslapį ir kas juos sustabdo: robots.txt taisyklė ar serverio ugniasienė. Tikrinimas nemokamas, veikia be registracijos ir be rakto, o tą patį rezultatą grąžina REST API ir MCP serveris AI agentams.
- 1
Perskaito robots.txt
Kiekvienam iš 13 robotų randa taikomą taisyklę pagal robots.txt standartą RFC 9309.
- 2
Užklausia puslapį kiekvieno roboto vardu
Siunčia roboto User-Agent ir atsakymą palygina su įprastos naršyklės atsakymu.
- 3
Parodo kiekvieną AI variklį
ChatGPT, Claude, Perplexity, Google ir Bing kortelėse matyti paieška, apsilankymai realiu laiku ir mokymas.
Sukūrė Mantas Tamošaitis, SEO specialistas Lietuvoje · Kodas GitHub
Kas yra AI robotas?
AI robotas (angl. AI crawler) – programa, kuria AI įmonė lanko tinklalapius: indeksuoja juos AI paieškai, atidaro naudotojo prašymu arba renka turinį modeliams mokyti.
AI robotų tikrinimas palygina du dalykus: ką kiekvienam robotui leidžia robots.txt ir ką serveris atsako to roboto User-Agent.
Kuo skiriasi AI paieškos, naudotojo ir mokymo robotai?
AI robotai skirstomi į tris rūšis pagal paskirtį: paieškos, naudotojo užklausų ir mokymo.
Paieškos robotai
Renka puslapius paieškos rezultatams.
OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot
robots.txt: Anthropic ir Google nurodo, kad jų robotai laikosi robots.txt taisyklių.
Naudotojo užklausų robotai
Atidaro puslapį, kai naudotojas apie jį klausia.
ChatGPT-User, Claude-User, Perplexity-User
robots.txt: OpenAI nurodo, kad ChatGPT-User gali būti netaikomos robots.txt taisyklės, o Perplexity-User robots.txt dažniausiai ignoruoja.
Mokymo robotai
Renka turinį, kuris gali būti naudojamas AI modeliams mokyti.
GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended
robots.txt: Google-Extended ir Applebot-Extended yra tik robots.txt žymos: atskiru robotu jos svetainės nelanko.
Kaip patikrinti, ar ChatGPT pasiekia svetainę?
ChatGPT prieigą rodo OAI-SearchBot ir ChatGPT-User rezultatai, ne GPTBot. OAI-SearchBot lemia, ar svetainė rodoma ChatGPT paieškos rezultatuose; ChatGPT-User atidaro puslapį, kai naudotojas ChatGPT apie jį klausia. OpenAI nurodo, kad robots.txt pakeitimas ChatGPT paiešką pasiekia per maždaug 24 valandas.
Verslas taip pat gali užregistruoti savo įrašą ChatGPT Business Hub.
Kodėl AI robotus blokuoja Cloudflare ar serveris, nors robots.txt leidžia?
Cloudflare valdomas robots.txt prideda Disallow taisykles AI robotams failo pradžioje, kai AI robotų politikoje pasirinktas blokavimas, o jei svetainė robots.txt neturi, Cloudflare sukuria naują failą su šiomis taisyklėmis. Ši funkcija prieinama visuose Cloudflare planuose. Talpinimo saugumo taisyklės ir srauto ribotuvai AI robotus dažnai atmeta atsakymu 403 ar 429 dar prieš perskaitant robots.txt.
Tikrinimas Cloudflare įrašytas taisykles pažymi „pridėjo Cloudflare“: jos keičiamos Cloudflare valdymo skydelyje, ne svetainės failuose. AI robotų prieiga yra paskutinis SEO audito checklist patikrinimas.
Kaip robots.txt leisti AI paieškos robotus ir blokuoti mokymo robotus?
Kiekvienam robotui robots.txt skiriama atskira User-agent eilutė su Allow arba Disallow taisykle. Šis pavyzdys leidžia AI paieškai rodyti svetainę ir neleidžia turinio naudoti mokymui:
# Leisti AI paieškai rodyti svetainę, neleisti turinio naudoti mokymui
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: / Pagal RFC 9309 robotų vardai lyginami neatsižvelgiant į didžiąsias ir mažąsias raides, o kai tinka kelios taisyklės, galioja ilgiausia, labiausiai konkreti taisyklė. Jei robots.txt grąžina serverio klaidą (500–599), robotas turi laikyti, kad draudžiama visa svetainė; jei failo nėra (400–499), robotas gali lankyti visus puslapius.
Ką reiškia kiekvienas rezultatas
- Leidžiama
- robots.txt robotą įleidžia, serveris atsako kaip naršyklei.
- Draudžiama (robots.txt)
- Taikoma Disallow taisyklė; rodoma taisyklė ir jos user-agent grupė.
- Užblokuota (serveris / ugniasienė)
- robots.txt leidžia, serveris atmeta User-Agent: 403, 429, nutrūkęs ryšys, patikrinimo ar captcha puslapis.
- Neaišku
- Ugniasienė atmeta ir netikrą Googlebot, vadinasi, tikrina robotų IP; tikrasis robotas gali patekti.
- Patikrinti
- HTTP 200, bet atsakymas mažesnis nei penktadalis naršyklės atsakymo.
- Puslapio klaida
- Klaidą gauna ir įprasta naršyklė.
Naudokite iš kodo ar AI agento
Tas pats tikrinimas veikia kaip REST API ir nuotolinis MCP serveris, be rakto. Kodas ir agento įgūdis yra GitHub su MIT licencija.
REST API
curl "https://tools.seopaslaugos.io/v1/check?url=example.com"
curl "https://tools.seopaslaugos.io/v1/check?url=example.com&bots=GPTBot,ClaudeBot&format=text" OpenAPI specifikacija: tools.seopaslaugos.io/openapi.json
MCP serveris Claude, Cursor, ChatGPT ir kitiems klientams
Streamable HTTP adresas https://tools.seopaslaugos.io/mcp, vienas įrankis: check_ai_bot_access.
{
"mcpServers": {
"ai-bot-access-checker": {
"type": "http",
"url": "https://tools.seopaslaugos.io/mcp"
}
}
} Claude Code ir Cursor šį bloką skaito iš .mcp.json / .cursor/mcp.json jūsų projekte.
01Kaip robots.txt užblokuoti GPTBot?
GPTBot blokuojamas dviem robots.txt eilutėmis: User-agent: GPTBot ir Disallow: /. Pagal OpenAI, GPTBot draudimas reiškia, kad nuskaitytas turinys neturėtų būti naudojamas OpenAI modeliams mokyti. ChatGPT paieškai tai neturi įtakos: OAI-SearchBot nustatymas nepriklauso nuo GPTBot, o svetainės, uždraudusios OAI-SearchBot, ChatGPT paieškos atsakymuose nerodomos, nors gali pasirodyti kaip navigacinės nuorodos.
02Kaip atpažinti tikrą GPTBot?
Tikras GPTBot savo User-Agent eilutėje turi žymą GPTBot su versijos numeriu (compatible; GPTBot/1.4; +https://openai.com/gptbot) ir ateina iš IP adresų, kuriuos OpenAI skelbia faile openai.com/gptbot.json. OpenAI nurodo, kad versijos numeris gali keistis.
03Ar Google-Extended draudimas robots.txt pašalina svetainę iš AI apžvalgų?
Ne, Google-Extended draudimas robots.txt neturi įtakos svetainės patekimui į Google paiešką ir nėra reitingavimo signalas. Google-Extended valdo, ar turinys gali būti naudojamas Gemini modeliams mokyti. Kad puslapis būtų nuoroda AI apžvalgose ar AI režime, jis turi būti suindeksuotas ir tinkamas rodyti Google paieškoje su ištrauka.
04Kiek tikslus AI robotų tikrinimo rezultatas?
AI robotų tikrinimo robots.txt dalis vadovaujasi RFC 9309. Serverio dalis siunčia kiekvieno roboto paskelbtą User-Agent iš Cloudflare tinklo, ne iš AI įmonių IP adresų. Taip aptinkamas blokavimas pagal User-Agent, kurį naudoja dauguma talpinimo ugniasienių, o kai ugniasienė tikrina robotų IP, rezultatas rodo „Neaišku“ ir nespėja.
05Ar AI robotų tikrinimas nemokamas?
Taip, AI robotų tikrinimas nemokamas, be registracijos ir be rakto. Iš vieno IP adreso galima atlikti 20 patikrinimų per minutę, o vieną svetainę visi naudotojai kartu gali tikrinti 6 kartus per minutę, kad tikrinimu nebūtų galima apkrauti svetainės. To paties URL rezultatas saugomas 10 minučių.
06Ar AI robotų prieiga reiškia, kad ChatGPT rekomenduos verslą?
Ne, AI robotų prieiga yra tik pirmas AI matomumo žingsnis. AI SEO darbai prasideda nuo Google paieškos pagrindo ir AI robotų prieigos, o paskui matuojama, ar verslas įvardijamas ChatGPT, AI Overviews, Gemini ir Perplexity atsakymuose. Ar AI atsakymai verslą mini, parodo nemokamas SEO auditas su AI matomumo auditu.
Užsakymų gali būti daugiau. Nuo kito mėnesio.
- ✓Nemokama nišos analizė
- ✓Jokių įsipareigojimų
- ✓30 minučių