Pereiti prie turinio

Nemokamas įrankis · be registracijos

AI robotų tikrinimas

AI robotų tikrinimas parodo, ar ChatGPT, Claude, Perplexity, Google ir Bing robotai gali pasiekti puslapį ir kas juos sustabdo: robots.txt taisyklė ar serverio ugniasienė. Tikrinimas nemokamas, veikia be registracijos ir be rakto, o tą patį rezultatą grąžina REST API ir MCP serveris AI agentams.

  1. 1

    Perskaito robots.txt

    Kiekvienam iš 13 robotų randa taikomą taisyklę pagal robots.txt standartą RFC 9309.

  2. 2

    Užklausia puslapį kiekvieno roboto vardu

    Siunčia roboto User-Agent ir atsakymą palygina su įprastos naršyklės atsakymu.

  3. 3

    Parodo kiekvieną AI variklį

    ChatGPT, Claude, Perplexity, Google ir Bing kortelėse matyti paieška, apsilankymai realiu laiku ir mokymas.

Sukūrė Mantas Tamošaitis, SEO specialistas Lietuvoje · Kodas GitHub

Kas yra AI robotas?

AI robotas (angl. AI crawler) – programa, kuria AI įmonė lanko tinklalapius: indeksuoja juos AI paieškai, atidaro naudotojo prašymu arba renka turinį modeliams mokyti.

AI robotų tikrinimas palygina du dalykus: ką kiekvienam robotui leidžia robots.txt ir ką serveris atsako to roboto User-Agent.

Kuo skiriasi AI paieškos, naudotojo ir mokymo robotai?

AI robotai skirstomi į tris rūšis pagal paskirtį: paieškos, naudotojo užklausų ir mokymo.

Paieškos robotai

Renka puslapius paieškos rezultatams.

OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot

robots.txt: Anthropic ir Google nurodo, kad jų robotai laikosi robots.txt taisyklių.

Naudotojo užklausų robotai

Atidaro puslapį, kai naudotojas apie jį klausia.

ChatGPT-User, Claude-User, Perplexity-User

robots.txt: OpenAI nurodo, kad ChatGPT-User gali būti netaikomos robots.txt taisyklės, o Perplexity-User robots.txt dažniausiai ignoruoja.

Mokymo robotai

Renka turinį, kuris gali būti naudojamas AI modeliams mokyti.

GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended

robots.txt: Google-Extended ir Applebot-Extended yra tik robots.txt žymos: atskiru robotu jos svetainės nelanko.

Kaip patikrinti, ar ChatGPT pasiekia svetainę?

ChatGPT prieigą rodo OAI-SearchBot ir ChatGPT-User rezultatai, ne GPTBot. OAI-SearchBot lemia, ar svetainė rodoma ChatGPT paieškos rezultatuose; ChatGPT-User atidaro puslapį, kai naudotojas ChatGPT apie jį klausia. OpenAI nurodo, kad robots.txt pakeitimas ChatGPT paiešką pasiekia per maždaug 24 valandas.

Verslas taip pat gali užregistruoti savo įrašą ChatGPT Business Hub.

Kodėl AI robotus blokuoja Cloudflare ar serveris, nors robots.txt leidžia?

Cloudflare valdomas robots.txt prideda Disallow taisykles AI robotams failo pradžioje, kai AI robotų politikoje pasirinktas blokavimas, o jei svetainė robots.txt neturi, Cloudflare sukuria naują failą su šiomis taisyklėmis. Ši funkcija prieinama visuose Cloudflare planuose. Talpinimo saugumo taisyklės ir srauto ribotuvai AI robotus dažnai atmeta atsakymu 403 ar 429 dar prieš perskaitant robots.txt.

Tikrinimas Cloudflare įrašytas taisykles pažymi „pridėjo Cloudflare“: jos keičiamos Cloudflare valdymo skydelyje, ne svetainės failuose. AI robotų prieiga yra paskutinis SEO audito checklist patikrinimas.

Kaip robots.txt leisti AI paieškos robotus ir blokuoti mokymo robotus?

Kiekvienam robotui robots.txt skiriama atskira User-agent eilutė su Allow arba Disallow taisykle. Šis pavyzdys leidžia AI paieškai rodyti svetainę ir neleidžia turinio naudoti mokymui:

# Leisti AI paieškai rodyti svetainę, neleisti turinio naudoti mokymui
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

Pagal RFC 9309 robotų vardai lyginami neatsižvelgiant į didžiąsias ir mažąsias raides, o kai tinka kelios taisyklės, galioja ilgiausia, labiausiai konkreti taisyklė. Jei robots.txt grąžina serverio klaidą (500–599), robotas turi laikyti, kad draudžiama visa svetainė; jei failo nėra (400–499), robotas gali lankyti visus puslapius.

Ką reiškia kiekvienas rezultatas

Leidžiama
robots.txt robotą įleidžia, serveris atsako kaip naršyklei.
Draudžiama (robots.txt)
Taikoma Disallow taisyklė; rodoma taisyklė ir jos user-agent grupė.
Užblokuota (serveris / ugniasienė)
robots.txt leidžia, serveris atmeta User-Agent: 403, 429, nutrūkęs ryšys, patikrinimo ar captcha puslapis.
Neaišku
Ugniasienė atmeta ir netikrą Googlebot, vadinasi, tikrina robotų IP; tikrasis robotas gali patekti.
Patikrinti
HTTP 200, bet atsakymas mažesnis nei penktadalis naršyklės atsakymo.
Puslapio klaida
Klaidą gauna ir įprasta naršyklė.

Naudokite iš kodo ar AI agento

Tas pats tikrinimas veikia kaip REST API ir nuotolinis MCP serveris, be rakto. Kodas ir agento įgūdis yra GitHub su MIT licencija.

REST API

curl "https://tools.seopaslaugos.io/v1/check?url=example.com"
curl "https://tools.seopaslaugos.io/v1/check?url=example.com&bots=GPTBot,ClaudeBot&format=text"

OpenAPI specifikacija: tools.seopaslaugos.io/openapi.json

MCP serveris Claude, Cursor, ChatGPT ir kitiems klientams

Streamable HTTP adresas https://tools.seopaslaugos.io/mcp, vienas įrankis: check_ai_bot_access.

{
  "mcpServers": {
    "ai-bot-access-checker": {
      "type": "http",
      "url": "https://tools.seopaslaugos.io/mcp"
    }
  }
}

Claude Code ir Cursor šį bloką skaito iš .mcp.json / .cursor/mcp.json jūsų projekte.

01

Kaip robots.txt užblokuoti GPTBot?

GPTBot blokuojamas dviem robots.txt eilutėmis: User-agent: GPTBot ir Disallow: /. Pagal OpenAI, GPTBot draudimas reiškia, kad nuskaitytas turinys neturėtų būti naudojamas OpenAI modeliams mokyti. ChatGPT paieškai tai neturi įtakos: OAI-SearchBot nustatymas nepriklauso nuo GPTBot, o svetainės, uždraudusios OAI-SearchBot, ChatGPT paieškos atsakymuose nerodomos, nors gali pasirodyti kaip navigacinės nuorodos.

02

Kaip atpažinti tikrą GPTBot?

Tikras GPTBot savo User-Agent eilutėje turi žymą GPTBot su versijos numeriu (compatible; GPTBot/1.4; +https://openai.com/gptbot) ir ateina iš IP adresų, kuriuos OpenAI skelbia faile openai.com/gptbot.json. OpenAI nurodo, kad versijos numeris gali keistis.

03

Ar Google-Extended draudimas robots.txt pašalina svetainę iš AI apžvalgų?

Ne, Google-Extended draudimas robots.txt neturi įtakos svetainės patekimui į Google paiešką ir nėra reitingavimo signalas. Google-Extended valdo, ar turinys gali būti naudojamas Gemini modeliams mokyti. Kad puslapis būtų nuoroda AI apžvalgose ar AI režime, jis turi būti suindeksuotas ir tinkamas rodyti Google paieškoje su ištrauka.

04

Kiek tikslus AI robotų tikrinimo rezultatas?

AI robotų tikrinimo robots.txt dalis vadovaujasi RFC 9309. Serverio dalis siunčia kiekvieno roboto paskelbtą User-Agent iš Cloudflare tinklo, ne iš AI įmonių IP adresų. Taip aptinkamas blokavimas pagal User-Agent, kurį naudoja dauguma talpinimo ugniasienių, o kai ugniasienė tikrina robotų IP, rezultatas rodo „Neaišku“ ir nespėja.

05

Ar AI robotų tikrinimas nemokamas?

Taip, AI robotų tikrinimas nemokamas, be registracijos ir be rakto. Iš vieno IP adreso galima atlikti 20 patikrinimų per minutę, o vieną svetainę visi naudotojai kartu gali tikrinti 6 kartus per minutę, kad tikrinimu nebūtų galima apkrauti svetainės. To paties URL rezultatas saugomas 10 minučių.

06

Ar AI robotų prieiga reiškia, kad ChatGPT rekomenduos verslą?

Ne, AI robotų prieiga yra tik pirmas AI matomumo žingsnis. AI SEO darbai prasideda nuo Google paieškos pagrindo ir AI robotų prieigos, o paskui matuojama, ar verslas įvardijamas ChatGPT, AI Overviews, Gemini ir Perplexity atsakymuose. Ar AI atsakymai verslą mini, parodo nemokamas SEO auditas su AI matomumo auditu.

Užsakymų gali būti daugiau. Nuo kito mėnesio.

  • ✓Nemokama nišos analizė
  • ✓Jokių įsipareigojimų
  • ✓30 minučių

Gaukite nemokamą augimo planą

Užpildykite – per 1 darbo dieną susisieksime ir sutarsime 30 min. pokalbį.

Užpildę formą sutinkate, kad susisieksime dėl jūsų užklausos. Duomenų neperduodame tretiesiems asmenims – privatumo politika.