AI SEO a roboty
Kontrola AI robotov
Zistite, či robots.txt obmedzuje ChatGPT, Claude, Perplexity alebo Google. Oddeľte vyhľadávanie od použitia obsahu na tréning.
Čo vám kontrola ukáže
AI roboty nepoužívajú všetky obsah rovnakým spôsobom. Jeden pripravuje podklady pre vyhľadávanie, iný zbiera dáta na tréning. Táto kontrola načíta robots.txt a pre konkrétnu zadanú URL ukáže rozhodujúcu skupinu aj pravidlo. Pomôže odhaliť nechcené obmedzenie bez toho, aby každé blokovanie označovala za chybu.
- Sedem identifikátorov: OAI-SearchBot, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot, Googlebot a Google-Extended.
- Samostatné pravidlá robota, náhradná skupina * a zlúčenie opakovaných skupín.
- Zhoda cesty a parametrov URL vrátane zástupného znaku * a ukončenia pomocou $.
- Rozdiel medzi obmedzením, chýbajúcim súborom a neoverenou odpoveďou servera.
Ako s výsledkom pracovať
Zadajte dôležitú podstránku, napríklad detail služby. Pri obmedzení si pozrite rozhodujúci riadok a zvážte, či zodpovedá vášmu zámeru. Po úprave robots.txt kontrolu zopakujte aj pre inú sekciu webu. Zmeny sa u jednotlivých služieb nemusia prejaviť okamžite.
Viditeľnosť v AI a kontrola použitia obsahu
OAI-SearchBot súvisí s vyhľadávaním v ChatGPT, GPTBot s tréningom modelov OpenAI. Povolenie jedného preto nevyžaduje povolenie druhého. Rozhodnutie o tréningu je vecou prevádzkovateľa webu; nástroj ho nehodnotí ako chybu.
Google-Extended je riadiaci identifikátor pre vybrané použitia obsahu v Gemini. Neovláda zaradenie do Google Search. Pri AI funkciách vo vyhľadávaní riešte aj Googlebot, indexovanie a obmedzenia úryvkov.
Čo preveriť pri odmietnutom prístupe
Povolené pravidlo ešte nepotvrdzuje, že robot stránku naozaj načíta. Firewall, ochrana pred botmi či prihlásenie môžu požiadavku zastaviť. Skutočné návštevy overte v záznamoch servera a identitu robota podľa dokumentácie poskytovateľa. Samotný názov User-Agent nie je dôkaz identity.
Časté otázky
Znamená povolenie robota, že ma ChatGPT odporučí?
Nie. Výsledok opisuje iba pravidlá robots.txt pre zadanú adresu. Neoveruje kvalitu odpovede, index služby ani to, či vás vyberie ako zdroj.
Môžem zakázať tréning a ponechať vyhľadávanie?
Áno, tam, kde poskytovateľ ponúka samostatné identifikátory. Napríklad OpenAI oddeľuje GPTBot od OAI-SearchBot. Nastavenia posudzujte podľa účelu konkrétneho robota.
Prečo kontrolovať podstránku, nie iba doménu?
Pravidlo môže obmedzovať iba určitý adresár alebo URL s parametrom. Povolená titulka nevylučuje blokovanie produktov, článkov či dokumentácie.
Čo znamená Neoverené?
Nepodarilo sa získať použiteľné pravidlá alebo bezpečne vyhodnotiť ich zložitosť. Napríklad odmietnutie serverom ani časový limit nie sú dôkazom zákazu pre konkrétneho robota.
Musím každého robota výslovne povoliť?
Nie. Ak nenájde vlastnú skupinu, použije sa skupina *. Ak neexistuje zodpovedajúci zákaz, nástroj uvedie, že robots.txt prístup neobmedzuje.
Ochráni Disallow súkromný obsah?
Nie. robots.txt je verejný pokyn pre spolupracujúce roboty. Súkromný obsah musí chrániť overovanie prístupu na serveri.
