Technické SEO
Kontrola robots.txt
Prečítajte pravidlá pre roboty, nájdite odkazy na sitemapy a overte plošné blokovanie v správnej skupine User-agent.
Čo vám kontrola ukáže
Súbor robots.txt určuje pravidlá pre prehľadávanie webu. Prehľad rozdelí direktívy podľa skupín robotov a zachová pôvodný text, aby sa pravidlá rôznych skupín nezamieňali.
- HTTP odpoveď súboru robots.txt.
- Skupiny User-agent a direktívy Allow, Disallow a Sitemap.
- Plošné Disallow: / pre všeobecnú skupinu robotov.
Ako s výsledkom pracovať
Skontrolujte najmä pravidlá po presune webu z testovacej prevádzky. Pri zložitejších kombináciách Allow a Disallow posudzujte konkrétnu cestu; samotný zoznam nenahrádza simuláciu všetkých robotov.
Najprv si určte, čo má robot prechádzať
Robots.txt rieši prístup robotov k URL, nie prístup ľudí ani zabezpečenie obsahu. Pravidlá sa čítajú po skupinách User-agent. Vlastné meno robota a hviezdička môžu mať odlišné pravidlá; preto sa jednotlivé riadky nesmú vytrhnúť zo svojej skupiny. Citlivé údaje chráňte prihlásením a oprávneniami.
Príklad: testovací zákaz zostal po spustení webu
Po presune webu na verejnú doménu skontrolujte, či nezostalo široké Disallow: / v skupine, ktorá sa týka zamýšľaného robota. Pred odstránením si potvrďte účel nastavenia. Potom overte aj meta robots a X-Robots-Tag na dôležitých stránkach, pretože ide o odlišné mechanizmy.
Časté otázky
Odstráni Disallow stránku z Googlu?
Nie spoľahlivo. Disallow obmedzuje prehľadávanie. Na zákaz indexovania sa používa noindex, ku ktorému sa robot musí vedieť dostať.
Prečo sa pravidlá zobrazujú po skupinách?
Každá skupina môže platiť pre iný User-agent. Pravidlo pre konkrétneho robota sa nesmie automaticky pripísať všetkým ostatným.
Je chýbajúci robots.txt kritická chyba?
Nie vždy. HTTP 404 pri robots.txt zvyčajne neznamená zákaz prehľadávania. Dôležité je vedieť, aké pravidlá má váš web používať.
Musím zadávať celú cestu k robots.txt?
Stačí doména alebo stránka z príslušného webu. Nástroj použije súbor robots.txt v koreni danej domény. Pravidlá subdomény sa posudzujú samostatne.
Vyhodnotí nástroj konkrétnu cestu pre každého robota?
Zobrazí skupiny a základné upozornenia. Nejde o úplný simulátor správania všetkých robotov ani o potvrdenie, že robot pravidlá skutočne dodržal.
Môžem ním skryť súkromné súbory?
Nie. Robots.txt je verejne dostupný a jeho pokyny nie sú prístupové oprávnenia. Súkromné súbory nevystavujte verejne a chráňte ich overením identity alebo konfiguráciou servera.
