Technické SEO
Kontrola robots.txt
Prečítajte pravidlá pre roboty, nájdite odkazy na sitemapy a overte plošné blokovanie v správnej skupine User-agent.
Čo vám kontrola ukáže
Súbor robots.txt určuje pravidlá pre prehľadávanie webu. Prehľad rozdelí direktívy podľa skupín robotov a zachová pôvodný text, aby sa pravidlá rôznych skupín nezamieňali.
- HTTP odpoveď súboru robots.txt.
- Skupiny User-agent a direktívy Allow, Disallow a Sitemap.
- Plošné Disallow: / pre všeobecnú skupinu robotov.
Ako s výsledkom pracovať
Skontrolujte najmä pravidlá po presune webu z testovacej prevádzky. Pri zložitejších kombináciách Allow a Disallow posudzujte konkrétnu cestu; samotný zoznam nenahrádza simuláciu všetkých robotov.
Časté otázky
Odstráni Disallow stránku z Googlu?
Nie spoľahlivo. Disallow obmedzuje prehľadávanie. Na zákaz indexovania sa používa noindex, ku ktorému sa robot musí vedieť dostať.
Prečo sa pravidlá zobrazujú po skupinách?
Každá skupina môže platiť pre iný User-agent. Pravidlo pre konkrétneho robota sa nesmie automaticky pripísať všetkým ostatným.
Je chýbajúci robots.txt kritická chyba?
Nie vždy. HTTP 404 pri robots.txt zvyčajne neznamená zákaz prehľadávania. Dôležité je vedieť, aké pravidlá má váš web používať.