Google Panda, robots.txt a WordPress

Během posledních dní se objevila docela zajímavá informace (česky) o tom, že mohou být některé weby penalizovány a ztrácet návštěvnost z vyhledávačů, pokud mají blokované indexování JS a CSS pomocí souboru robots.txt. Důležitý je ale zejména fakt, že je v současné době částečně postižen téměř každý web ve WordPressu.

WordPress automaticky generuje soubor robots.txt, a to prostřednictvím funkce do_robots(). Pokud si tedy vyhledávač prohlédne soubor robots.txt, tak se mu objeví následující výchozí obsah:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Problém je však v tom, že se v dnešní době už mnoho důležitého obsahu načítá z adresářů wp-includes/js a wp-includes/css. Kromě jQuery a všech souvisejících knihoven (pokud není načtena základní knihovna, tak nebudou fungovat ani další související skripty) jsou tam uloženy také soubory pro zobrazení mediálních přehrávačů, atd. Takže tímto způsobem vlastně soubory také nechtěně “blokujete”.

Vyzkoušet si vše můžete v Nástrojích pro webmastery, a to v sekcích Laboratoř Google – Dynamické náhledy a zejména Procházení – Načíst jako Google – Načíst a vykreslit. Zde můžete vygenerovat náhled svého webu a uvidíte, zda je tam nějaký problém s načítáním souborů “zakázaných” pomocí robots.txt. Osobně si myslím, že by se problémy s návštěvností mohly objevit pouze v případech, kdy zakázané soubory do značné míry ovlivňují vzhled webu, takže by mohl Google podezřívat autora z použití nějakých podvodných praktik.

Asi není třeba panikařit, ale pokud se objevují nějaké problémy či záhadný pokles návštěvnosti, můžete to zkusit v Nástrojích pro webmastery ověřit a případně soubor robots.txt upravit. Nejsnadnější řešení asi spočívá v instalaci pluginu, např. WP Robots Txt, který stačí aktivovat, následně přejít do menu Nastavení – Zobrazování, kde se dole objeví aktuální obsah souboru robots.txt, který stačí jen upravit (tedy smazat poslední řádek) a uložit změny.

SEO praktikami se moc podrobně nezabývám, takže netuším, zda to má v současné době nějaký reálný efekt, ale rozhodně uvítám komentáře od odborníků nebo uživatelů, kteří to vyzkoušeli. Vývojáři WodPressu na své uživatele samozřejmě nezapomínají, takže vlastně nemusíte dělat vůbec nic, protože už za dva měsíce bude problém opraven přímo ve WordPressu 4.0Pozor ale také na různé bezpečnostní úpravy a pluginy, kdy je adresář wp-includes často zcela blokován.

Nejoblíbenější hosting pro WordPress WEDOS.cz

6 thoughts on “Google Panda, robots.txt a WordPress”

  1. Dobrý den,
    postupoval jsem dle Vašeho pokynu a nainstaloval WP Robots.txt a udělal příslušné kroky. I tak mě google robot nemůže najít :(

  2. @stepi2442: Jakou verzi WordPressu používáte? Nové verze (4.0 a novější) už by to měly mít automaticky opravené. Jaký máte konkrétně problém? Google web neindexuje? V Nástrojích pro vývojáře se objevují nějaké chyby?

  3. Prosím o pomoc, google ma nemôže najsť, mám pod doménou info že, Popis tohto výsledku nie je k dispozícii. Príčinou nedostupnosti popisu je súbor robots.txt tohto webu
    a za mojou domenou na google ukazuje lomítko /, nie v url, len na google. Ako sa toho zbaviť? ďakujem velmi pekne

  4. Díky za článek. Teď jsem zjistil, že mně na jednom webu plugin blokoval některé z těchto částí. Myslím, že bohatě stačí robots.txt co tam je od instalace wordpressu a neradno se v tom moc hrabat. Maximálně doplnit sitemap.

Napsat komentář

Vaše emailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *