Během posledních dní se objevila docela zajímavá informace (česky) o tom, že mohou být některé weby penalizovány a ztrácet návštěvnost z vyhledávačů, pokud mají blokované indexování JS a CSS pomocí souboru robots.txt. Důležitý je ale zejména fakt, že je v současné době částečně postižen téměř každý web ve WordPressu.

WordPress automaticky generuje soubor robots.txt, a to prostřednictvím funkce do_robots(). Pokud si tedy vyhledávač prohlédne soubor robots.txt, tak se mu objeví následující výchozí obsah:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Problém je však v tom, že se v dnešní době už mnoho důležitého obsahu načítá z adresářů wp-includes/js a wp-includes/css. Kromě jQuery a všech souvisejících knihoven (pokud není načtena základní knihovna, tak nebudou fungovat ani další související skripty) jsou tam uloženy také soubory pro zobrazení mediálních přehrávačů, atd. Takže tímto způsobem vlastně soubory také nechtěně “blokujete”.

Vyzkoušet si vše můžete v Nástrojích pro webmastery, a to v sekcích Laboratoř Google – Dynamické náhledy a zejména Procházení – Načíst jako Google – Načíst a vykreslit. Zde můžete vygenerovat náhled svého webu a uvidíte, zda je tam nějaký problém s načítáním souborů “zakázaných” pomocí robots.txt. Osobně si myslím, že by se problémy s návštěvností mohly objevit pouze v případech, kdy zakázané soubory do značné míry ovlivňují vzhled webu, takže by mohl Google podezřívat autora z použití nějakých podvodných praktik.

Asi není třeba panikařit, ale pokud se objevují nějaké problémy či záhadný pokles návštěvnosti, můžete to zkusit v Nástrojích pro webmastery ověřit a případně soubor robots.txt upravit. Nejsnadnější řešení asi spočívá v instalaci pluginu, např. WP Robots Txt, který stačí aktivovat, následně přejít do menu Nastavení – Zobrazování, kde se dole objeví aktuální obsah souboru robots.txt, který stačí jen upravit (tedy smazat poslední řádek) a uložit změny.

SEO praktikami se moc podrobně nezabývám, takže netuším, zda to má v současné době nějaký reálný efekt, ale rozhodně uvítám komentáře od odborníků nebo uživatelů, kteří to vyzkoušeli. Vývojáři WodPressu na své uživatele samozřejmě nezapomínají, takže vlastně nemusíte dělat vůbec nic, protože už za dva měsíce bude problém opraven přímo ve WordPressu 4.0. Pozor ale také na různé bezpečnostní úpravy a pluginy, kdy je adresář wp-includes často zcela blokován.