Error 404 velmi často

Zvolené téma obsahuje celkem 11 odpovědí. Do diskuze (3 účastníci) se naposledy zapojil uživatel  admin a poslední změna je stará 4 roky, 12 měsíců.

Aktuálně je na stránce zobrazeno 12 příspěvků - 1. až 12. (z celkem 12)
  • Autor
    Příspěvky
  • #20859

    sazovsky
    Participant
    Web

    Ahoj, mám podezřele velkou PŘÍMOU návštěvnost na několika stránkách. Používám WP 4.0 a security plugin iThemes Security Pro, který mi v logu vypisuje hlášky 404 Error na odkazy, které neexistují. Problém je v tom, že mi poskytovatel webhostingu oznámil, že některé weby z USA a DE mé stránky nahlásili na škodlivý obsah.

    404 Erorr se odkazuje na nesmyslné odkazy, které nejsou v sitemap:

    Například:

    /glasstec-2014-galerie-infoglass/glasstec-2014-64/text/xml
    /sklenene-zabradli-steny-luxusnim-dome/pruhonice-27/android/admin.php
    /tekute-krystaly-glasstec-2014/login.php
    /glasstec-2014-galerie-infoglass/glasstec-2014-74/linkid.js
    /zatizeni-vetrem-podle-csn-en-1991-1-4-a-stavebni-sklo/plugins.tweenplugin (ip 70.98.34.157)
    /infoglass-nebudete-sedet-koute/google.com/infoglassczvseosklerelauthor (ip 95.211.229.158)
    /tekute-krystaly-glasstec-2014/login.php (ip 195.214.79.20)

    … atd

    Nevíte čím to může být a jak to mám zastavit?

    #20860

    admin
    Keymaster
    Web

    Nemohl být web někdy dříve napaden? Některé viry (malware) vytváří podobné stránky (přímo .html soubory na FTP) a nechávají je pak indexovat vyhledávači, takže se tam časem dostanou i návštěvníci. Co to znamená, že “některé weby z USA a DE mé stránky nahlásili na škodlivý obsah”?

    Pokud uvedené stránky neexistují a správně vrací chybu 404, tak podle mě není třeba nic řešit? Nebo máte s webem nějaký aktuální problém (něco nefunguje, špatně se načítá, nějaké varování od hostingu)? Mohou to být třeba roboti, kteří to třeba zkoušejí na mnoha webech, zda se neuchytil nějaký dřívější útok, těžko říci… Každopádně pokud nebyl web napaden a nejsou s ním žádné aktuální problémy, tak bych to asi ignoroval, případně deaktivoval logování chybových stránek u pluginu iThemes Security.

    #20876

    sazovsky
    Participant
    Web

    Jak jsem na to přišel? Na stránce jsem měl míru opuštění 1-3%. Najednou je míra opuštění 97% a veškerá návštěvnost z USA a DE. Hosting mi napsal email, že stránka clean-mx.de mě každý den hlásí jako web se škodlivým obsahem. Cituji:

    
    Dobrý den,
    dovolujeme si Vás informovat, že jsme od poslední zprávy na všechny domény účtu obdrželi zprávy o závadném obsahu, namátkově viz konec zprávy.
    Informaci o závadném obsahu stránek začínají přebírat i ostatní skenery. Je možné, že budou uživatelé s novějšími prohlížeči internetu informování o škodlivém obsahu na stránkách a načtení stránek bude blokováno.
    
    Prosíme o důkladnou kontrolu obsahu stránek, načítaného obsahu (externích skriptů a pod.), obsahu v databázích ... Prosíme o rychlou reakci na vzniklou situaci, upozornění na škodlivý obsah bylo za poslední 12 h již zasláno 6 x.
    
    Děkujeme za velmi  rychlou reakci! 
    
    +-----------------------------------------------------------------------------------------------
    
    |date |id |virusname |ip |domain |Url|
    +-----------------------------------------------------------------------------------------------
    |2014-10-22 06:12:38 CEST |44669855 |HTML/Redirector.BK!tr |178.238.37.168 |infoglass.cz |http://infoglass.cz/cz/index.php?u=admin
    |2014-10-22 06:15:26 CEST |44671184 |HTML/Redirector.BK!tr |178.238.37.168 |infoglass.cz |http://www.infoglass.cz/certifikovani-partneri-gauzy/attachment/1400
    |2014-10-22 06:15:26 CEST |44671187 |HTML/Redirector.BK!tr |178.238.37.168 |infoglass.cz |http://www.infoglass.cz/?p=812
    |2014-10-22 06:15:26 CEST |44671188 |HTML/Redirector.BK!tr |178.238.37.168 |infoglass.cz |http://www.infoglass.cz/?p=812/
    

    Po podrobné diskuzi s webhostingem jsem nenašli ani adresáře, ani škodlivý obsah, ale návštěvnost stránek vzrostla z cca 150 návštěv/den na 800 návštěv/den. A veškeré návštěvy jsou Page not found (404 error).

    Web mi v pořádku funguje a neřešil jsem to, dokud mi webhosting nezačal psát emaily o škodlivém obsahu. Je zajímavé, že se to děje jen na webech, které mě živý (nainstaloval jsem a starám se o 18 webů na wordpress). Ty ostatní, které nemají návštěvnost a nejsou tak klíčové, tak ty jsou v pořádku, i když na všech webech mám stejné nastavení i pluginy.

    #20878

    admin
    Keymaster
    Web

    Tak to je podivné, ty návštěvy jsou od reálných lidí nebo jde o roboty? Pokud máte statistiku z Google Analytics, tak půjde asi o reálné lidi… Ale pokud jde o přímou návšětvnost, tak proč by chodili zrovna na tyto adresy? Nemohl na webu ten virus někdy dříve opravdu být (a zmizel třeba s aktualizací WordPressu či nějakého pluginu)? Jaký používáte hosting?

    Nejsou ostatní weby na nějakém jiném místě (server, hosting, účet) nebo je vše na stejném místě? Trochu to vypadá, jako by to někde nahlásila konkurence, ale nevím, do jaké míry je to reálné (a zda to vůbec antivirové služby umožňují). Ale na zmiňovanou službu clean-mx.de jsem našel i různé stížnosti, např. zde (nevím, do jaké míry je to pravda).

    Používáte na nějakém webu Nástroje pro webmastery od Google? Také velmi dobře sledují weby a případně informují o napadení… A po odstranění hrozby je web do 24 hodin opět vy vyhledávačích zprovozněn…

    #20879

    sazovsky
    Participant
    Web

    Ke každé návštěvě mám i IP adresu. Pomocí ip-adress.com zjišťuji, že se jedná o roboty (vyhledávače), ale i nějaké IP adresy, které směřují na poskytovatele internetu:

    • Google Cloud
    • ISPpro Internet KG
    • Microsoft bingbot
    • 2COM Co
    • OVH SAS
    • Cyberdyne
    • Trustwave Holdings
    • Comcast Cable
    • … a jiné.

    Přijde mi, jako by to byl nějaká aplikace na “brute force attack”, který zatěžuje server.

    Všechny weby mám na jednom webhostingu na jednom účtu. Proto mi přijde divné, že se to děje jen na 4 z nich. Například na webu Infoglass.cz prezentuji klientům návštěvnosti, ale teď nemám co, jelikož návštěvnosti jsou rapidně větší a z jiných zemí, než z ČR.

    Na webu sklovestavebnictvi.cz mi to bylo jedno, jelikož ten dělám jen jako knowledge base, ale tam mě překvapilo, proč o to má někdo zájem.

    V příloze posílám ukázku změny návštěvností…

    #20883

    admin
    Keymaster
    Web

    Pokud jsou to opravdoví vyhledávací roboti, tak je to podivné, protože by se museli od někoho dozvědět uvedené adresy… Nevypadá to ale jako oficiální názvy robotů (ten by měl být např. Googlebot). Možná uvedené adresy někdo nahlásil a roboti to zkouší, zda by to tam opravdu nešlo hacknout (aneb kontrola), ale těžko říci…

    Podle obrázku používáte na měření návštěvnosti Google Analytics nebo to je nějaký jiný nástroj)? Klasičtí vyhledávací roboti (např. Googlebot) by neměli být do statistik v tomto případě vůbec zahrnuti?

    Díval jsem se, že máte web po všech stránkách zabezpečen, takže by neměl být ani aktuálně napaden. Nemohl být ale třeba napaden někdy v minulosti (a až poté jste provedl všechna bezpečnostní opatření)?

    Těžko říci, o co vlastně jde. Pokud web není (a nebyl) napaden, tak podle mě prostě nějaký automat zkouší (může to souviset s nějakou dřívější chybou, nevím). Chápu, že může být nejistota nepříjemná, zejména pokud jde o důležité weby, ale moc mě nenapadá, co by se s tím dalo dělat. Zkuste to sledovat, třeba to za pár dní zmizí nebo se to bude ještě zhoršovat… Blokovat IP adresy asi nepůjde (budou se patrně střídat) a ani nevím, zda by to bylo vhodné. Hosting k tomu už nic více nenapsal? Upozornil vás na nějaký problém, hledali jste příčinu a nenašli, jaké bylo jejich poslední zdůvodnění?

    #20889

    sazovsky
    Participant
    Web

    Děkuji za vaše rady. Přečetl jsem si tento článek na Cloudflare a myslím, že už vím o co jde.

    Jsem střelec, takže bych jim hned zaplatil peníze a využil tu službu, ale chci se zeptat, zda někdo má zkušenosti. Na různých fórech vývojářů mých šablon (jsou to skrytá fóra jen pro uživatele) Cloudflare často doporučují.

    Máte někdo zkušenost a doporučili byste tento nástroj?

    #20913

    Bigdrobek
    Participant
    Web

    Ahoj,

    o co podle tebe jde, jaký typ útoku?
    Doporučuji otestvat službu incapsula, kde se dá omezovat provoz dle států.
    RK

    #20938

    sazovsky
    Participant
    Web

    Ahoj,
    týden studování a čtení, až jsem narazil na člověka, který v USA nainstaloval a provozuje přes 500 webů ve wordpress. Ten mi řekl, že musím zaplatit “výpalné”. Tak jako kdysi existovala mafie, tak teď je to kybernetická mafie. Stačí zaplatit nějaký ten ochranný plugin a útoky přestanou.

    Proto jsem zaplatil Wordfence a nastavil si CountryBlocking.

    Útoky už přestaly a je klid. Nikdy za dobu svého podnikání (5 let) jsem neměl práci ze zahraničí, proto jsem si nechal přístup jen pro CZ, SK, PL, DE, FR, IT, EU.

    Máte někdo nějakou zkušenost, že by tohle CountryBlocking nějak ubližovalo webu, který ve své podstatě je jen pro tuzemské zákazníky?

    #20983

    admin
    Keymaster
    Web

    sazovsky: Tak to je docela zajímavá “spiklenecká” teorie :-) Takže myslíte, že jde o Ddos útok? To by podle mě mělo způsobit problémy už i přímo hostingu (a hlavně funkčnosti webu)… Používáte službu Cloudflare? Protože abyste mohl používat jejich Ddos ochranu, tak ji musíte nejdříve používat?

    Takže každý web, který je trochu navštěvovaný začne být obtěžovaný roboty, které provozují autoři placených bezpečnostních pluginů, aby donutili uživatele zakoupit prémiové verze na jejich ochranu? A prémiová verze pluginu spočívá hlavně v tom, že roboti přestanou weby obtěžovat? Myslím, že je možné všechno, ale toto se mi moc nezdá. Nemáte alespoň nějaký tematický článek?

    Takže jste nakonec přešel z placené verze pluginu iThemes Security Pro na placenou verzi podobného pluginu Wordfence? Ten původní by měl také umět blokovat státy podle IP adres? Ale asi tomu úplně nerozumím…

    A pokud jde o blokování zvolených zemí (Country blocking), tak mě napadá, zda to nemůže ovlivnit třeba činnost vyhledávacích robotů (Google, Bing, atd)?

    Dopadlo to nějak s původními problémy se službou clean-mx.de? Takže tato služba si chtěla také vynutit nějakou platbu, aby přestala obtěžovat? Řešil to ještě nějak přímo hosting?

    Bigdrobek: Máš nějaké zkušenosti se službou Incapsula?

    #20986

    sazovsky
    Participant
    Web

    Současný uspokojivý stav:
    Mám placenou verzi iThemes Security Pro. Tam jsem nenašel funkci na blokování jednotlivých států. Proto jsem nainstaloval i placenou verzi Wordfence, která umí zase něco jiného. Aby vyhledávače fungovaly, je zapotřebí vše nastavit podle jejich Docs & Guides: http://docs.wordfence.com/en/Wordfence_Official_Documentation

    PZN.: Ostatní země můžete nasměrovat na speciální stránku, kde bude třeba jen kontakt a omluva, že web je určen jen pro některé země, ale na email žádost jim udělíte přístup pomocí jejich IP.

    Zakázal jsem všechny země až na USA, Německo a okolní státy. Z jiných státu stejně nemám na webech zákazníky. USA a Německo je kvůli Google, LinkedIN, atd., kde jsou umístěny vyhledávače.

    Díky blokování všech zemí, tak DDOS na nesmyslné adresy nefunguje, jelikož jsem měl během 1 sekundy 30 až 50 přístupů na web s vymyšlenou adresou (např.: http://www.infoglass.cz/jsmnd41; http://www.infoglass.cz/novinky/news/articles; atd.). Nejhorší bylo, že spoustu těchto přístupů indexoval Google Analytics, který mi říkal, že mám nárůst návštěvnosti o 1000% větší a míru opuštění 99,8%.

    Přestal jsem to řešit, jelikož potřebuji podnikat a ne se zabývat tím, zda mi na web leze nějaký robot z IP z celého světa a přitom mi jen vytěžuje stránku. Teď na web mohou jen ČR, PL, SK, DE, Rakousko a USA.

    Jen na závěr: hosting mě upozornil, že mají žádosti na blokaci mých stránek. Jenže na Onebit sledují škodlivý software. Mám u nich VIP účet, tak jsem to řešili a dospěli jsme k závěru, že na webu nic špatného nemám, ale že se jedná o útok z venčí.

    Pokud tady je nějaký specialista, který se v tom všem vyzná, tak ho určitě rád využiji, jelikož budu spouštět mezinárodní web a ten bude muset být přístupný všem zemím. Ten je zatím čistý a bez útoků (je na stejném webhostingu, FTP a dokonce je subdoménou napadeného webu, ale jemu se to neděje).

    Z toho vyšla moje spekulace a úsudek. Z ničeho nic mě někdo chtěl zlikvidovat jen na webech, které mě živý. Ty ostatní ho nezajímaly. Přitom byly na stejném místě a stejně nastavené a vytvořené jako subdomény.

    #20991

    admin
    Keymaster
    Web

    Díky za reakci, je to docela zajímavá problematika, ještě jsem se s tím nesetkal… Myslel jsem, že má Wordfence nějak řešené, aby vyhledávací roboty na web pouštěl, ale v odkazovaném manuálu jsem viděl opravdu pouze následující informaci:

    Be careful about blocking countries in North America and Europe because there are friendly web crawlers like Google's Googlebot that are located in those areas and you may harm your search engine rankings if you block those countries because you will prevent Google, Bing and other search and aggregation services from crawling your site.

    Takže proto jste povoloval ještě USA a Německo… A nemá Googlebot pobočku např. v Irsku? I když to máte asi ošetřené pomocí Nástrojů pro webmastery, kde by Google určitě upozornil, kdyby došlo k nějakému problému s přístupem na web…

    Takže se frekvence přístupů stále zhoršovala, pokud uvádíte až 50 za sekundu, tak to už je opravdu hodně. Pořád si myslím, že by v podobných situacích měl nějak automaticky zasáhnout hosting, ale v tomto případě nešlo evidentně poznat, zda jde o reálné uživatele či roboty. A hlavně také nechápu, jak to mohlo být zaznamenáváno i v Google Analytics? Takže ty odkazy byly někde uvedeny a přistupovali na ně odněkud reální uživatelé (třeba jim odkazy přišly emailem jako spam)? Google Analytics většinou klasické roboty automaticky filtruje…

    Pokud se problém neobjevuje u dalšího nového webu (nebo dalších nepříliš důležitých), tak to může být tím, že je zatím třeba nezajímavý? Útočníci mohou vybírat podle mnoha ukazatelů (Pagerank, Alexa, atd).

Aktuálně je na stránce zobrazeno 12 příspěvků - 1. až 12. (z celkem 12)

Pokud chcete odpovědět na toto téma, musíte se nejdříve přihlásit.