Jeg måtte i sin tid permanent blokere Netarkivets webcrawler; de brugte vist en anden den gang.

Crawleren respekterede ikke robots.txt-filen, som fortæller hvor crawlere og botter må bevæge sig hen på en hjemmeside.

De udførte nærmest et overbelastningsangreb mod min server, ved at sende en masse requests på kort tid til mine "tungeste" PHP-websider (dem som de ikke måtte besøge), i stedet for at sprede requestene ud over et længere tidsrum, som alle andre gjorde og gør.

Efter kommunikation med dem om problemet, var min opfattelse at de ikke anede hvad de foretog sig og var ligeglade med konsekvenserne. Forhåbentlig har de mere kompente folk på opgaven nu om stunder.