Case: Ekohelsinki.fi vs meta-webindexer 1.1 gone evil

Tarkastaessani aamulla sähköpostiani koin hämmästystä, sain automaattisen halytys viestin. Ilmoitus kertoi että 70% käytettävissä olevasta siirtokaistasta oli käytetty. Oltiin vasta kuukauden alussa, päivämäärä oli 7.4. Liikenteen lokitietoja tarkemmin tutkimalla selvisi että metan sivustojen AI indeksointi botti ( meta-webindexer ) pommitti pyynnöillä Ekohelsinki.fi sivustoa sivulatauksilla 3 – 4 kertaa sekunnissa. Tämä aiheutti yli 20gigan edestä liikennettä päivää kohden. Tämä vastaa liikennemäärältään DDOS- palvelunesto hyökkäystä. Facebookin botti oli sekaisin ja ilmeisesti joutunut jonkinnäköiseen loputtomaan looppiin. Sivuston robots.txt ohjeitukset FB:n botti oli jättänyt kokonaan huomioimatta.

Tilannetta otettiin paremmin hallintaan määrittämällä uusia verkkoliikenteen direktiivejä. Botin looppiin eksymiin kyselyihin määriteltiin vastattavaksi 403 statuskoodilla. Suomeksi voisi kuvailla että, pyyntöä evätty, pyyntöä ei käsitellä. Tämän seurauksena liikennekuorma putoaa merkittävästi kun sivustoa ei ladata enää useita kertoja sekunnissa. Verkkoliikenne kuorman putoaminen alkoi näkyä välittömästi kun liikenne direktiivi määriteltiin voimaan.

Ota yhteyttä

Katsotaan millaisen ratkaisun voisimme tehdä