Hei!

Vi ønsker gjerne å forklare hva som skjedde med laggen / nedetiden som startet på fredag 3. juni og som varte i perioder gjennom helgen. Vi vet at det er en stund siden denne episoden, men vi har ønsket å gjøre den del ting internt før vi går ut med detaljer om årsaken.

Episoden med lagg startet først fredag 3. juni, og vi kunne ikke da se noen åpenbare grunner til at ting skulle gå tregt. Responstiden på handlinger var normal og det var ingen trege spørringer som skapte problemer. Vi så tegn til tregt nettverk, og antok at det var midlertidige problemer hos vår serverleverandør, ettersom de har hatt problemer tidligere i år. Vi valgte å avvente situasjonen, og antok at problemene ville gå over av seg selv.

Det viste seg utover fredag at hver gang drapsfri gikk mot slutten så ble det problemer igjen. Vi sjekket statussidene til tjenestene vi bruker mest, men det var ikke rapportert noen problemer der. Vi har en egen person som har ett ansvar for serveren vår, men med skikkelig uflaks så var han bortreist uten tilgang til internett fram til søndagen. iwas var og delvis utilgjengelig, og jeg hadde begrenset med muligheter for å undersøke detaljert hva som skapte laggen.

På søndag fikk serveransvarlig undersøkt hendelsene og fant da ut at problemene skyldes ddos-angrep rettet direkte mot oss (https://nettvett.no/ddos-angrep/). Dette er en form for angrep der det sendes store mengder trafikk mot serveren vår, hvor hensikten er å sende så mye trafikk at ingen andre får tilgang til spillet.

For en del år siden hadde vi en del problemer med ddos-angrep, men det er ganske lenge siden det har vært angrep direkte mot oss. Tidligere brukte vi Cloudflare som forsvar mot ddos-angrep (https://www.cloudflare.com/ddos/), men ettersom vi opplevde en del problemer med Cloudflare (lagg og nedetider hos Cloudflare), og siden vi uansett hadde veldig få angrep av betydning mot oss, valgte vi å gå helt av Cloudflare for noen år siden. Det har fungert helt fint å være uten Cloudflare frem til nå.

Løsningen for å sette en stopper på ddos-angrepene som foregikk denne helgen var å aktivere Cloudflare igjen. Dette tok dessverre litt tid, ettersom vi også trengte ny ren IP som vi kunne skjule bak Cloudflare og som angriperne ikke kjenner til. Det var noen små angrep natt til mandag 6. juni, men etter det virker det som om det har gitt seg. Vi mistenker at de som har bestilt eller står bak angrepene muligens har timet dette for å forsøke å få mer drapsfri, men vi kan ikke gjøre så mye annet enn å spekulere. Om noen har informasjon vi kan ha nytte av, setter vi selvsagt pris på det.

Hva har vi lært av denne hendelsen?
Vi ser at det er flere ting vi kunne og burde ha gjort for å være bedre forberedt på en slik episode. Vi har nok vært litt for heldige med at ting har gått bra i årevis, og ikke vært rustet for å ta i mot DDOS angrep eller andre uforutsette ting. Vi har tatt en diskusjon internt og laget en plan for hva vi vil gjøre for å være bedre rustet i fremtiden:

• Cloudflare kommer til å forbli skrudd på. Dette gjør at vi er nokså sikre mot DDOS-angrep. Ulempen er at vi vil kunne oppleve lagg og andre problemer om Cloudflare har problemer, men ting ser ut til til å ha gått greit nå, og vi merker ikke noe lenger lastetider enn vi hadde uten Cloudflare. Vårt inntrykk er at Cloudflare har blitt en del bedre siden vi sist brukte det for noen år siden.
  
• Vi skal utvikle https://status.mafiaspillet.no/ videre og prøve å få bedre automatisk varslinger der nå vi opplever problemer. Vi vil også forsøke å få bedre rutiner for å varsle og oppdatere når vi har nedetider eller lagg.
  
• Vi ser på mulighetene for å lettere aktivere drapsfri når spillet lagger og vi selv ikke har tilgang til spillet. Vi vurderer også å prøve ut et system der spillet selv stenger drap uten at vi trenger å gjøre noe.
  
• Vi tenker å få på plass en mer automatisk løsning som deaktiverer bedriftsangrep dersom det har vært x antall timer drapsfri en døgn slik at man slipper å ta det manuelt.
  
• Se på rutinene for hvor lenge man skal stenge drap om gangen, samt raskere ta en avgjørelse på om man bare skal stenge over ett lengre tidsrom.
  
• Bedre rutiner og opplæring til alle i ledelsen om hva vi undersøker og skal gjøre når spillet lagger, slik at vi kan være raskest mulig på saken.
  

Mvh
Ledelsen.