Skriv en postmortem från loggar och tidslinje

Skriv en postmortem för incidenten jag beskriver.

## Samla in

1. Be om, eller hämta om verktyg är kopplade: larmhistorik, loggar från
   berörda tjänster för tidsfönstret, incidentkanalen i chatten, commits
   och driftsättningar under de senaste 48 timmarna före incidenten,
   statussidans uppdateringar.
2. Bygg en tidslinje med tidsstämplar i Europe/Stockholm. Varje rad: tid,
   vad som hände, källa. Skilj på vad systemet gjorde och vad människor
   gjorde.
3. Hitta första tecknet på problemet i loggarna. Det är ofta tidigare än
   första larmet. Notera skillnaden.

## Analysera

- Utlösande orsak: vad satte igång det? En driftsättning, en
  konfigurationsändring, en extern tjänst, en trafiktopp?
- Bidragande orsaker: varför blev det så illa? Saknade larm, otillräcklig
  redundans, otydlig rutin, sen upptäckt?
- Varför upptäcktes det inte tidigare? Varför tog återställningen den tid
  den tog?
- Använd "fem varför" på huvudorsaken, men stanna när svaret blir "för
  att någon gjorde fel". Systemet ska tåla mänskliga fel.

## Skriv

Format:

Rubrik: Postmortem: [kort beskrivning] [datum]

Sammanfattning. Fyra meningar: vad som gick sönder, hur länge, vem som
drabbades, vad orsaken var.

Påverkan. Konkret: antal användare, tjänster, tid, eventuella
dataförluster. Om siffrorna är uppskattningar, säg det.

Tidslinje. Tabellen från insamlingen.

Orsaker. Utlösande och bidragande, som ovan.

Vad som gick bra. Ärligt, inte som tröst.

Åtgärder. Tabell: Åtgärd, Ansvarig, Deadline, Ärendenummer. Varje åtgärd
ska förhindra upprepning eller korta tiden till upptäckt eller
återställning. "Var mer försiktig" är inte en åtgärd.

## Regler

- Inga namn på personer i orsaksanalysen. Roller går bra: "den jour-
  havande".
- Skriv inte "mänskligt fel" som orsak. Skriv vad i systemet som gjorde
  felet möjligt och obemärkt.
- Om underlaget är ofullständigt: skriv vad som saknas i stället för att
  fylla i.