GOTO - Embracing variability

Det kan godt være, at man slipper nemmere omkring problemet ved at bruge automatisk stavekontrol, men indtil den perfekte stavekontrol bliver opfundet, skal man selv kunne stave for at være sikker på, at det færdige resultat er korrekt. F.eks. vil man ikke fange, at man er kommet til at skrive "standart" i stedet for "standard" eller tilsvarende tilfælde, hvor man kommer til at skrive et ord, der betyder noget forkert, men som sådan er stavet rigtigt.

Jeg ser stavekontrol som en hjælp til at fange (de fleste) slåfejl, men ikke som et værktøj til at sikre korrekt stavning -- for slet ikke at tale om korrekt sprogbrug. Det samme gælder afprøvning af software: Det kan fange trivielle "slåfejl", men det kan aldrig garantere, at softwaren virker korrekt.

Dertil kommer, at omkostningerne ved fejl i software langt kan overstige omkostninger ved stavefejl i tekstdokumenter -- de fleste læsere kan godt gætte sig til hvad, der burde have stået, men hvis et program regner forkert, kan det give en patient en dødelig dosis medicin eller sende et fly ind i et bjerg.

Så det vigtigste startspørgsmål er: "Hvad koster det, hvis der sker en fejl". Det kan så bestemme, om man vil nøjes med test (og hvor meget), bruge (komplet eller partiel) post-facto verifikation eller indbygge korrekthedsbeviser i selve programmerne.

Men det var helt klart mit indtryk at publikum ikke forstod hvad han sagde.

Pointen om ikke at loade en udviklingsafdeling til 98% workload er nok det vigtigste jeg har hørt længe.

Jeg syntes at det første han gennemgik hvor pointen var at med aktieoptioner kan det økonomisk betale sig at lade variancen stige for det giver større sandsynlighed for gevinst fordi payoff er en skæv funktion var lidt for teoretisk. Det kan godt være at det på papiret ser sådan ud. Men det er jo kun for folk med optioner. Ikke folk der bare vil bygge en sund forretning.
Pointen med at hvis du skal have mest mulig information ud af et eksperiment skal der helst være 50 % risiko for at det fejler gik rent hjem. Det giver ufatteligt meget mening.
Og jeg kom til at tænke på foredraget om user metrics hvor de havde lavet en splittest på noget som helt sikkert var en god ide. For at se hvor god ideen er. Der er der faktisk ingen grund til at lave en splittest.

Jeg synes dog at matematikken ikke holdt helt. For success var defineret binært. I virkelighedens verden er success en skala hvor du kan have ting du kan have svært ved at definere om er det ene eller det andet. Og som jeg forstår det så er de vigtige pointer der kom frem stadig balide

Det betyder bare at dit success-kriterie også er en pdf og så bliver multiplikationen i realiteten til en convolution og det kan man ikke lige forklare med en enkelt slide.

Jeg tror på at pointerne stadig holder, for mange af dem giver umiddelbar mening for mig selv uden matematikken. Men er det ikke også en forsimpling at sige at din success bliver en pdf? Eller er den multidimensionel?

Jeg mener hvad med resultater som: "Hov nu holder vi meget bedre på medarbejderne og har nemmere ved at rekruttere, det havde vi ikke regnet med", "Det her positionerer os perfekt strategisk på nogle uventede områder" eller "Det her er ufatteligt lovende, men at forfølge det vil kræve store investeringer vi ikke havde regnet med, der skal ske på bekostning af noget andet" osv?

Metoden giver ved eftertanke stadig mening når man betragter alt det som 0 og 1. Så kan man altid betragte selve planlægning/strategien udfra resultaterne som noget der ikke er direkte koblet til metoden, men som noget der eventuelt føder nye eksperimenter som proppes ind i metoden.

Der er dog en del forudsætninger, nogle af dem må være

• Større varians er korreleret med større gevinst, så når man gør udfaldet mere usikkert bliver den potentielle gevinst ved succes større

• Information "vundet" ved et eksperiment kan indgå i et slags feedback loop hvor efterfølgende eksperimenter har større gevinst for samme usikkerhed, fordi de bygger videre på værdien af allerede "opsparet" information. Dette må være årsagen til at information tages med i regnestykket, og grunden til at 50/50 reglen opstår.

I praksis er det nok svært at omstætte et 20/80 eksperiment til et 50/50 eksperiment mod større potentiel gevinst.

Men stadig spændende model. Og tommelfingerreglen om 50/50 eksperimenter vil jeg helt sikkert bruge som lakmustest på eksperimenter i fremtiden.

For de interesserede holder Don Reinertsen et 2-dages kursus i københavn i næste uge (http://www.bestbrains.dk/events/moed-don-reinertsen-v2/). Jeg deltog selv på kurset forrige år og kan absolut anbefale det.