Jesper Lund Stocholm bloghoved

GOTO - Embracing variability

Onsdag formiddag - GOTO - dag 2 (for mig)

Det har indtil videre været en interessant dag her på GOTO CPH. Dagen startede med en forelæsning omkring "variability" af Don Reinertsen. Det var reelt et "blast from the past" for mig, for pludseligt følte jeg mig tilbage på skolebænken til Statistik-forelæsningerne på DTU. Det var forfriskende - men også lidt skræmmende.

Han tog livtag med nogle af de underliggende økonomiske teorier, der reelt ligger bag agile metodikker som SCRUM og lean/kanban. Der var et ton af pointer - herunder forskellen på at forebygge fejl og finde/rette dem. Normalt vil folk mene, at det er langt billigere at forebygge fejl end at rette dem senere, men han brugte et billede på at vise det modsatte. Når folk insisterede på at forebygge i stedet for at "helbrede", så spurgte han dem normalt, om de brugte stavekontrollen i deres tekstbehandlingsprogram - hvilket de fleste gjorde. Hans argument var, at investeringen på at "lære at stave 100% korrekt 100% af tiden" langt oversteg omkostningerne ved brug af stavekontrol på alle dokumenter man ville lave i hele sin levetid. Argumentet er måske en smule søgt - men det er en god pointe at alt har en pris og investeringen i at "undgå fejl" mange gange kan være større end at rette de fejl, der opstår hen ad vejen.

Noget helt andet var det økonomiske fundament for de agile processer. Et eller andet sted skulle alle have et lille crash-course i disse ting, for det er virkeligt en øjenåbner at se. Jeg har i hvert fald aldrig fået lært/forklaret disse grundliggende (problem of increasing variance) ting før, og det synes jeg er lidt ærgeligt, for det sætter virkeligt tingene på plads. Lean/scrum/kanban præsenteres nogle gange som noget tryllestøv, der giver en bedre proces, men hvorfor det virker udelades ofte.

Jeg ved ikke helt hvornår/om sessions kan ses på GOTOs hjemmeside, men jeg vil i den grad anbefale at se den, når den bliver tilgængeligt.

OH: " If you know your statistics, you're just doubling the variance as you go along - there is really nothing to it ".

Kommentarer (9)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Torben Mogensen Blogger

Det kan godt være, at man slipper nemmere omkring problemet ved at bruge automatisk stavekontrol, men indtil den perfekte stavekontrol bliver opfundet, skal man selv kunne stave for at være sikker på, at det færdige resultat er korrekt. F.eks. vil man ikke fange, at man er kommet til at skrive "standart" i stedet for "standard" eller tilsvarende tilfælde, hvor man kommer til at skrive et ord, der betyder noget forkert, men som sådan er stavet rigtigt.

Jeg ser stavekontrol som en hjælp til at fange (de fleste) slåfejl, men ikke som et værktøj til at sikre korrekt stavning -- for slet ikke at tale om korrekt sprogbrug. Det samme gælder afprøvning af software: Det kan fange trivielle "slåfejl", men det kan aldrig garantere, at softwaren virker korrekt.

Dertil kommer, at omkostningerne ved fejl i software langt kan overstige omkostninger ved stavefejl i tekstdokumenter -- de fleste læsere kan godt gætte sig til hvad, der burde have stået, men hvis et program regner forkert, kan det give en patient en dødelig dosis medicin eller sende et fly ind i et bjerg.

Så det vigtigste startspørgsmål er: "Hvad koster det, hvis der sker en fejl". Det kan så bestemme, om man vil nøjes med test (og hvor meget), bruge (komplet eller partiel) post-facto verifikation eller indbygge korrekthedsbeviser i selve programmerne.

Jesper Lund Stocholm Blogger

Dertil kommer, at omkostningerne ved fejl i software langt kan overstige omkostninger ved stavefejl i tekstdokumenter -- de fleste læsere kan godt gætte sig til hvad, der burde have stået, men hvis et program regner forkert, kan det give en patient en dødelig dosis medicin eller sende et fly ind i et bjerg.


Husk nu at det blot var en metafor :o).

Når det så er sagt, så synes analogien at være spot-on. Spørgsmålet er jo ikke en afvejning af omkostningerne ved at "undgå alle fejl i alle systemer til al tid" men at "undgå nogle fejl". Her kan krudtet på at undgå fejl nogle gange være bedre brugt på at rette fejlene.

Din kommentar med fejl i medicinkort er jo netop valid - for konsekvensen af at nogen dør er jo netop en faktor i udregningen af "hvad koster det at finde og rette fejlen senere?".

Jesper Lund Stocholm Blogger

Pointen om ikke at loade en udviklingsafdeling til 98% workload er nok det vigtigste jeg har hørt længe.


Jeps - det var en vigtig pointe og faktisk en "pain" jeg oplever dagligt - i hvert fald i perioder.

... og din kommentar om at folk ikke forstod det - det var netop primært dette, der fik mig til at mindes statistik-forelæsningerne på DTU.

:o)

Allan Ebdrup Blogger

Jeg syntes at det første han gennemgik hvor pointen var at med aktieoptioner kan det økonomisk betale sig at lade variancen stige for det giver større sandsynlighed for gevinst fordi payoff er en skæv funktion var lidt for teoretisk. Det kan godt være at det på papiret ser sådan ud. Men det er jo kun for folk med optioner. Ikke folk der bare vil bygge en sund forretning.
Pointen med at hvis du skal have mest mulig information ud af et eksperiment skal der helst være 50 % risiko for at det fejler gik rent hjem. Det giver ufatteligt meget mening.
Og jeg kom til at tænke på foredraget om user metrics hvor de havde lavet en splittest på noget som helt sikkert var en god ide. For at se hvor god ideen er. Der er der faktisk ingen grund til at lave en splittest.

Jeg synes dog at matematikken ikke holdt helt. For success var defineret binært. I virkelighedens verden er success en skala hvor du kan have ting du kan have svært ved at definere om er det ene eller det andet. Og som jeg forstår det så er de vigtige pointer der kom frem stadig balide

Poul-Henning Kamp Blogger

Jeg synes dog at matematikken ikke holdt helt. For success var defineret binært. I virkelighedens verden er success en skala hvor du kan have ting du kan have svært ved at definere om er det ene eller det andet.

Det betyder bare at dit success-kriterie også er en pdf og så bliver multiplikationen i realiteten til en convolution og det kan man ikke lige forklare med en enkelt slide.

Allan Ebdrup Blogger

Det betyder bare at dit success-kriterie også er en pdf og så bliver multiplikationen i realiteten til en convolution og det kan man ikke lige forklare med en enkelt slide.


Jeg tror på at pointerne stadig holder, for mange af dem giver umiddelbar mening for mig selv uden matematikken. Men er det ikke også en forsimpling at sige at din success bliver en pdf? Eller er den multidimensionel?

Jeg mener hvad med resultater som: "Hov nu holder vi meget bedre på medarbejderne og har nemmere ved at rekruttere, det havde vi ikke regnet med", "Det her positionerer os perfekt strategisk på nogle uventede områder" eller "Det her er ufatteligt lovende, men at forfølge det vil kræve store investeringer vi ikke havde regnet med, der skal ske på bekostning af noget andet" osv?

Metoden giver ved eftertanke stadig mening når man betragter alt det som 0 og 1. Så kan man altid betragte selve planlægning/strategien udfra resultaterne som noget der ikke er direkte koblet til metoden, men som noget der eventuelt føder nye eksperimenter som proppes ind i metoden.

Allan Ebdrup Blogger

Der er dog en del forudsætninger, nogle af dem må være

  • Større varians er korreleret med større gevinst, så når man gør udfaldet mere usikkert bliver den potentielle gevinst ved succes større

  • Information "vundet" ved et eksperiment kan indgå i et slags feedback loop hvor efterfølgende eksperimenter har større gevinst for samme usikkerhed, fordi de bygger videre på værdien af allerede "opsparet" information. Dette må være årsagen til at information tages med i regnestykket, og grunden til at 50/50 reglen opstår.

I praksis er det nok svært at omstætte et 20/80 eksperiment til et 50/50 eksperiment mod større potentiel gevinst.

Men stadig spændende model. Og tommelfingerreglen om 50/50 eksperimenter vil jeg helt sikkert bruge som lakmustest på eksperimenter i fremtiden.

Log ind eller Opret konto for at kommentere