Den bedste restaurant i London ligger i Oobah Butlers koloihavehus. I hvert fald i følge TripAdvisor, fortæller Jyllandsposten i dag og The Times. Han har igennem ½ års tid lavet falske anmeldelser af sit eget sted med rosende omtale af retter med barberskum, grannåle og afkalkertabletter, og nu ligger det i toppen af Tripadvisors liste over gode spisesteder i London. At The Shed, som han kalder stedet, er den bedste, er selvfølgelig er fake news.
TripAdvisor: Krebsegaarden den bedste i København
Men TripAdvisors top-lister har igennem lang tid været, om ikke ligefrem fake, så åbenlyst upålidelige. Jeg var tæt på at skrive dette indlæg i foråret som reaktion på Jyllands-Posten anmeldelse af Københavns bedste restaurant. Det var ikke Geranium, Kadau, Relæ, Søllerød Kro, formel B, Kiin Kiin eller en af de mange andre fremragende steder i Kbh, men i stedet … Krebsegaarden. Ikke et ondt ord om den, jeg har bare aldrig spist der, i modsætning til de andre. Anmelderne besøgte Krebsegaarden i anledning af, at den hos Tripadvisor var udnævnt til Københavns bedste. Krebsegaarden fik jævne 3 ud af 6 stjerner. Efter at have læst anmeldelsen ved jeg godt, om jeg næste gang besøger Krebsegaarden (som i Tripadvisor lå #1) eller Søllerød Kro (som i Tripadvisor lå som #35). Det bliver kroen.
Hvad betyder så det? Er det bare den gamle sang om smag og behag – om god stil eller folkelig appeal? Givetvis kan vi have lange diskussioner om det, men det er ikke mit ærinde i dag. I stedet handler det om, når upålidelige data bliver forfremmet til fakta, særligt når disse fakta får en stor effekt på folks adfærd.
Har du ikke selv prøvet at bruge Tripadvisor til at udvælge en restaurant / hotel / cafe? Er du blevet skuffet?
Også mig. For nogle måneder sden havde jeg den luksus at tage på en 4-dages læse-retreat på Rivieraen, nærmere bestemt i Nice. Dét kan klart anbefales. Oplevelsen var dog flere gange, at jeg, forført af en god Tripadvisor rangering, travede ad smalle gader, passerede hyggelige og gode steder på vejen, for at ende ved en restaurant, som på ingen måde var noget særligt.
Jeg fik en nagende mistanke om, at rangeringen var blevet ledt på afveje af fx en 2-3 midaldrende amerikanere som absolut måtte falde i svime over den autentiske franske tjeners servering af brændende Sambuca med hele kaffebønner i (”oooh my god!”), eller modsat, af en harm anmeldelse fra en britisk hooligantype, som hævnede etablissementets manglende lydhørhed for servering af ketchup til sin foie gras (”worst place ever!”).
Upålidelig statisk bag TripAdvisors lister
Tilbage til Søllerød kro og Krebsegården. Nu vil Tripadvisor vel hævde at have en meget avanceret rangordninges-algoritme til deres mange lister. Det er sikkert rigtig, men det så altså lidt underligt ud. I foråret udregnede jeg tallene bag. Jeg skulle måske have opdateret beregningen i anledning af denne blog, men det vil jeg overlade til læseren.
På basis af en meget simpel og hurtig model(*), udregnede jeg en score for hhv. 4,884 til Søllerød Kro og 4,803 til Krebsegården. Søllerød Kro scorede højest her, men det er sikkert bare min model som er lidt anderledes end Tripadvisors. Men bemærk forskellen, som ligger på tredje ciffer. Forskellen mellem de to tal er under 1 % for denne model. Med 959 anmeldelser fra Krebsegården og blot 231 fra Søllerød Kro vil Tripadvisor næppe, uanset hvor forfinet modellen er, kunne finde nogen form for statistisk signifikans for, om den ene eller den anden er bedste restaurant i København. Og det for to steder, som trods alt skulle ligge hele 34 placeringer fra hinanden.
Hvad skal vi gøre med upålidelig statistik på upålidelige data?r
TripAdvisor slås med falske anmeldelser. Oobah Butler fra The Shed, lavede sin practial joke på TripAdvisor, har selv tidligere tjent på at skrive netop falske anmeldelser på siten. Oven på disse delvist falske data laver TripAdvisor så, som vi så ovenfor, en tvivlsom statistik.
En god Tripadvisor score er udslagsgivende for mange beslutninger om fx hvor vi skal spise en af de få aftener vi spiser ude – en oplevelse som ikke kan gøres om. For virksomhedernes vedkommende følger der derfor kroner (eller €) med en god score hos Tripadvisor.
I en tid med fake news, mikrofonholdende journalistik og manglende tiltro til videnskab, er det vigtigt at være opmærksom på, når dårlige data og tvivlsomme statisikker bruges til formål, de ikke kan bruges til.
Et råd herfra til Tripadvisor er, at droppe de useriøse ranglister og erstatte dem af fx grupper af restauranter som er på samme niveau. Indtil dét bliver lavet, er rådet til os alle, at vi ikke tager Tripadvisors lister alvorligt.
(*) Modellen, jeg brugte, tildeler blot en numerisk værdi til hver Tripadvisor score (Fremragende = 5, Frygteligt = 1) og ganger så ud med antal medlemsvurderinger og tager gennemsnittet.

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.
Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.
Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.
Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.