Når fake news på Tripadvisor trækker overskrifter

Den bedste restaurant i London ligger i Oobah Butlers koloihavehus. I hvert fald i følge TripAdvisor, fortæller Jyllandsposten i dag og The Times. Han har igennem ½ års tid lavet falske anmeldelser af sit eget sted med rosende omtale af retter med barberskum, grannåle og afkalkertabletter, og nu ligger det i toppen af Tripadvisors liste over gode spisesteder i London. At The Shed, som han kalder stedet, er den bedste, er selvfølgelig er fake news.

TripAdvisor: Krebsegaarden den bedste i København

Men TripAdvisors top-lister har igennem lang tid været, om ikke ligefrem fake, så åbenlyst upålidelige. Jeg var tæt på at skrive dette indlæg i foråret som reaktion på Jyllands-Posten anmeldelse af Københavns bedste restaurant. Det var ikke Geranium, Kadau, Relæ, Søllerød Kro, formel B, Kiin Kiin eller en af de mange andre fremragende steder i Kbh, men i stedet … Krebsegaarden. Ikke et ondt ord om den, jeg har bare aldrig spist der, i modsætning til de andre. Anmelderne besøgte Krebsegaarden i anledning af, at den hos Tripadvisor var udnævnt til Københavns bedste. Krebsegaarden fik jævne 3 ud af 6 stjerner. Efter at have læst anmeldelsen ved jeg godt, om jeg næste gang besøger Krebsegaarden (som i Tripadvisor lå #1) eller Søllerød Kro (som i Tripadvisor lå som #35). Det bliver kroen.

Hvad betyder så det? Er det bare den gamle sang om smag og behag – om god stil eller folkelig appeal? Givetvis kan vi have lange diskussioner om det, men det er ikke mit ærinde i dag. I stedet handler det om, når upålidelige data bliver forfremmet til fakta, særligt når disse fakta får en stor effekt på folks adfærd.

Har du ikke selv prøvet at bruge Tripadvisor til at udvælge en restaurant / hotel / cafe? Er du blevet skuffet?

Også mig. For nogle måneder sden havde jeg den luksus at tage på en 4-dages læse-retreat på Rivieraen, nærmere bestemt i Nice. Dét kan klart anbefales. Oplevelsen var dog flere gange, at jeg, forført af en god Tripadvisor rangering, travede ad smalle gader, passerede hyggelige og gode steder på vejen, for at ende ved en restaurant, som på ingen måde var noget særligt.

Jeg fik en nagende mistanke om, at rangeringen var blevet ledt på afveje af fx en 2-3 midaldrende amerikanere som absolut måtte falde i svime over den autentiske franske tjeners servering af brændende Sambuca med hele kaffebønner i (”oooh my god!”), eller modsat, af en harm anmeldelse fra en britisk hooligantype, som hævnede etablissementets manglende lydhørhed for servering af ketchup til sin foie gras (”worst place ever!”).

Upålidelig statisk bag TripAdvisors lister

Tilbage til Søllerød kro og Krebsegården. Nu vil Tripadvisor vel hævde at have en meget avanceret rangordninges-algoritme til deres mange lister. Det er sikkert rigtig, men det så altså lidt underligt ud. I foråret udregnede jeg tallene bag. Jeg skulle måske have opdateret beregningen i anledning af denne blog, men det vil jeg overlade til læseren.

På basis af en meget simpel og hurtig model(*), udregnede jeg en score for hhv. 4,884 til Søllerød Kro og 4,803 til Krebsegården. Søllerød Kro scorede højest her, men det er sikkert bare min model som er lidt anderledes end Tripadvisors. Men bemærk forskellen, som ligger på tredje ciffer. Forskellen mellem de to tal er under 1 % for denne model. Med 959 anmeldelser fra Krebsegården og blot 231 fra Søllerød Kro vil Tripadvisor næppe, uanset hvor forfinet modellen er, kunne finde nogen form for statistisk signifikans for, om den ene eller den anden er bedste restaurant i København. Og det for to steder, som trods alt skulle ligge hele 34 placeringer fra hinanden.

Hvad skal vi gøre med upålidelig statistik på upålidelige data?r

TripAdvisor slås med falske anmeldelser. Oobah Butler fra The Shed, lavede sin practial joke på TripAdvisor, har selv tidligere tjent på at skrive netop falske anmeldelser på siten. Oven på disse delvist falske data laver TripAdvisor så, som vi så ovenfor, en tvivlsom statistik.

En god Tripadvisor score er udslagsgivende for mange beslutninger om fx hvor vi skal spise en af de få aftener vi spiser ude – en oplevelse som ikke kan gøres om. For virksomhedernes vedkommende følger der derfor kroner (eller €) med en god score hos Tripadvisor.

I en tid med fake news, mikrofonholdende journalistik og manglende tiltro til videnskab, er det vigtigt at være opmærksom på, når dårlige data og tvivlsomme statisikker bruges til formål, de ikke kan bruges til.

Et råd herfra til Tripadvisor er, at droppe de useriøse ranglister og erstatte dem af fx grupper af restauranter som er på samme niveau. Indtil dét bliver lavet, er rådet til os alle, at vi ikke tager Tripadvisors lister alvorligt.

(*) Modellen, jeg brugte, tildeler blot en numerisk værdi til hver Tripadvisor score (Fremragende = 5, Frygteligt = 1) og ganger så ud med antal medlemsvurderinger og tager gennemsnittet.

Kommentarer (17)
Simon Mikkelsen

Problemet findes også andre steder hvor jeg selv synes at Trustpilot er det værste. Her kan en rigtig dårlig virksomhed have en høj score, fordi den er god til at få mange kunder til at give max stjerner for et helt almindeligt køb. Prøver en butik ikke at få sine kunder til at anmelde på Trustpilot (og dermed give gratis reklame til sitet) er det oftest kun de sure kunder der anmelder, og dermed ser det ret ringe ud.

Min erfaring er, at man får det mest præcise billede ved at kigge på anmeldelserne. Et par gode, et par dårlige og flest i midten. De gode er som regel lige gyldige, de dårlige er det ofte men dem midt i mellem er netop ofte mere nuancerede. Man kan også se på nogle af de dårlige og spørge sig selv: Tror jeg på det? Er der et mønster? Hvad vil det betyde hvis det sker for mig?

Helt enig med Peter Nørregaard er jeg i, at den samlede score, som oftest er det eneste der vises på siderne, ikke er noget værd.

Povl Hansen

Har prøvet af bruge Tripadviser engang til af find et hotel
opgav og brugte Hotel.com istedet
det så ud til af det kun var vrede kunder der brugte Tripadvisor

Men er det meget anderledes end Trustpilot, hvor butikker kan slette dårlige anmeldelser

Ivo Santos

Problemet med anmeldelse af restauranter, kunst, film, og meget andet er at alle er forskellige.
Det er muligt at en 3 stjernet restaurant serverer god mad, men hvis ikke man er til den type underlig og eksperimenterende mad, så er sådan en restaurant ikke et sted man skal komme.
De få lokale restauranter der ligger indenfor gå afstand i forhold til hvor jeg bor er fantastiske og laver god mad, og er måske slet ikke med i hverken Tripadvisor, eller andre sider, men maden er himmelsk, og stemningen er fantastisk, og det er da også derfor jeg holder mig langt væk fra sider så som Tripadvisor og Trustpilot.

Og igen kommer valget af restaurant jo også an på hvilken type mad man er til, en person som er vandt til f.eks. salat eller kinesisk mad eller lignende vil måske vurderer min lokale restaurant som værende dårlig på grund af de retter som de serverer, og jeg vil måske vurdere en kinesisk eller amerikansk restaurant som værende dårlig fordi jeg ikke bryder mig om de retter de servere, og det aspekt er vel ikke med i sider som f.eks. Tripadvisor eller andre sider.

Yoel Caspersen Blogger

Problemet med anmeldelse af restauranter, kunst, film, og meget andet er at alle er forskellige.

Det er et meget relevant problem, når det kommer til anmeldelser af ting, som i bund og grund er vidt forskellige.

Og det er ikke bare personer, der er forskellige, der er også forskellige tidspunkter til forskellige ting. Selv holder jeg meget af snobbet fransk mad, ekstravagant sushi og italienske specialiteter, men alligevel er det McDonald's, der trækker mest i mig på en tømmermændsramt 1. januar. Det retfærdiggør bare ikke, at McDonald's bliver rated efter samme skala som rigtige restauranter - selv om de gør det udmærket inden for deres eget snævre felt.

Yoel Caspersen Blogger

Men er det meget anderledes end Trustpilot, hvor butikker kan slette dårlige anmeldelser

Det er mig bekendt en sandhed med modifikationer. Virksomheder har ikke adgang til at slette anmeldelser fra Trustpilot, men så vidt jeg kan forstå, kan betalende Trustpilot-kunder integrere et feed med anmeldelser på deres eget website. Dette feed har de så mulighed for at sortere i, så de dårlige anmeldelser ikke bliver vist - men de vil stadig kunne ses på virksomhedens profil på Trustpilots eget website.

En anden udfordring med Trustpilot er, at der skal lægges et intensivt arbejde i at få kunderne til at melde tilbage, når de har haft en god oplevelse. Folk er bare mange gange mere tilbøjelige til at dele en dårlig oplevelse end en god - og det endda helt uden falske anmeldelser, shitstorms etc.

Apropos Trustpilot, så er det lidt sjovt, at mange større virksomheder besvarer en dårlig anmeldelse med "Skriv lige til os på socialemedier@<virksomhedens navn>.dk". Det skriger langt væk af, at man får særbehandling, hvis man brokker sig, mens resten af kunderne må stille sig op i den sædvanlige kø i virksomhedens kundeservice.

Benny Lyne Amorsen

Virksomheder har ikke adgang til at slette anmeldelser fra Trustpilot


Det kan Trustpilot påstå så meget de vil, det er simpelthen ikke rigtigt. Virksomhederne har f.eks. mulighed for at sige at en anmeldelse er falsk og dermed få den fjernet, og nogle virksomheder går også til domstolene.

Min erfaring er at Trustpilot er nogenlunde retvisende for de virksomheder som IKKE betaler til Trustpilot, men virksomheder som betaler Trustpilot bør man holde sig væk fra.

Henrik Madsen

Det kan Trustpilot påstå så meget de vil, det er simpelthen ikke rigtigt. Virksomhederne har f.eks. mulighed for at sige at en anmeldelse er falsk og dermed få den fjernet, og nogle virksomheder går også til domstolene.

Min erfaring er at Trustpilot er nogenlunde retvisende for de virksomheder som IKKE betaler til Trustpilot, men virksomheder som betaler Trustpilot bør man holde sig væk fra.

HELT enig.

Trustpilot kan godt bruges til at fravælge en butik som har fået mange dårlige anmeldelser som lyder realistiske.

Trustpilot kan IKKE bruges til at konkludere at firmaer med høj trustscore er gode firmaer.

Der er SÅ mange eksempler på firmaer som har betalt til Trustpilot og har fået lov til, systematisk at få fjernet alle de dårlige anmeldelser.

En anden problematik hos Trustpilot er også at man godt kan komme med en nøgtern beskrivelse af et købsforsøg og så få anmeldelsen slettet fordi man jo ikke "er kunde".

Et eksempel kunne være at jeg skriver til et firma og spørger efter en vare og får et møjbeskidt svar tilbage.

Hvis jeg der, skriver om min objektive oplevelse af firmaet så får jeg den slettet da jeg jo ikke er kunde.

Et af de mest klare eksempler på trustpilot's velvillighed og partiskhed, overfor dem som betaler er eksemplet med "mysecuritycenter" som solgte et inferiørt produkt og tilmeldte folk til automatisk fornyelse af abbonement og meget strikse regler for hvornår man kunne afmelde sig det fortsatte "abbonement".

Jeg har hjulpet flere med at slippe ud af deres kløer og i flere tilfælde var eneste mulighed, simpelthen at få banken til at sende et nyt kort og lukke det gamle.

Det firma står idag med en fin-fin trustpilot score fordi de fik slettet ALT der var bare den mindste smule kritisk.

Yoel Caspersen Blogger

Virksomhederne har f.eks. mulighed for at sige at en anmeldelse er falsk og dermed få den fjernet, og nogle virksomheder går også til domstolene.

Skal det være umuligt for en virksomhed at gøre noget, hvis der indløber falske anmeldelser, fx fra konkurrenter, der spiller med urene kort, eller med en hysterisk Facebook-pøbel, der lægger falske anmeldelser, selv om de aldrig har handlet med virksomheden?

Henrik Madsen

Skal det være umuligt for en virksomhed at gøre noget, hvis der indløber falske anmeldelser, fx fra konkurrenter, der spiller med urene kort, eller med en hysterisk Facebook-pøbel, der lægger falske anmeldelser, selv om de aldrig har handlet med virksomheden?

Nu er der vel forskel på om man rammer en shitstorm pga. den slags og så firmaer som bevidst fusker.

Jeg har som sagt set firmaer som fuskede helt vildt og fik det hele slettet fordi de var betalende medlem.

Jeg har også et eksempel på en sælger som skrev på et forum om ikke folk ville bedømme ham positivt selvom han var en krejler.

Jeg sendte links, screenshots og så videre til trustpilot og det var tydeligt at der var fusket for de fleste af dem som anmeldte de pågældende 3 dage, brugte samme brugernavn på både forum og trustpilot.

Trustpilot sagde de ville kigge på det, men INTET blev slettet.

Jesper Svarre

Du skriver meget selvsikkert at Krebsegaarden åbenlyst ikke er Københavns bedste restaurant - uden at have været der. Selvom jeg er enig i det meste, du skriver, synes jeg det er lidt rigeligt friskt.
Mit eget ene besøg på Krebsegaarden var i hvert fald blandt de bedste oplevelser, jeg har haft på en københavnsk restaurant. Ikke den bedste mad, jeg har fået, men det står der vel heller ikke?

Simon Mikkelsen

Apropos Trustpilot, så er det lidt sjovt, at mange større virksomheder besvarer en dårlig anmeldelse med "Skriv lige til os på socialemedier@<virksomhedens navn>.dk". Det skriger langt væk af, at man får særbehandling, hvis man brokker sig, mens resten af kunderne må stille sig op i den sædvanlige kø i virksomhedens kundeservice.

Og man får oftest den bedste behandling hvis man skriver fra Twitter, fordi der er flest journalister og meningsdannere der. Personligt har jeg dog også prøvet at Stylepit aldrig svarede tilbage, så det blev mere brugt som en måde at lukke munden på kunderne.

Benny Lyne Amorsen

Skal det være umuligt for en virksomhed at gøre noget, hvis der indløber falske anmeldelser, fx fra konkurrenter, der spiller med urene kort, eller med en hysterisk Facebook-pøbel, der lægger falske anmeldelser, selv om de aldrig har handlet med virksomheden?


Du svarer på noget som jeg ikke har skrevet.

Du skrev: "Virksomheder har ikke adgang til at slette anmeldelser fra Trustpilot". Trustpilot skriver også selv: "Det er ikke muligt for virksomheder at slette eller på nogen måde censurere anmeldelser."

Begge udsagn er forkerte. Eller, udsagnene er sådan set rigtige nok, virksomhederne kan ikke SELV slette anmeldelserne. Men virksomhederne kan henvende sig til Trustpilot, som så sletter anmeldelserne for dem.

Jeg siger ikke at praksis skal ændres. Jeg siger bare at Trustpilot bør holde sig til at bruge udsagn som ikke kun er TEKNISK korrekte.

Og så tror jeg at jeg vil undlade at skrive mere; jeg har ikke noget specielt ønske om at tale med Trustpilots advokater.

Thomas Toft

Skal det være umuligt for en virksomhed at gøre noget, hvis der indløber falske anmeldelser, fx fra konkurrenter, der spiller med urene kort, eller med en hysterisk Facebook-pøbel, der lægger falske anmeldelser, selv om de aldrig har handlet med virksomheden?

Ja, hvis du skal have et kort svar.

Måske, hvis det skal være lidt længere.

Et firma kan kræve bevis for man faktisk har handlet med dem. Hvor mange tror du der går ind og kontrollere dem der giver fem stjerner og får dem slettet hvis det er falske anmeldelser? Hvis ikke alle der betaler til Trustpilot som udgangspunkt skal være nogle man ser efter grundigt i sømmene før man handler med dem -som om de er lidt lyssky- så bør det være enten alle der kontrolleres for om de har handlet med pågældende firma eller ingen. Alt der i mellem er fup og fidus og et firma der gør det ville jeg aldrig handle med.

Hvad gør i i dit firma? Betaler i til Trustpilot og hvis i kontrollere for ægthed gør i det så på alle eller kun dem i ikke kan lide?

Morten Jensen
Yoel Caspersen Blogger

Begge udsagn er forkerte. Eller, udsagnene er sådan set rigtige nok, virksomhederne kan ikke SELV slette anmeldelserne. Men virksomhederne kan henvende sig til Trustpilot, som så sletter anmeldelserne for dem.

Igen er det en sandhed med modifikationer. Trustpilot sletter ikke pr. automatik, fordi en virksomhed beder om det. Som virksomhed kan man flagge en anmeldelse, fordi den overtræder loven, herunder også persondataloven, fordi den ikke handler om købs- eller serviceoplevelsen eller fordi kunden ikke kan genkendes.

Når man så flagger en anmeldelse, bliver anmelderen bedt om at revidere sin anmeldelse, eventuelt ved at dokumentere, at der er foretaget et køb. Hvis anmelderen ignorerer denne anmodning fra Trustpilot, fjernes anmeldelsen når tidsfristen udløber. Indtil da tæller anmeldelsen med i den samlede statistik.

Der er således ikke på overfladen tale om, at virksomheder har nemt ved at fjerne anmeldelser, de ikke kan lide. Er det så anderledes, hvis man betaler for det som virksomhed? Jeg ved det ikke, for vi betaler ikke. Men hvis det er rigtigt, at betalende virksomheder kan få fjernet dårlige anmeldelser, undrer det mig såre, at vi ser eksempler som følgende, hvor betalende kunder har en elendig score:

Hvorfor har disse virksomheder ikke blot fjernet en masse dårlige anmeldelser, så de kunne få en bedre score?

Så har vi eksemplet med mysecuritycenter.com - jeg er enig i, det ser lidt spøjst ud, og som IT-professionel undrer jeg mig over, at et firma, der sælger snake-oil, kan få så god en score. Er det fordi de selv fifler med deres Trustpilot-anmeldelser, eller er det fordi deres kunder generelt er tilfredse med det produkt og den service, de får?

Husk, at også homøopater og zoneterapeuter har glade og tilfredse kunder, selv om de sælger et virkningsløst produkt - til gengæld har de tid til at tage deres kunder seriøst, hvilket rigtige læger oftere mangler. Kunne det være samme case her?

Det er nemt at kritisere Trustpilot (det gør jeg også selv) - men jeg synes, det er svært at anvise et bedre alternativ.

Log ind eller Opret konto for at kommentere