Big data er en hype som ikke har rod i realistiske forventninger. Eksemplerne på gode business cases er få og anekdotiske og stammer fra firmaer, der er så langt fra hvad almindelige gennemsnitsfirmaer vil kunne stille op til. Det grundlæggende problem er at det simpelthen er for svært at få noget brugbart ud af big data. Man skal have en universitetsgrad og samtidig have indsigt i hele forretningen.
Indtil for nyligt var tech miljøet ved at gå cloud bananas. Man kunne simpelthen ikke sige to sætninger uden at ordet cloud skulle nævnes. Jeg har tidligere skrevet hvordan ordet cloud i betydning var meget tæt på tryllestøv:
nu er turen kommet til en ny smart ting som hedder big data. Det har fuldstændig samme betydning nemlig “Tryllestøv”. Tag en hvilken som helst overskrift hvor big data indgår og erstat det med tryllestøv. Betydningen er fuldstændig det samme.
et eksempel er denne artikel fra politiken: tryllestøv vil vende op og ned på din verden!
eller denne fra Version 2 hvor Yahoo ufordrer udviklere til at kaste tryllestøv efter 99 millioner billeder. Det er også præcist det artiklen handler om: at der på magisk vis sker et eller andet fantastisk hvis bare man smider noget big data på det.
Nu har jeg brugt en stor del af mit live på at forstå og analysere begreber, så lad os starte med at finde en fornuftig betydning af big data.
De mere sobre bud, som rent faktisk rammer noget vi ikke i forvejen kunne kalde Business Intelligence, Analytics, Machine Learning eller Artificial Intelligence går ud på at big data skal indeholde de tre V’er: Velocity, Volume og Variety.
Det er således ikke nok, at der bare er store datamængder. Heller ikke, at de er forskelligartede. Det skal også være noget, som skal kunne tilgås hurtigt. Googles søgemaskine er faktisk et rigtigt godt eksempel på ægte big data. En masse meget forskelligartet data bliver analyseret og lavet om til fornuftige resultater. Man kan måske diskutere, hvor hurtigt det sker.
Facebook er et andet eksempel på, hvordan dit newsfeed tager hensyn til store mængder data. Det er meget varieret, da der både er struktureret data som likes, og relation til venner samt ustruktureret data som tekst, der tilsyneladende bliver analyseret på forskellige måder.
Der er jo også twitter, som løbende holder styr på trending topics på baggrund af et hav af tweets. De kan også udvælge, hvad de tror er vigtigt for dig ved at kigge på positionen, hvor nyt det er, dine venner, hvor stor indflydelse den der poster har, hvor mange der deler og så videre.
Og det er så vel det. Ingen andre firmaer får konsekvent noget fornuftigt ud af big data.
For at få noget ud af big data skal man have et meget åbent sind, være nytænkende og have kendskab til alle mulighederne og teknikkerne. Hvis du skal lave en god big data løsning skal du have styr på dine machine learning algoritmer, for at finde ud af hvilke typer af algoritmer skal bruges til forskellige typer af problemer. Grundbogen i machine learning er på cirka 1000 sider og, helt ærligt, hvem gider læse det, når man kan sidde og fnise over tweets, youtube videoer eller skrive vrede anmeldelser på trustpilot.
Dernæst skal du have en smule fingerspitz gefuhl med skalerbare arkitekturer, no sql databaser, sharding og distribueret computing. Godt nok kun til husbehov. Det ville også være fint hvis du selv lige kunne sidde og rode med lidt kode for at prøve dig frem.
Ud over det skal du være interesseret i hvordan firmaets forretning er skruet sammen. Hvad er de væsentligste drivere for vækst? og hvordan er købscyklussen hos kunden og forretningsmodellen?
Den persontype, som er nødvendig er meget sjælden og endnu færre firmaer vil kunne overbevises om at ansætte dem, da det er meget uklart hvad sådan en filur kan bibringe af værdi: “Så din spids kompetence er gode ideer og tykke bøger. Du roder lidt med noget teknologi men er ikke helt skarp på at kode, men meget interesseret i hvordan forretningen er skruet sammen?”, som vi sagde i musik miljøet dengang jeg stadig prøvede at gro et garn når vi havde haft håbefulde omend talentløse musikere til audition: “Vi ringer”.
Problemet er at Big data er grundforskning. Ligesom grundforskning er det meget usikkert om man vil få et resultat. Man skal udvikle hypoteser om sammenhænge, hvilket kan være ret svært, hvis man er som danske firmaer er flest. I Danmark er discount mentaliteten fremherskende: hvis man kan få noget lidt billigere eller sælge det lidt dyrere, så er det simpelthen det eneste som tæller. Big data kræver dog mere en pioner mentalitet, hvor man aldrig kan garantere, hvad der ligger rundt om hjørnet eller, eller om der overhovedet er noget. Det kræver en vilje til at gå ud i ukendt territorium at gå udenfor sin comfort zone og det er jo ikke den klassiske beskrivelse af hygge vel? Men selv om jeg er kritisk overfor Danmark vil jeg faktisk ikke mene at vi står tilbage for andre lande. Vi har dog trods alt en relativt innovativ tilgang til livet, og er ikke udpræget begrænset af vanetænkning i forhold til de lande vi ellers sammenligner os med.
Det er i sidste ende kun et fåtal af firmaer, som er villige til at smide en million efter et projekt, der ingen garanti har for at få noget resultat. Det er kun fantasifirmaer som google, twitter og facebook, hvor alle normale økonomiske love er ophævet, hvor en sådan ting kan trives. De fleste firmaer i verden er konservative, og vil have en garanti for deres investering. Det er der ikke for big data.
Derudover kræver det nosser rent faktisk at stole på de overraskende resultater, som man får ud af det. Hvor mange andre firmaer end netflix ville have kugler nok til at satse flere millioner på at producere en tv serie ud fra analyser de havde lavet af deres data? Nej vel.
For de fleste firmaer giver det mere mening at gå tilbage til deres data warehouse og ryde op i data og bygge nogle lidt mere intelligente rapporter, gennemtænke KPIer og koncentrere sig om master data. Man kan også med fordel ansætte en studentermedhjælper til at sidde og grave lidt i data. Han kunne jo finde noget spændende.
Som der var en der sagde; all problems can be solved with bacon, apply bacon to the problem and it's solved...
Jeg tror der er mange der misforstå hvad "big" i big data betyder; vi skal snakker om meget meget store data mængder i ustruktureret form.
Der er et ganske interessant forlæsning fra Stanford: https://www.youtube.com/watch?v=d2xeNpfzsYI om Apache Hadoop, og det er bare begyndelsen.
Bare fordi noget er "buzz", så er det ikke ensbetydende med at det vil løse alle problemerne....
Jeg får spasmer hver gang nogen på TV bruger ordet Cloud - for i 10 ud af 10 tilfælde bruger de ordet forkert..
tag bare IT-Geek-wannabe folkene i So-Ein-Ding, hvor de skulle kåre årets bedste trend: Her brugte de betegnelsen "Cloud Computing" om tjenester som WIMP, Spotify, iCloud, Skydrive, Dropbox, Netflix (ARGHHH)
Computing = matematisk behandling af data og ikke bare hosting
Som jeg forstår 'Cloud', drejer det sig om virtuel server hosting - og typisk med mulighed for at få hostet serverne globalt med henblik på at kunne servicere millioner af brugere - samt at have lokale servere som øger respons / performance på services og websites.
Cloud i mit hoved, er Microsoft Azure, Amazon AWS osv.
'Cloud Hosting' eller 'Cloud Services' havde derfor været mere acceptabelt efter min mening... men ikke 'Cloud Computing'
Du glemte DMI / Vejr tjenesterne som moser igennem TOOOONSVIS af data...
Før big data talte man om datamining. Magisk teknologi der kunne give svar på spørgsmål, man ikke engang havde stillet.
Jeg har aldrig set eller mødt nogen der kunne forklare principperne bag denne form for magi. Jeg så engang et fordrag om en gruppe på fire der dataminede. Da havde de allerede gået og datamined nogle år. De hævdede også at have fanget noget med den metode,, men heldet har sikkert fulgt loven om den aftagende merværdi, så en dag har den største gevinst for firmaet været at nedlægge projektet.
Projektlederne, Anders. Projektlederne!
Du glemmer helt at tage højde for hvor vi med Big Data kan sørge for beskæftigelse af en ellers udsat gruppe, der nu på magisk vis har en chance for at vise deres værd.
Udviklerne koder på livet løs. Systemteknikerne bygger kæmpemæssige regne-clustre, optimerer performance og indkøber rå mængder solid state diske - de er jo så hurtige, ved vi alle sammen. Ledelsen prøver på at lade som de forstår hvad der foregår. Projektlederen stråler, mens der endnu en gang afsættes fire mandeuger til at montere 24 pizzaservere i et rackskab. I morgen er der projektmøde igen - de nye servere skal jo forbindes til en switch ...
Ja, John jeg er enig. Jeg har prøvet at designe og implementere sådanne intelligente systemer, men det strander altid på at dem der skal tage beslutningen alligevel ikke forstår hvad det går ud på eller at udviklerne laver en smart model i Excel som mere svarer til det de plejer at lave. Datamining er som ordet siger, mine drift, og 98% er af den gode gamle guldgraver skole, hvor man starter et sted og prøver sig frem. Lad os bare konstatere at det ikke er sådan store mineselskaber arbejder.
På en Dau konference i foråret havde vi også virkelig gang i hype generatoren. Ord som ”Smart Factory, ”Master data Governance” og ”Industriel 4.0” blev flittigt nævnt, og jo så var Big Data også på præsentation paletten.
Men giver det over hovedet mening at tale om Big data når det drejer sig om proces information, da de fleste produktions data er opsamlet fra selve processen og ikke fra andre miljø såsom Facebook og andre sociale medie.
I min mere end 20 årige automatik karrier har jeg kun stødt på eksempler på produktions information systemer baseret på rene strukturerede proces data, men hvis der skulle findes eksempler på inddragelse af ustruktureret anvendt som proces forbedrings grundlag vil jeg da meget gerne høre om det.
End til da vil jeg vove at påstå at Big data ikke er et begreb der er ikke er relevant i produktions information sammenhæng.
Er din pointe, at fordi vi ikke ved om en indsats giver brugbare resultater, så bør den ikke ydes? At fordi noget er svært, skal vi lade være? At vi kun skal levere arbejde som kan ydes uden en universitetsgrad - og hvor det forventede resultat er forudsigeligt og let opnåeligt med kendte værktøjer?
Tror du ikke, at BI (som lyder til at ligge i din comfort zone) har været tryllestøv engang?
Din indstilling havde næppe bragt folk på månen, opfindelse af transistoren eller for den sags skyld fået os ud af jordhulerne.
Hvad er dit belæg for at sige Big data ikke virker, du skriver jo at du hellere vil kigge youtube videoer end at læse om det.
Er ligesom Thomas lidt forvirrede over hvad din pointe er. Du skriver at at Big data er spild af tid samtidig med at du skriver at du ikke gider at undersøge det. Men hvad er så dit belæg for det?
Hvorfor skulle folk så lytte til dig?
Thomas, - fin, fin kommentar, som jeg fuldt ud kan tilslutte mig. Ja, der er masser af "varm luft" og "hype" der omgærder begrebet Big Data, men værdien bør vi ikke tvivle på. Vi ser den hos CruCon Analytics i vore Big Data Analyser på tæt hold hver eneste dag !!
Anders, - jeg tror godt jeg ved, hvad du mener og hvorfor du tvivler på værdien. Men vores veje skilles to steder:
1. I definitionen af begrebet; For os, - og for mange andre, er definitionen særdeles flydende og ja, den afhænger af den konkrete opgave og af det konkrete Dataset. Men gør man sig umage i den konkrete situation og får definitionen på plads, vil opgavens art, karakter, størrelse og omfang være, om ikke direkte givet, så i al fald langt mere håndterbar. Se i øvrigt Erhvervsstyrelsens udmærkede publikation om anvendelsen af Big Data i Dansk Erhvervsliv fra Februar 2014.
2. I brugen af Big Data - Vi ser det slet ikke værende så kompliceret, som du beskriver. Det kan gøres rigtig kompliceret, - helt sikkert, men Big Data kan også "komme helt ned på jorden" og anvendes intelligent. Det kræver først og fremmest den rigtige start (læs: definition af begrebet og en "ønskeseddel") dernæst nysgerrighed, vedholdenhed og omhu. Man skal gøre sig umage. Men på samme måde som ved raffinering af andre råstoffer, så afgøres meget af udkommet af kravet til råstoffet.
Tak for et alternativt syn og man kan vel sige nogen negative betragtninger;-) Når det er sagt, så ER der megen hype omkring big data, og ikke mindst meget forskellige opfattelser af hvad det i det hele taget er - og også hvad det ikke er. Den diskussion synes jeg ikke er så interessant. Det der er interessant, er hvorledes DATA (big eller ej) ændre virkeligheden, uanset om vi betragter det som privat personer, virksomheder, produkter, kommercielle modeller, strategisk potentiale, brancher - ja, alt. I takt med at alt digitaliseres dør brancher, nye opstår, og det samme gør virksomheder der ikke forstår og reagerer på det. Gennem de sidste tre år har jeg arbejdet som konsulent for forskellige virksonheder med både de forretningsmæssige og teksiske forhold af big data (før det, 15 år med DW/BI) og jeg har ikke haft et kundemøde i den periode, uden at big data er blevet fantastisk vel modtaget - både hos beslutningstagere i forretning og IT.
Det interessante i big data er altså det forretningsmæssige potentiale for stort set alle brancher - men det kræver nye syn på tingene.
Og så lige en kommentar i forhold til teknisk/data. I big data er der nogen nye teknologier og mulige arkitekturer, der løsner op for mange af de problemer, der netop har været gennem mange år i arbejdet med data inden for BI/DW. Så hvis jeg skulle give en provokation tilbage, kunne det være til din afrunding - "gå aldrig tilbage til en fuser" ;-)
Hvad hedder grundbogen?
hej Anders (og I andre) -
Særdeles relevant indlæg. Vi (Fair & Square) holder en BD-konference den 15. september, hvor nogle af mine venner fra andre lande kommer og snakker lidt om det BD-halløj de har leget med, og der kommer nogle folk her fra Danmark, der både forstår kode, matematik, statistik og lidt forretning (det er vist det, der kræves for at være en god Data Scientist :-))) ), som vil fortælle om deres erfaringer med at anvende data på nye måder. I den forbindelse ville det være virkelig godt at have dig med som foredragsholder (og måske en slags modvægt?) til de andre foredragsholdere, så vi kan få nogle livlige debatter på konferencen.
Hvis det har interesse kan jeg træffes på 53 74 71 00 eller mno@fairandsquare.dk...
Mvh Mogens
Rigtig god pointe. Min pointe var faktisk det modsatte. For det er der jeg kommer fra, grundforskning og mere end 10 år spildt på universitetet.
Tak Thomas. Pointen var faktisk omvendt, at der ikke er nogen danske firmaer som seriøst vil investere i netop at få folk på månen eller at opdage noget nyt fordi investeringerne er for store og usikkerheden for stor. Mit indlæg var måske mere sådan en slags surt opstød over at man snakker så meget om innovation og noget nyt og banebrydende, men min oplevelse er at folk ikke rigtigt lægger pengene hvor deres mund er, og så kan de jo lige så godt lade være med at snakke om det.
Altså,nu må jeg lige bede jer om at læse teksten. Der står "man" og ud fra det, kan man ikke slutte noget om forfatteren. Jeg har læst grundbogen og syntes den var spændende. Jeg har designet "big data" løsninger, som jeg synes er vildt fedt og er den vej vi skal gå. Mit problem er at alle dem, der snakker om det ikke har indset, hvad de snakker om og i øvrigt ikke har nosser til at investere og bakke op om det når det kommer til stykket. Man har ikke indset hvor svært det er og at det kræver en meget mere helhjertet indsats end nogle danske virksomheder tør at yde.
@ole det var egentlig lidt min pointe med slutningen: få styr på dine masterdata, få styr på KPIer der giver værdi og lav det simple som giver værdi. Jeg er enig i at man kan få værdi af noget simpelt.
Jeg kan godt se jeg har forvirret, men det er ikke min mening at big data er værdiløst. Helt tvært imod, men min personlige oplevelse er at der er mange firmaer der vil talk the talk, men meget få som vil walk the walk
@stig ja, og det er netop det nye syn på tingene som jeg ikke ser nogen reel interesse i hvis det kommer til at koste eller man skal sætte sin lid til algoritmerne.
End til da vil jeg vove at påstå at Big data ikke er et begreb der er ikke er relevant i produktions information sammenhæng.
Ehhh, prøv at fortælle det GE, som opsamler store mængde data fra fx Gasturbiner (både fly og stationære) eller Dasault som også laver systemer til data analyse. Selvfølgelig er der hype i Big Data, men det faktum at man nu kan analysere meget store (og måske forskellige) datamængder, giver nogle spændende muligeder som ikke før fandtes!
Eller Vestas der samler temmelig store mængder data ind via deres vindmøller over hele verden. Prøv at forestille jer man kunne forudsige Wear&tear ud fra vind og temperaturforhold opsamlet fra hele verden? - Det kunne være ret interessant set ud fra produktion af reservedele.
Nå ja - deres vejrudsigter skulle efter sigende være mere præcise end DMI's :-) (men der skal vist heller ikke så meget til)
Der er jeg helt enig med dig. Og det er heller ikke alle som ville have meget nytte af at bruge en masse tid på at implementere store løsninger.
Men når du siger at danske firmaer godt kan glemme at få noget ud af det, bliver jeg ked af det. Forskellige dele af big data pakken kan netop og burde stå øverst på listen hos danske firmaer som gerne vil bruges uden for Danmark.
Jeg tror ikke der vil gå ret mange år, før at de fleste (internet)forbrugere vil syntes sider er umoderne og langsomme hvis der ikke er personalisering på siderne, hvem gider at have kampagne emails om ting jeg ikke er interesseret i. Mere og mere reklamerer og kampagner bliver sendt til folk, hvis ikke det bliver mere intelligent kommer der mindre og mindre ud af det.
Men det er ikke kun der der er muligheder for big data, det kan også bruges til at få kortere ventetider hos tandlæger, eller hjælpe læger med at tage beslutninger, eller optimere produktions virksomheder.
Jeg ved der er flere danske firmaer som arbejder hårdt med laver applikationer som skal hjælpe læger med at tage beslutninger.
Og selvfølgelig kommer det meget an på hvad man syntes er big data. Men at anbefale produkter baseret på historiske data ved hjælp af en collaborative filtering algoritmer, eller sammenkører data fra dansk statetisk eller dmi med dine egne data for at give en bedre oplevelse på et site kan jo også være big data.
Eftersom jeg til dagligt arbejder med data mining er jeg så miljøskadet at jeg ser Big Data, data mining eller hvad nu det fancy ord hedder som helt afgørende for fremtidens virksomheder, f.eks. når Google og andre får indsamlet tilstrækkeligt data fra veje og trænet deres algoritmer vil selvkørende biler overtage taxa og fragtmandsbranchen.
Almindelige computer-baseret talbehandling har overtaget store dele af den financielle sektor, f.eks. med hurtighandler. Reklamebranchen er baseret på hurtigauktioner for digital visning hvor talbehandling også er en del.
I medicinalvirksomheder bør behandling af store bioinformatiske datamængder være en almindelig kompetence. Jeg forestiller mig at matematisk logistik er ganske vigtig i fragtbranchen. I Internet-branchen bør A/B-testing hvor man lige tester på nogle få titusinde brugere være en almindelig kompetence.
Enig, der er mange gode historier derude. Mange gode ideer. Min overbevisning er at det er et absolut fåtal som evner overhovedet at udnytte de muligheder som big data tilbyder. Jeg har mange eksempler fra flere af Danmarks største virksomheder, hvor seje big data ideer og løsninger er blevet fejet til side fordi man ikke forstod dem, ikke troede på dem eller at man bare plejede at gøre tingene på en anden måde. Alle disse anekdotiske reklame historier får mig ikke overbevist om at firmaer generelt set er hverken modne eller i stand til at gøre brug af de muligheder big data tilbyder. Big data er som jeg skriver "grundforskning" og Helge Sanders "forskning til faktura" regime har effektivt ryddet enhver form for vilje til at investere i grundforskning uden sikkert afkast af vejen.
Jeg ville ønske tingene var som du antyder, men det er de efter min bedste overbevisning ikke.
Du har misforstået begrebet big data, - men det er
nu forståeligt nok. Der er nemlig ikke en entydig definition på, hvad det er.
Som alle hypede begreber, har IT leverandørerne det med at forsøge at
definere det, så de selv kan være med på vognen. Derfor kan man ikke blive
enige om hvad det er.
Det nærmeste man kommer, er nok bare at det er en samlet betegnelse for alle
de muligheder, som man får, når man kombinerer matematisk/statistisk
modellering og optimering med mange data, hvor "mange" er mere end 3 :-)
Med den definition vil du finde, at ALLE større danske virksomheder bruger
det i en eller anden form allerede nu. Hvis du er interesseret, kan jeg
nævne mange konkrete eksempler.
Og der er ingen tvivl om at det vil blive brugt mere og mere, for det er
den vej, der giver det største potentiale for yderligere automatisering af
vidensarbejde. Se f.eks. "Humans Need Not Apply" på Youtube
ok, jeg prøvede ellers at pointere at den mest udbredte definition "Velocity, Volume & Variety" ikke er den betydning som big data har i den normale debat. Det kan godt være, det ser ud som om jeg har misforstået, og det fremgår måske ikke klart nok, men jeg tænkte, at det var bedre at tale om big data i den betydning, det har i almindelig tale (som ikke er den teknisk korrekte ovenfor). Det kan være derfor du oplever, at jeg misforstår det.
Jeg er kommet igennem Viktor Mayer-Schönberger og Kenneth Cukier's bog om Big Data hvor de forsøger at fremdrage kendetegn ved Big Data. Jeg har kort beskrevet dem på den danske Wikipedia: https://da.wikipedia.org/wiki/Big_data#Kendetegn
Jeg er ikke særlig glad for Mayer-Schönberger og Cukier's correlation/causality, og jeg kan mere holde med Lisdorfs tre v'er. Correlation/causality kan man vel også have i Big Data når man er i stand til at lave inventionistiske studier, f.eks. flytte rundt på varerne i butikken og se hvor meget salget ændrer sig. Jeg skrev en 'anmeldelelse' er bogen her: http://finnaarupnielsen.wordpress.com/2014/08/05/big-big-data/
Mht. Mayer-Schönberger og Cukier's "more" hvor de argumenterer at man nu med Big Data analyserer "alt" data, fremfor blot en stikprøve, så vil jeg sige at i almindelig regnskab arbejder man med hele datasættet og ikke blot en stikprøve, - ellers vil revisoren jo ikke godkende det.
Tak for dit indlæg til konferencen - jeg går ud fra som en selvfølge, at konferencen blot bekræftede dig i dine holdninger? :-))).
Mvh Mogens
Tak for at jeg måtte deltage Mogens! Jeg lærte meget, og det var en rigtigt godt arrangeret konference, der viser hvor meget spændende der sker i området. Jeg kan dog ikke, som du antyder, sige at jeg har fået falsificeret de hypoteser, jeg havde omkring big data ;)
