Hadoop har næppe gennemslagskraft i markedet

Hadoop bygger paa MapReduce som Google opfandt for at loese et praktisk problem de havde for ti aar siden. De havde en kaempe webfarm og en masse logfiler, og var traette af at koere grep gennem ssh. Dvs. deres data var spredt ud og de havde brug for at aggregere dem. I dag kan man koebe servere med 1-2TB RAM, og det er baade lettere og hurtigere at samle alle sine data her, og lave rapporter over dem loebende, med mindre altsaa man har dem i en kaempe webfarm i Google-format, hvilket de faerreste er tvunget ud i. Jeg var for nyligt til et foredrag hos Microsoft Research i Cambridge, hvor de havde forsoegt at loese et machine learning problem med Hadoop (eller anden MapReduce-afledt teknologi), paa et stor cluster. De fandt sjovt nok at det var langt hurtigere og billigere at samle alle data i en enkelt maskine med 192GB RAM og mange kerner, og loese problemet der. Ikke saa sexet, men hurtigere og billigere. Jeg tror de sagde maskinen kostede $8000, hvilket jo er smaapenge for de fleste. Se deres slides her: http://research.microsoft.com/en-us/events/msrcsw2012/dnarayan-bigmemory... .

Hadoop løser primært et nicheproblem - tung, offline data crunching.

På samme måde må vi indse, at de traditionelle RDBMS'er løser et specifikt problem: persistering af data i statiske strukturer i ikke-distribuerede systemer, hvor der kan tolereres nedetid og begrænset skalerbarhed for skrivninger.

Så snart man bevæger sig væk fra disse forudsætninger, så er der bedre alternativer blandt NoSQL databaserne. NoSQL (Not only SQL) bevægelsen handler netop om, at anvende det database-system, der passer til opgaven. Noget vi har forsømt i de seneste årtier - måske fordi vi har bygget så mange administrative systemer baseret på centrale databaser. Verden ændrer sig.

I dag er en stor del af vores liv flyttet fra monolitiske systemer til højt distribuerede systemer. Alt tyder på at flytteriet ud i skyen fortsætter - her forventer alle altid at kunne bidrage. For mange forretninger er det i dag vigtigere, at kunne skalere til millioner brugere, end om en opdatering tager et sekund at propagere ud i alle hjørnerne af systemet. Desuden skal forretningen fortsætte selv om centrale komponenter er midlertidigt nede eller frakoblet. De traditionelle RDBMS'er tilbyder transaktioner og andre konsistens-garantier, som i teori og praksis umuliggør høj tilgængelighed i en verden hvor data er distribuerede.

Væksten hos NoSQL-databaser som Riak, Hadoop, Neo4J, Cassandra, MongoDB, CouchBase osv. sker som følge af stigningen i anvendelser, hvor RDBMS'er er arkitektonisk dårligt egnede.

Hadoop er "noget storage" (HDFS) med en hulens masse API'er og libraries ovenpå. Derfor giver det heller ikke rigtigt mening at sammenligne det med klassiske RDBMS'er, der er skabt til at tilbyde transaktionel persistens af data i normaliserede datamodeller, og gør dette til perfektion.

Hadoop (og lignende) kan benyttes et utal af steder, men efter min mening aldrig som et alternativ til en RDBMS backend. Man kan derimod forestille sig at fodre et Hadoop-cluster med data fra et RDBMS, og så bygge real-time web-systemer op oven på det. Nogle af de eksempler, jeg har set, har sparet en DB2/Z-backend for et utal af MIPS (= $$$), og har kunnet levere real-time BI-data i stedet for natlige batch jobs. DET er noget, der kan omsættes til kroner og ører for en organisation.

Mange af nutidens websystemer kunne slet ikke bygges på toppen af et traditionelt RDBMS. Twitter ville være en teknisk umulighed, ganske enkelt.

Det er i dét lys, Hadoop og lign. skal ses.

http://www.cubrid.org/blog/web-2-0/decomposing-twitter-database-perspect...

Ganske glimrende overblik omkring Twitter og Databaser.

Her en meget kort artikel om Twitter og Facebook`s anvendelse
af NoSQL-Databaser
+ Slides fra lektion med titlen: "Big Data in Real-Time at Twitter"

http://www.readwriteweb.com/cloud/2011/01/how-twitter-uses-nosql.php

Med den udvikling der er med flere og flere cores per chip, og grænsen for hvad man kan med en enkelt boks til stadighed flyttes, så er og bliver Hadoop en nicheprodukt.
Det er fint at du skrive "Hadoop og lignende NoSQL teknologier". Så går jeg ud fra at det ikke indbefatter databaser som Riak og MongoDB. Hvilke NoSQL databaser taler du om? (du kunne måske forvirre nogle læsere til at tro at du taler om alle NoSql databaser)
Faktisk vil jeg fraråde at bruge Riak eller Mongo, hvis du regner med at skulle bruge map-reduce i stort omfang, det er slet ikke det der er deres sweetspot.
Som jeg skrev i mit blogindlæg om praktiske erfaringer med MongoDB og Node.js:
http://www.version2.dk/blog/nodejs-og-mongodb-efter-et-halvt-aar-i-deres...
Så er Mongo ikke det rette datastore til at trække rapporter fra i stor stil.

Det er mig uforståeligt at du kan kalde dig selv for it-trendspotter og så ikke se perspektiverne i Hadoop og Big Data. Jeg har arbejdet med Business Intelligence professionelt siden midt halvfemserne, heraf de sidste 12 år i BI-huset Platon, og det er min/vores klare opfattelse, at både Hadoop og "Big Data" som tema, bliver et paradigmeskifte for branchen og ikke mindst for de kunder der adopterer det. Det er bestemt ikke en døgnflue!

Du kan måske have ret i at Hadoop i dag i sin "rå form" måske er noget svær tilgængelig for masserne - HDFS og MapReduce. Når det er sagt, så er Hadoop meget mere end det. Hvis man abstrahere lidt fra teknologien og i stedet kigger på det den muliggør, så arbejder vi i Platon bl.a. med helt nye "Information Use Cases" vi kun tidligere kunne drømme om. Vi har endnu kun set toppen af dette isbjeg, men for rigtig mange behøver man ikke at vide, at det er Hadoop der ligger "under vandet" - for det er netop anvendelsesscenariet og de forretningsmæssige muligheder der er det interessant - mange kan slet ikke løses uden Hadoop i en eller anden form.

Hvis man ser på BI landskabets (store) teknologileverandører, så har de stort set alle taget Hadoop til sig (i forskellige form) - det værende SAS, IBM, Oracle, Informatica, Microsoft og mange flere. Der investeres rigtig store summer i dette univers og meget af udviklingen går tilbage til (Apache) "communitiet" som f.eks Hadoop on Windows, Hive-ODBC driver og JavaScripting fra Microsoft. Dette faktum er i sig selv et paradigmeskifte og faciliterer Hadoop og økosystemet der omgiver, finder anvendelse langt uden for open source verden. Når Cloud Computing slår bedre igennem, vil netop Hadoop spille en central rolle som fundamentet under forskellige "Black Box analytiske applikationer", som alle virksomheder/organisationer - små som store - kan købe sig taxameter adgang til. Et godt eksempel er f.eks. "Social Analytics" hvor man køber sig adgang til et struktureret informations-/analysegrundlag, som en service, der udspringer fra avancerede analyser på et ustruktureret datagrundlag.

I BI verden er Haddop (og Big Data) er kommet for at blive - det er et paradigmeskifte!

Efter også at have spenderet 12 år i BI branchen (dog for SAS), kan jeg kun tilslutte mig dette, og det vrøvl artiklen konkluderer må bunde i uvidenhed.
Det er heller ikke uden grund at de største og mest succesrige internet-baserede systemer (Amazon, Facebook, Google, eBay, Twitter, Yahoo osv. osv. osv.) bygger på denne teknologi (RDBMS skalerer simpelthen ikke).

Se iøvrigt her for en reference: http://wiki.apache.org/hadoop/PoweredBy og her for Cassandra http://en.wikipedia.org/wiki/Apache_Cassandra#Prominent_users
Du finder stort set ikke en stor teknologivirksomhed som ikke benytter denne teknologi.