- Log ind eller Opret konto for at kommentere
- Anmeld denne kommentar
Hadoop bygger paa MapReduce som Google opfandt for at loese et praktisk problem de havde for ti aar siden. De havde en kaempe webfarm og en masse logfiler, og var traette af at koere grep gennem ssh. Dvs. deres data var spredt ud og de havde brug for at aggregere dem. I dag kan man koebe servere med 1-2TB RAM, og det er baade lettere og hurtigere at samle alle sine data her, og lave rapporter over dem loebende, med mindre altsaa man har dem i en kaempe webfarm i Google-format, hvilket de faerreste er tvunget ud i. Jeg var for nyligt til et foredrag hos Microsoft Research i Cambridge, hvor de havde forsoegt at loese et machine learning problem med Hadoop (eller anden MapReduce-afledt teknologi), paa et stor cluster. De fandt sjovt nok at det var langt hurtigere og billigere at samle alle data i en enkelt maskine med 192GB RAM og mange kerner, og loese problemet der. Ikke saa sexet, men hurtigere og billigere. Jeg tror de sagde maskinen kostede $8000, hvilket jo er smaapenge for de fleste. Se deres slides her: http://research.microsoft.com/en-us/events/msrcsw2012/dnarayan-bigmemory... .