mark okman woodhouse bloghoved

Kan fremtidens Data Warehouse-udfordringer løses med DW-Appliances?

Da jeg for efterhånden en hel del år siden begyndte at interessere mig for Business Intelligence (BI) og Data Warehouse-løsninger (DW), var IT-branchens fokus hovedsageligt rettet mod at:

  • sikre rimelige svartider på rapporter og analyser
  • give flexibilitet for forretningen til løbende tilpasninger ift. nye krav
  • gøre det muligt at sammenstille data fra mange forskellige systemer
  • gøre det enkelt at bygge rapporter på komplekse data

Med dette udgangspunkt har mange virksomheder skabt BI- og DW-løsninger for at sikre deres viden om deres egen forretning. Men jeg har også i den seneste tid set mange organisationer, som er begyndt at ramme loftet for effektiviteten af deres DW. Kravene fra brugerne, som har vænnet sig til effektiviteten af deres BI-løsninger, stiger konstant, samtidigt med, at datamængderne, som skal hentes ind i DW’et, nærmest stiger eksponentielt.

Dette medfører blandt andet:

  • længere leveringstid på DW-projekterne og stor back-log ift. tilpasninger
  • tungere administration og vedligeholdelse
  • lang indlæsningstid for nye data til DW’et
  • længere tid mellem indlæsning af nye data (refresh)
  • længere svartider på forespørgsler fra rapporter og analyser

Jeg har gransket diverse resultater fra diverse analyse-bureauers undersøgelser om DW-løsninger, og ud fra disse oplever 60-70% af virksomhederne svartidsproblemer; og problemerne forværres i takt med konstant stigende datamængder. Det bliver sværere at skalere løsningerne til de store datamængder og den øgede kompleksitet af data, som kræves for at kunne levere de avancerede analyser, der ligger til grund for rapporter og dashboards.

Hvordan kommer vi ud over dette? Svaret på løsning af dette kunne være ”mere af det samme” – dvs. større servere med flere CPU’ere og mere hukommelse, nyere database-teknologier, mere avanceret anvendelse af database-funktionaliteterne og endnu flere udviklere. Men det er jo her, at vi er begyndt at ramme loftet.

En anden løsning vil være at begynde at se på teknologier, som er dedikeret til DW-løsninger. I dag benytter vi stort set de samme basisteknologier til såvel DW som til online-løsninger (ERP, CRM, web etc.), selvom der reelt er voldsom stor forskel på, hvordan man håndterer data fra sådanne systemer.

Jeg har fået præsenteret løsninger fra en del IT-leverandører, som proklamerer, at de kan levere løsninger, som er fuld fokuseret på at håndtere DW-løsninger langt mere effektivt end tidligere. Disse løsninger kaldes Data Warehouse Appliances-løsninger (DW Appliances). Generelt er Appliances løsninger/komponenter, som skal levere en specifik funktionalitet, som vi kender fra dagligdagen: en støvsuger, en brødrister, en boremaskine mv. Vi kan ikke rigtigt forestille os en komponent, som har samlet alle disse egenskaber (jeg kan i hvert fald ikke), og som vil fungere særligt optimalt.

Det samme gælder for DW Appliances, som basalt set er en server hardware- og database-platform, som er optimeret til DW-løsninger. Nogle løsninger er meget forskellige og nogle har mange lighedspunkter. Fælles for dem er dog, at de lover ekseptionelle forbedringer på svartider, skalérbarhed og administration – og dermed på økonomien i den sidste ende.

Det lyder som noget vi har hørt før, men jeg skal tilføje, at jeg har set på en del af de erfaringer der er gjort med DW Appliances, og jeg er på ingen måde i tvivl om, at der reelt er kæmpe store gevinster at hente på DW Appliances. Indtil videre har vi set store ydelsesforbedringer både når det gælder svartider på rapporter og når det gælder load-tider af data ind i DW’et.

Selvom vi har erfaret mange fordele, skal vi også være opmærksomme på, at træerne ikke vokser ind i himlen. DW Appliances er ny teknologi til erstatning for eksisterende teknologi, og det er sjældent en god ide at lave et totalt ”floor sweep”, men i stedet lave en gradvis implementering og sikre integration mellem eksisterende Data Warehouse-løsninger og de nye DW Appliances.

Vi mangler dog stadig at se den brede anvendelse af DW Appliances, men den er helt sikkert på vej, efterhånden som virksomhederne erkender, at de ikke kommer ret meget videre på deres nuværende Data Warehouse-platform. Og så er det naturligvis ikke alle virksomheder, som umiddelbart vil have gavn af DW Appliances – det kræver trods alt, at virksomheden har Data Warehouse og BI som vigtigt element i strategien og derfor gode budgetter til netop Data Warehouse-løsninger, da den initielle investering i DW Appliances hurtigt løber op i den tunge ende.

Kommentarer (2)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Lars Jensen

Udsagn 1:
"Vi kan ikke rigtigt forestille os en komponent, som har samlet alle disse egenskaber (jeg kan i hvert fald ikke), og som vil fungere særligt optimalt. Det samme gælder for DW Appliances,"

Udsagn 2.
"og jeg er på ingen måde i tvivl om, at der reelt er kæmpe store gevinster at hente på DW Appliances. Indtil videre har vi set store ydelsesforbedringer"

I udsagn 1 kan du ikke forestille dig at det kan virke optimalt.
I udsagn 2 Er du på ingen måde i tvivl om at der er kæmpe store gevinster at hente."

Hvis kæmpe store gevinster ikke er optimalt, hvad er så løsningen ?

  • 4
  • 0
Claus Jacobsen

Bortset fra det Lars beskriver, så tror jeg det er enormt vigtigt at definere en appliance inden man begynder at svare på spm. For mig er en appliance en kasse med tilhørende software. Langt de fleste SW-folk har ingen ide om hvad der foregår i selve kasserne og tror at bare man smider flere CPU'er i, så skal det nok gå hurtigere. Men i virkeligheden er CPU'erne rent faktisk ikke nogen som helst flaskehals i et BI/DW system.
Der findes "appliance-bokse" uden software fra eksempelvis HP som garanterer X-antal IOPS i en løsning, og Sun's gamle hw-forretning er efterhånden blevet degraderet til at være applianceboks for Oracle's sw-løsninger også, men problemet i applianceboksene er faktisk ikke CPU'erne, men derimod storagesystemerne og netværkene når du skal skalere ud.

Storagesystemerne er ved at komme nogenlunde med, men vi mangler stadig noget med netværkene. Til gengæld er der INGEN HW der kan kompensere for elendig programmering af BI/DW løsningerne. (polsag er vist et rigtigt godt eksempel på hvordan man kan lave en database forkert).

Så ja teknisk set kan en rigtig HW-løsning være enormt givende for en virksomhed, men "appliance" skal man passe lidt meget på med. - Der er en grund til at SAP certificerer komplette løsningsmodeller til deres HANA og ikke bare siger at en server vil virke. Og effektiviteten afhænger gevaldigt af den softwarestack der ligger ovenpå og implementeringen af løsningen.

  • 0
  • 0
Log ind eller Opret konto for at kommentere