Fragtmænd dropper Fibre Channel i nye datacentre: Alt kører over netværket

Det bliver netværket, der bestemmer i Danske Fragtmænds nye datacentre, hvor alt bliver virtualiseret, og både storage og servere skal køre på Ethernet gennem Ciscos største switche.

Netværket skal trække det tunge læs i Danske Fragtmænds nye datacentre. De to redundante datacentre bliver nemlig bygget op omkring Ciscos Unified Fabric, hvor både storage og servere kører over det samme Ethernet.

Det betyder, at der kun bliver opbygget én infrastruktur til transport af data, nemlig et Ethernet med Ciscos Nexus 7000-switche som knudepunkt. Der bliver altså intet særskilt Fibre Channel-netværk til storage-systemet.

»Det gode ved det er, at Fibre Channel slutter ved 8 gigabit. Men NFS kan køre på et 10 gigabit LAN, som potentielt kan komme op og køre 40 og 100 gigabit,« forklarer datacenterarkitekt Thomas Hejgaard fra Axcess til Version2.

NFS kan godt håndtere pakketab

NFS er en velafprøvet teknologi, som gør det muligt at tilgå storagesystemer over et Ethernet-netværk og minder dermed om iSCSI og Fibre Channel over Ethernet, FCoE. Netop FCoE bliver i dag brugt i flere nye datacentre for at flytte storagetrafikken over på samme netværk som den almindelige netværkstrafik, men FCoE har sine begrænsninger.

FCoE kører Fibre Channel-protokollen, men kræver en særlig opsætning af netværket, fordi protokollen ikke er tolerant over for tabte pakker. Med Ethernet bliver pakkerne blot sendt igen, men det fungerer ikke helt så let med FCoE. Både iSCSI og NFS er derimod ikke bygget til de faste forbindelser, som FCoE forudsætter, og fungerer derfor selv med pakketab.

Når man samler både storage og almindelig netværkstrafik på det samme netværk, så giver det en gevinst i form af færre kabler, og at it-medarbejdere kan bruge deres viden om netværk til at konfigurere og fejlfinde systemet frem for at skulle tillære sig specifik viden om Fibre Channel. Men man skal også være opmærksom på, at der kan opstå nye problemer.

Fare: Storagetrafik bremser datatrarik
»Du skal tænke over, hvordan dit netværk er opbygget. Det er stadig den samme mængde data, der skal transporteres, så der kan være en fare for, at storagetrafikken ødelægger noget for datatrafikken,« forklarer Thomas Hejgaard.

Til gengæld kan man bruge Ciscos værktøj til datacenterstyring til i princippet at trække netværksinformation ud helt op til Layer 7 på Ethernettet for at lave avanceret fejlfinding, hvis man har problemer med ydelsen.

I Danske Fragtmænds nye datacentre bliver der dog umiddelbart rigelig kapacitet. Axcess skal designe og implementere datacentrene, og det kommer til at bygge på netværk og servere fra Cisco samt storage fra Fujitsu. På softwaresiden vil datacentrene køre Vmware på serverne og Symantec Filestore NAS på storage.

Der bliver tale om to redundante datacentre, som begge skal være aktive. Det ene bliver placeret i Århus, det andet i Skanderborg og en tredje lokalitet i Århus vil blive brugt til backup.

Hvert datacenter får i første omgang 10 bladeservere fra Cisco, som hver får en 10 gigabit forbindelse til Cisco-switchene, som ifølge Cisco har en kapacitet på hele 15 terabit.

100 procent virtuelt datacenter

Det er meningen, at datacentrene skal køre 200 virtuelle Vmware-servere, og datacentrene skal kunne klare de høje I/O-belastninger fra både storage og servere fra fragtmændenes applikationer. Der er tale om logistiksystemer, som holder styr på pakker og køretøjer, og det kræver mange I/O.

Når Axcess har valgt at basere løsningen på Ciscos servere, så skyldes det især, at administrationen er lagt ind i netværket med Ciscos UCS Server Manager.

»Serverne kan ikke konfigures uden, så du er 100 procent tvunget til at tænke på det som et datacenter. Det er smart, fordi du har profiler, så eksempelvis alle dine Vmware-servere skal se ens ud. Så når du opretter en ny server, vælger du en profil, og så er den konfigureret,« siger Thomas Hejgaard.

Det specielle ved Ciscos servere er netop denne kobling til netværket, hvor netværket så at sige styrer serveren. Det kan dog også kun lade sig gøre, fordi serverne er designet til fuldt virtualiserede miljøer med høj tæthed og krav om hurtigt at kunne oprette nye virtuelle servere.

Men det betyder også, at it-afdelingen kommer til at arbejde anderledes med administrationen af datacentret, fordi administrationsværktøjet til netværket også er det, der styrer både servere og storage.

»Jeg synes, det er et rimelig spændende paradigmeskifte. I de store virksomheders it smelter netværksafdelingen sammen med server/storageafdelingen. Du kan næsten ikke sætte en server op uden også at vide, hvordan netværket er bygget op,« siger Thomas Hejgaard.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (12)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#1 Lars Ole Belhage

Hvor mange og hvilke servere kører så 10G ?

Kører SAN'et (som vel nu hedder NAS?) på sit eget 10G segment ?

Er det 1-til-1 (altså eet 10G i NAS'sen til hver server) ?? Hvis ikke, hvilke regler har I brugt for at vælge hvilke servere som kan deles på een "snor" ?

Fortæl, fortæl...

  • 0
  • 0
#3 Maciej Szeliga

3 ESXi hoste (IBM x3550) på en qNap NAS med 4 WD VelociRaptor SATA diske. Det hele er koblet sammen med 2 Ciso 2024 Gigabit switche. Det kører rigtigt godt. De virtuelle servere som kører på hostene kører nu hurtigere end da de kørte direkte på det samme jern. Det kan selvf. ikke måle sig med vores EVA8400 men det er alligevel ret imponerende.

  • 0
  • 0
#4 Carsten Olsen

Jeg troede kun NFS kun var en mulighed hvis man kunne vente de ca 50år der ville gå inden protokollen (måske) bliver en praktisk anvendelig STD?

Men nu er der altså nogen der anvender den i et system hvor den giver driftstabilitet?

Jeg har selv forsøgt med NFS på Ubuntu, men det var for ustabilt. Jeg gider heller ikke Samba(SMB) det virker også for ustabilt. Men det ville være smart med en stabil filesharing-protocol over IP. Den kunne nemt erstatte http protokollen. Remote MMAP kunne f.eks. være nice.

  • 0
  • 0
#7 Nikolaj Brinch Jørgensen

Jeg kører pt timemachine fra min macbook pro over wifi til min OpenIndiana server (over SMB), det virker altså upåklageligt. SMB virker på ingen måde ustabilt hos mig. Jeg har en Mac, en Windows 7, en Windows XP og en Ubuntu koblet på min OpenIndiana b148 server over SMB, og der spiller fint. Jeg bruger dog SAMBA og ikke den indbyggede kernel SMB (printerdeling er ikke nået til kernel SMB endnu). Jeg har brugt NFS mellem SuSE og min OpenIndiana og det virkede, men kun hvis jeg bade om NFS v3 (v4 virkede ikke ordenligt).

Jeg er helt enig med Carsten om at det ville være noget så rart med en ordentlig filesharing protocol a la SMB/NFS, som var frit tilgængelig og interoperabel. Problemet er vel som Carsten skriver, at det tager så lang tid for NFS at flytte sig udviklingsmæssigt.

iSCSI derimod har jeg ikke fået testet, men jeg har flere gange overvejet at benytte det i stedet for det SMB setup jeg har nu.

  • 0
  • 0
#8 Jesper Sørensen

Der er i alt 20 servere fordelt på 4 blade chassier (UCS 5108 fra Cisco)

Hver chassi har op til 8x10GB - og vil initialt være sat op med 2x10GB til NFS og 2x10GB til data (incl. VMotion etc).

Netværket er ikke opdelt i to fysiske netværk, men de VLANs der flytter NFS køre på dedikere links end to end (incl mellem sites).

Alt er sat op 1-1 end to end.

  • 0
  • 0
#10 Deleted User

NFS fejler absolut intet. Hverken mht performance eller stabilitet. Jeg gætter på det er NetApp-storage der ligger nedenunder (OEM'et af Fujitsu) og NFS er en af deres kernekompetancer. Mange bruger det sammen med VMware da man så kommer ud over 2TB grænsen for volumes.

Cisco, NetApp og VMware har lavet en alliance og guides til at opbygge datacentre med deres komponenter. Jeg er selv ved at desgine og bygge en platform netop ud fra dette.

  • 0
  • 0
#12 Jesper Krogh

I det setup jeg arbejder i kan vi fint få en Linux NFS server til at fylde et 10Gbit link med data og stabilliteten fejler heller ikke noget.

Men, jo sådan har det absolut ikke været alle de sidste 10 år.

Jesper

  • 0
  • 0
Log ind eller Opret konto for at kommentere