"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

Z77 Raid-5

pwnbert 11.01.2013 - 01:18 3320 15
Posts

pwnbert

Little Overclocker
Registered: Jan 2013
Location: NÖ
Posts: 73
Hallo!
Nachdem ich im Net nicht viel tolles gefunden hab dachte ich ich probiers mal "daheim" :), vielleicht kann mir ja jemand helfen.

Ich hab mir jetzt neue Hardware gekauft, ein P8Z77-V (die Karten-Slots sind blöd plaziert.. drauf hab ich leider nicht geachtet, zur Zeit von AGP gabs das Problem nicht so..), eine SSD, einen I5 ect.


Ich brauch ein Datengrab. Und ich hätte ganz gern eine Absicherung gegen Hardwareschäden.
Erst dachte ich an ein Raid-1 aus 2 3TB Platten (WD RED), aber irgendwie könnten 3TB doch knapp werden und die Vorteile eines Raid-5 klingen schon verlockend. 50% Aufpreis für 100% mehr Volumen, gekauft :D... dachte ich erst.

Ich hab recht viel im Internet gesucht, hab aber leider kaum brauchbare Informationen gefunden. Auf ein paar englischen Seiten (u.a. im Intel-Forum) findet man dann zB. sowas:
http://communities.intel.com/message/176730
Im community.microsoft.bla findet man dann so statements wie "kauf dir ein defrag-tool.. das win-interne kannst vergessen" vom Support-Heini.

Und das hat mich jetzt doch verunsichert. Und so Scherze wie 80h für ein rebuild.. the****? Entweder machens einige richtig falsch oder das Fakeraid ist echt so crappy?

Nachdem es nur ein Datengrab wird (und nicht das einzige ist) kann ich hin und wieder mit degraded performance leben solange man noch halbwegs was gelesen bekommt. Auch rennen keine Spiele drauf, liegt kein pagefile drauf und natürlich kein OS.
CPU-Load sollt ja auch nicht so wichtig sein da zB. beim Zocken (ab und zu dann doch) eh kein Zugriff aufs Raid stattfinden sollte.. right?

=> Ich erwarte mir vom 3-Platten-Raid-5 am Z77 zumindest die Performance die eine einzelne Platte hätte (dass die Zugriffszeit etwas länger wird, okay).
Ist das realistisch? Hat da wer von Euch Erfahrungen?

=> Wie ist das wenn ich zB. die Platten ausm PC nehm und wieder einbau... Wie ist das wenn ich die Platten an zB ein P5Q-E (P45, ICH10r) hänge? Wird das erkannt, läuft das, komm ich an die Daten?
Oder meinentwegen an ein anderes Intel-Board stecke... was man halt so kaufen könnte wenn das P8Z77-V irgendwann abgelöst wird.

Ich hab so ein wenig Bedenken dass das Onboard-Raid-5 der Datenverfügbarkeit unter so Aspekten mehr schaden als nützen könnte...
Und auf eine 500€ Controllerkarte hab ich eigetnlich genau so wenig Lust wie auf Raid-10... und mit den 8 SATA Ports wirds eh eng.


Danke :)

schizo

Produkt der Gesellschaft
Avatar
Registered: Feb 2003
Location: Vienna
Posts: 2493
Ich hab zwar keine praktischen Erfahrungen mit Onboard Raidcontrollern, vor kurzem hat jedoch ein anderer User mit nem Z68 Controller seine Werte gepostet (350MB/s Read, 90MB/s Write)... die Werte klingen für einen aktuellen onboard Raidcontroller mit neuen Platten imho plausibel. Ich schätze, dass sich die Werte beim Z77 auf einem ähnlichen Level bewegen werden
.
Die CPU load sollte mit ner aktuellen CPU auch vernachlässigbar sein (vermutlich im unteren einstelligen Prozentbereich bei Zugriff).
Der Rebuild kann schon etwas Zeit brauchen, auch wenn 80h etwas heftig sind.
Bist du noch beim Builden oder hast du anschließend herumgespielt und eine Platte entfernt? Mach mal nen Atto Benchmark, wenn das Raid rebuilded ist.

Bei nem Hardware Raid bist du ziemlich an den Raidcontroller gebunden (ich hab allerdings schon von einem Upgrade eines Raid0 von einem Z68 auf einen Z77 Controller gelesen). Ein Downgrade auf den ICH10 Controller wird ziemlich sicher nicht funktionieren.

edit: als Alternative zu einem Hardware Raid könntest du ein Software Raid verwenden. Unter Linux kannst du auf mdadm zurückgreifen. Wie performant aktuelle Windows Softwareraids sind weiß ich nicht. Unter Server 2003 war die Performance eines Raid5 jedoch sehr mies (hatte damals Schreibwerte um die 10MB/s).
Bearbeitet von schizo am 11.01.2013, 01:50

MaxMax

Here to stay
Registered: Jul 2001
Location: Wien
Posts: 1913
hi, ich hab ein raid 5 aus 3x3TB, mit diesen barracuda 7200.14 platten gemacht.
ja, die leseperformance hat sich in etwa verdreifacht auf 350-370MB/s.
die schreibperformance leider nicht, die ist mit 90MB/s sogar etwas niedriger als wenn ich eine platte ohne raid verwenden würde (eine einzelne barracuda 7200.14 sollte glaub ich >110MB/s schreiben können, zumindest "aussen" auf den plattern, nach ihnen hin bricht sie dann sicher unter 80MB/s ein) auch das aktivieren von write-cache-back features etc. hat nicht viel gebracht, ich glaub es waren dann ~110MB/s schreibkraft, aber ich habs aufgrund da ich keine unterbrechungsfreie stromversorgung verwende diese write cache sachen wieder deaktiviert.

aber ich erklär mir den schreibeinbruch halt aufgrund des raid-5 parity, weil der ja verteilt über alle 3 platten geschrieben werden muss, und ich schätz der wird auch nicht "gestriped" sondern eher gespiegelt (wie raid 1) aus datensicherheitsgründen. aber die schreibperformance im raid 5 stört mich jetzt nicht sonderlich, weil ich es eh als "datenschleuder" verwende, d.h. ich will nur schnell und performant von dem array lesen, aber tagtäglich zig GB draufschreiben tue ich nicht. und mir ist halt raid 5 wichtig, damit ich den totalausfall einer platte verschmerzen kann, bei raid 0 (wo dann sicherlich auch die schreibperformance sich verdoppeln/dreifachen würde) ist ja alles futsch, wenn nur eine platte ausfällt.

die CPU auslastung (ich hab eine i7-2600k auf 4.5GHz) beträgt ca. 6-8% wenn ich auf das raid 5 schreibe, aber ich hab ziemlich viele background sachen laufen, also das ist sicher nicht nur das reine raid schuld daran....aber das merkst defacto nicht, dass da der onboard raid controller was von der CPU abknappert...

die latenz ist von ca. 15ms (einzelne platte) auf 18ms gestiegen wegen raid 5.

ein problem was sich bei mir halt einstellen könnte: meine barracudas firmware unterstützen nicht den error timer befehl, weils eben desktop platten sind und nicht raidplatten (oder eben enterprise bzw. WesternDigital RED 24h dauerbetrieb platten) d.h. wenn defekte sektoren auf einer platte auftauchen, dann versucht die platte ewig die daten zu schreiben und braucht daher ewig lang, und meldet dies nicht dem raidcontroller zurück, wodurch der raidcontroller dann glaubt, die platte sei defekt und er wirft sie aus dem raid heraus und du musst es mit einer neuen platte rebuilden...

wie es mit migration des raid auf einen anderen onboard controller ausschaut kann ich dir nicht beantworten mangels erfahrung, aber es würde mir logisch erscheinen, dass wenn du beim selben hersteller bleibst, dass du das raid weiterverwenden kannst (zB Z68 auf Z77 chipsatz) aber ich auf jedenfall sichere mein raid 5 auch noch extern auf platten, sodass, wenn mir das mainboard stirbt und ich keinen ersatz finde, ich die daten jederzeit von der externen backuplösung wiederherstellen kann, ich bezweifle stark, dass man jede platte im notfall aus einem raid 5 einzeln an einen nonraid kontroller eines fremden herstellers im ahci modus anhängen kann und dann noch irgendwelche daten herunterkopieren kann, vielleicht mit Linux, aber da hab ich keine ahnung davon.

lg
Bearbeitet von MaxMax am 12.01.2013, 12:36

pwnbert

Little Overclocker
Registered: Jan 2013
Location: NÖ
Posts: 73
Hallo!

Hab jetzt nicht geschaut ob die WD Red den Befehl hat...

Zum Platten wo anders anhängen:
War schon im Raid-Modus gemeint.. geht halt darum.. was tun wenn das MB verreckt?

Und eigentlich sollte das Backup auf dieses Raid kommen..


Das Tempo klingt ja erstmal okay.
Und ich denke durchaus dass es gestriped wird, immerhin stellt man eine stripesize ein.

Raid-10 dürfte ja auch problematisch sein mit der Migration, das heisst also dass einem eeeigentlich eh nur ein Raid-1 bleibt, wenn man mehr Speicher braucht dann 2 getrennte Raid 1..?

Macht mich nicht glücklich irgendwie..

Römi

Hausmeister
Avatar
Registered: Feb 2001
Location: Bez. Tulln
Posts: 5227
Anstatt Rätsel zu raten könntet ihr auch einfach einen wiki Artikel zu den Raid-Levels lesen ;)

Jeder wird was anderes empfehlen. Am besten imo: eigener rechner mit echtem Raidcontroller (oder linux SW raid wer's mag). Die onboard intel raid's würde ich für raid 5 nicht nehmen. Sind eher verbuggt und rebuild nach jedem nicht sauberen shutdown. Zumindest kennn ich es von früher so.

Hängt natürlich alles davon ab wie wichtig einem die Daten sind. Insofern gibt es keine richtige Antwort.

@rebuild: bei mir hat letztens ein rebuild mit 2TB Greens ca 12h gedauert. Das die Intel onboard teile 80 stunden brauchen kommt mir zu viel vor.

MaxMax

Here to stay
Registered: Jul 2001
Location: Wien
Posts: 1913
ja, wiki lesen wäre nat. eine möglichkeit.....wenn ich mal lust und 5+ stunden freizeit opfern will ;)

nein, also von "intel verbuggt" und "rebuild nach jedem nicht sauberen shutdown" hab ich noch nix festgestellt, und allein heut ist mir der rechner 5x mit BSOD hängengeblieben, weil ich mit ramtimings umeinandergespielt habe.....

ja, backupstrategie muss sich jeder selbst überlegen...wie gesagt: ich sichere das 6TB raid-5 auch auf 2x3TB platten extern (non raid)....und im verwandtenkreis hab ich noch 2xZ68 mainboards im fall des falles.....also wie gesagt: selbst überlegen wieviel zeit/geld/aufwand investieren will...

ad WD Red platten: der Saxo hat 3 von denen im einsatz, der kann dir sicher auskunft geben, aber ich bin mir zu 99% sicher dass die red den error timer befehl unterstützen, das wäre ja sonst sehr lustig von WD, die platten als NAS-raid platten zu bewerben und dann den befehl nicht zu unterstützen....
lg
Bearbeitet von MaxMax am 12.01.2013, 23:23

pwnbert

Little Overclocker
Registered: Jan 2013
Location: NÖ
Posts: 73
So, ich hab ein paar Benches gemacht:

WD Black 1TB "normal":
http://666kb.com/i/car9641d4qyfrbscq.png

Die SSD:
http://666kb.com/i/car98p14qvregigcq.png

Eine WD Green 2TB mit TC AES verschlüsselt:
http://666kb.com/i/car992tfpy2vvexca.png


2x WD-RED 3TB im Raid-1
http://666kb.com/i/car99k5um6baaqatm.png


Raid-5 Benchmark hab ich keins da ich nur 2 3TB Platten hab (und das wohl so bleibt).

Irgendwie komisch das Raid-1 Verhalten, aber ausreichend.

Werd die Tage mal eine HDD ausm Verbund entfernen und in irgend einem anderen Rechner anstecken und schaun obs problemlos lesbar ist, wenn das so ist wirds (leider) bei Raid1 bleiben, wenn die Kapazität ausgeschöpft ist kommt dann ein weiteres Raid1 dazu, Raid10 ist mir wieder zu blöd.
Schade irgendwie.

schizo

Produkt der Gesellschaft
Avatar
Registered: Feb 2003
Location: Vienna
Posts: 2493
Lass mal p95 daneben laufen und wiederhol den WD-Red Bench.
Außerdem könntest du mal versuchen, im Bios Intel SRT zu deaktiveren und schauen, wie/ob sich das auf die Performance auswirkt.

SaxoVtsMike

R.I.P. Karl
Avatar
Registered: Sep 2006
Location: ö
Posts: 7944
Raid Migration von einem ICH-R Board zu einem anderen sollte Problemlos funktionieren.
Hab da erfahrungen von P5B-Deluxe (p965 chip) auf X48 mit einem Raid0

Derzeit habe ich am Homeserver ein Raid5 aus 3x3TB WD-RED. vorher 4x1.5tb WD-Green. Bei den Grünen war der rebuild nach ~12-14h erledigt.
Cpu last beim schreiben aufs Raid war unter 5%, und da ist aber nur ein kleiner Pentium G620 verbaut.

Was ein ICH-R Raid, aktuell Intel Rapid Storage Technology nicht kann ist eine Migration eines 4 Platten Raid 5 auf ein 3 Platten Raid 5.
Ich mußte beim umstieg aus neue Raid ein Backup anlegen und ein neues Raid erstellen. Eine Arrayvergrößerung funktioniert leider auch nicht.

Ob die RED´s einen bestimmten Befehl unterstützen oder nicht weiß ich nicht, ich vermute aber das die TLER im vergleich zu den Greens bedeutend Kürzer ist und dadurch die Platten nicht so schnell aus dem Raid fallen.

Wenn du Hot-Swap auch verwenden willst, darf das mMn bei den Raid Member Discs im Bios NICHT aktiviert sein, sondern nur bei den Platten/Anschlüssen die du wirklich hotswappen willst. Diese Tatsache musste ich selber erfahren und hat mich einen Raid-rebuild gekostet.

pwnbert

Little Overclocker
Registered: Jan 2013
Location: NÖ
Posts: 73
WD Red sollten einen "einstellbaren" TLER haben, wie auch immer man den einstellt. Ich denk mal mit nem WD Tool, tangiert mich im moment aber nicht so wirklich.

Ich formatier jetzt mal ein TC Volume aufs Raid, Benchmark mit und ohne Prime gibts dann.
Da hab ich grad 138MB/s

SRT müsste deaktiviert sein im Bios, wenn ich mich richtig erinner.


Zum Benchmark noch:
Die Write Werte sind ja logisch, je größer der Datenblock desto mehr Durchsatz.
Das Read versteh ich nicht, das verhält sich gut komisch (unerwartet).

Hab da noch ein paar benches gefunden, wenn auch etwas älter:
http://www.storageforum.net/forum/s...-5-i-Quirkiness

Ich hab da ja schon ein bissl das Gefühl dass da was nicht passt, Treibermäßig.

mat

Administrator
Legends never die
Avatar
Registered: Aug 2003
Location: nö
Posts: 25376
Write-Back-Cache solltest du auf alle Fälle eingeschalten haben, denn der bringt sogar bei SSDs im RAID0 noch einiges an Performance (zumindest bei den PCMarks), weil der Arbeitsspeicher quasi als Onboard-Cache für den Fake-RAID-Controller fungiert. Edit: Aber Performance ist natürlich nicht alles! Bitte den Post von Garbage unterhalb bezüglich der geringeren Zuverlässigkeit von Write-Back-Cache lesen!

Bezüglich Migration kann ich auch nur Gutes berichten. Solange man auf den Intel-Controllern bleibt, sollte das RAID sofort wieder anspringen. Wenn dir ein Mainboard eingeht, dann einfach mit einem anderen Intel bzw. demselben ersetzen. Sollte sofort funktionieren, sobald die BIOS-Einstellungen wieder passen. Die Disks werden entsprechend als RAID erkannt.

Bei 100%iger CPU-Last habe ich übrigens die Erfahrung gemacht, dass die Intel Fake-RAIDs nicht sehr erfreut reagieren. War allerdings mit SSDs der Fall.

Garbage

Administrator
The Wizard of Owls
Avatar
Registered: Jul 2000
Location: GR.ch|TI.ch
Posts: 11224
Wobei aber Write-Back das Risiko birgt, dass bei plötzlichem Ausfall der Energieversorgung Sachen im Cache sind, die noch nicht auf die HDDs geschrieben wurden und es damit zu Datenverlust kommen kann.

Würde Write-Back im RAID also nur dann anwenden, wenn du eine funktionierende USV für den Rechner hast.

pwnbert

Little Overclocker
Registered: Jan 2013
Location: NÖ
Posts: 73
Danke für eure Erfahrungsberichte.

Ich werd mal beim Raid-1 bleiben. Vom Speicherplatz her sollte es ausreichend sein bis 4TB Platten am Preisniveau der jetzigen 3TB sind, dann gönn ich mir einfach ein 2. Raid1 aus 4TB Platten. Raid-5 ist zwar verlockend aber mit dem Onboard Teil ist mir das doch zu viel Spielerei.

Hab jetzt ein TC Volume aufs 3TB WD-Red Raid-1 getan (AES) und Benchmarks gemacht.

Schneller als ohne TC, wasweissich, ich muss nicht alles verstehn. Dazwischen wurde kein reboot gemacht, Testbedingungen waren ähnlich bis gliech.

Bench:
http://666kb.com/i/cas709ly07iazqrbi.png

Mahlzeit.

schizo

Produkt der Gesellschaft
Avatar
Registered: Feb 2003
Location: Vienna
Posts: 2493
Da werden dir andere Platten aber keine Abhilfe verschaffen.
Die Read Werte müssten besser sein, da limitiert irgendwas.

Hast du schonmal prime95 daneben laufen lassen? Wär intressant, ob sich der Bench verändert, wenn die CPU nicht runtergetaktet ist.

pwnbert

Little Overclocker
Registered: Jan 2013
Location: NÖ
Posts: 73
Nein nein du hast es falsch Verstanden, es geht bloß darum den in zukunft fehlenden Speicherplatz einfach mit einem 2. Raid1 auszugleichen.

Mir gehts nicht um die Geschwindigkeit. Das ist ein Datengrab. Soll nur gut laufen das alles. Und beim Zocken erfolgen eh keine Zugriffe aufs Datengrab.

Benches mit Prime kommen noch.
Zu beachten: Truecrypt läuft.
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz