"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

"Taranis" RAID-6 Array: 54.5TB (War: "Helios" RAID-6: 5.45TB + Update auf ~11TB)

GrandAdmiralThrawn 30.05.2007 - 21:29 38088 202 Thread rating
Posts

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
So, Platten hab ich für Fotos dann doch nicht rausgerissen, war einfach zu faul. Aber ich denke das war's.

Also den 3ware rausgerissen, die Error/Status LED Header am Areca sauber und jetzt Mal in korrekter Reigenfolge gesteckt, die Titan Black hinten rum mit VRAM Kühlern bestückt (das stand auch noch aus), FBM wieder angeschlossen - Gott sei Dank, alles funzt.

Und zu guter Letzt nochmal alles ausgeblasen, dann den Deckel drauf und das sollte es wohl hoffentlich gewesen sein!

Vielleicht werd ich irgendwann übermütig und offline den Array für ein paar HDD Pix, Mal schaun.

Grade Lasttests durchrennen lassen, und es schaut absolut top aus. Keinerlei Aussetzer irgendwelcher Art soweit. Drecks Y-Stecker...

So schaut aktuell die Last aus, wenn nur die HDDs was tun, nicht aber CPU oder GPU:

click to enlarge

Hardware ist dabei:
  • ASUS P6T Deluxe
  • Xeon X5690 3.46GHz (unübertaktet)
  • GeForce GTX Titan Black
  • Auzentech X-Fi Prelude 7.1
  • Intel 320 SSD 600GB
  • 3 × BD/DVD±RW
  • Kartenleser inkl. FDD
  • Areca ARC-1883ix-12 mit FBM und den zwölf Ultrastars

Nur ganz so leise wie Mal gedacht ist die Kiste auch nicht. Zwölf 7200er Ultrastars und diesen Sauhaufen an Lüftern hört man durch's LianLi Alupapier dann doch schön durch, egal ob Noctua oder nicht. Aber immerhin monotoner und weit angenehmer als vorher mit'm offenen EYE-2020 und 16 Stück 40mm Y.S. Tech Fans, die nach ~15 Jahren Laufzeit dann doch Mal damit begonnen haben, Lagerschäden zu entwickeln.

Jetzt sollte es nur noch bitte problemfrei rennen. ;)

Umlüx

Huge Metal Fan
Avatar
Registered: Jun 2001
Location: Kärnten
Posts: 8902
projekt abgeschlossen... dass i das doch noch erleben darf...

Valera

Here to stay
Registered: Dec 2005
Location: Mint
Posts: 683
Zitat
16 Stück 40mm Y.S. Tech Fans, die nach ~15 Jahren Laufzeit

~4000U/min *60 *24 *365 *15 = 31.536.000.000 Umdrehungen. Nicht schlecht für son Billigteil. :p :D

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
Äh, fast, habs nachkontrolliert. "Nur" 12 Jahre warn's in Betrieb. ;)

Aber hat mich auch gewundert, und von den 16 haben nur 2 Stück einen Schaden, die anderen liefen nach wie vor sauber. Wie lange das noch so gewesen wäre is halt die andere Frage.

Edit: Hier noch'n paar Nightshots, extra dafür alle Error-/Status-LEDs manuell leuchten lassen und Zugriffe produziert, schöner Christbaum. ;)

click to enlarge

click to enlarge click to enlarge

Daß es bei den Side Intakes grün rausleuchtet war so eigentlich nicht geplant, aber das is halt die Titan Black. Sieht man aber in Wahrheit eh so gut wie nicht. Vor allem nicht im Vergleich zu den irrsinnig hellen Power LEDs der HDD Bays...
Bearbeitet von GrandAdmiralThrawn am 30.11.2015, 18:54

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
Und der nächste Doppelpost!

Nach sehr viel grauslichem Batch und etwas grep, sed (statt Perl dieses Mal), tr und cut später ist mein [Webreporting endlich wieder up]. Daten zu Controller+Array und Disks werden von Arecas Commandline Tool und von den SmartMonTools erzeugt, und dann in HTML gegossen. Live ist das zwar nicht, aber für Langzeitbeobachtungen kann man's schon brauchen.

Schaut ca. so aus:

click to enlarge

Edit: Webreport ist grade nicht erreichbar. Liegt dran, daß bei mir GAR nichts mehr erreichbar is. Zuerst sind 2 meiner SHDSL Lines desynched, wieder resynched, desynched und weg waren's. Und jetzt ham's den DSLAM remote restarted, danach war's komplett instabil und jetzt sind alle meine 4 Lines tot. Yay!

Ich hoffe UPC packts bald, das zu fixen, wissen tun sie jetzt Mal davon...
Bearbeitet von GrandAdmiralThrawn am 03.12.2015, 11:47

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
So, um das nochmals aus der Versenkung zu holen, aus aktuellem Anlaß:

  1. Eine HGST SAS Platte failed. wtf?
  2. Disk hat laut Controllerlog und S.M.A.R.T. Log genau NICHTS. Ich reaktiviere und rebuilde
  3. Ok, done.
  4. Nächste Disk failed! Deppat?
  5. Disk hat laut Controllerlog und S.M.A.R.T. Log genau NICHTS. Ich reaktiviere und rebuilde...
  6. Mir kommts wieder, daß das RAID in letzter Zeit seltsame Performancecharakteristika zeigt. Mal schnell, Mal lahm... Betroff auch Verifications.
  7. Erstfail failed again => 2 Disks down. U MAD BR0?
  8. Ich beginne die Bay zu verdächtigen. Alle Fails innerhalb der selben Bay...
  9. Komplette Bay failed plötzlich (hör- und sichtbar). Ich schalte die Maschine aus bevor ein 3-Disk Fail passiert (3 Disks pro Bay, 4 Bays in Summe).
  10. Da meine Bays schwerst modifiziert sind, kommt ein Direktaustausch nicht in Frage, wegen fehlender Staubfilter. Ich baue aus einer vorhandenen Ersatzbay alle Platinen aus und transplantiere selbige in die "defekte" Bay. 2 Stunden Arbeit.
  11. Baue Mal den Kingston HyperX (endlich wieder 48GB RAM!) und die Quad-Controller USB 3.0 Erweiterungskarte ein, die schon Monate nur rumliegen, weil ich Reboots hasse
  12. Schließe alle Kabel wieder an und nehme alles hoch. Schaut gut aus. Rebuild flott.
  13. Bay Failure AGAIN. Dieses Mal echter 3-Disk Ausfall. Array failed & offline!
  14. Reaktiviere die letzte Disk zuerst, weil die konsistent sein muß. Erfolgreich. Array up. Reaktiviere die anderen zwei, Rebuild restarted.
  15. Fail again! => Schalte Maschine aus.
  16. SAS Kabel könnens aufgrund der Verteilung auch nicht sein. Tausche die Stromkabel von Bay 2 (fehlerhaft) und Bay 1 (ok).
  17. Reboot, 2-Disk Rebuild startet. 15 Minuten später fällt die komplette Bay 1 aus (5-Disk Failure). => Problem wandert mit Stromkabeln!! AGAIN!?!? Nach all der Zeit?!
  18. Nehme die beiden Stromkabel von Bay 1 vom Netz. Die Stromkabel von Bay 2 werden auf 1 & 2 aufgeteilt. Reboot. 5-Disk Fail nicht registriert, Rebuild auf 2-Disk startet erneut
  19. Rebuild rennt in 10h durch, Optimalzeit ist das! Keine Probleme jetzt seit Wochen.
  20. => Die Stromkabel sind alle erweitert, weil sich's sonst nicht ausgeht. Also wieder Molexkabelshit... Gibt's das echt? Najo. JO!
  21. Jetzt reißt mir noch das Band vom Rolladen und ich sitz im Dunkeln.
  22. G.SHDSL Extender brennt ab und sendet mich für was 4 Tage sein würden offline (kein großes SLA eingekauft und Samstag... is ein super Tag für SHDSL Extenderausfall! FU!).
  23. All das an nur einem Wochenende, srsly?
  24. Gehe Bier kaufen und anschließend saufen!
  25. Erringe 4 Tage später das Bewußtsein wieder (ok, ein wenig übertrieben). RAID rennt, neuer G.SHDSL Extender ist da, und ich hab die Rollo wieder oben...
  26. FU, meine 99% yearly availability sind weg! First time in 10 years! MAH! Aber wenigstens hab ich meine Daten noch und muß kein Monsterrestore anstoßen, mein Server is online und es gibt wieder Tageslicht durch's Fenster, da wirst depressiv sonst.

Also, Punkt 1: Kabel sind echt *******e! Richtig, richtig *******e!

Und, Punkt 2: Der Areca ARC-1883ix-12 ist ein Kämpfer. Der versucht RICHTIG lange, den Array irgendwie up zu halten, und wenn's noch so hart kommt. Und er kann Multidiskfails "hinnehmen", solange man weiß was man tut und wie man es tun muß. So kann man die eigentlich gesunden und konsistenten Disks wieder reinzwingen, und den Array hochnehmen.

Kudos to you Areca, nicht schlecht! Und die Leistungsprobleme sind jetzt auch wieder weg, na sowas aber auch...

**** you, Stromverlängerungskabel!
Bearbeitet von GrandAdmiralThrawn am 17.11.2016, 23:55

lalaker

TBS forever
Avatar
Registered: Apr 2003
Location: Bgld
Posts: 14699
Wow, das ist schon ein irrer "Log", hört sich echt grausam an.

Wie so oft sind es am Ende die "Cent-Produkte", die einem das Leben schwer machen.

creative2k

Phase 2.5
Avatar
Registered: Jul 2002
Location: Vienna
Posts: 8289
Was für eine Odyssee, na wenigstens gut ausgegangen!

davebastard

Vinyl-Sammler
Avatar
Registered: Jun 2002
Location: wean
Posts: 11525
und es waren jetzt die stromkabel oder wie ? weil zuviele auf einem strang waren ? oder weils physisch ned gscheit gesteckt sind ?

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
Es rennt seitdem auch unter Last problemlos, ist schon wieder. Gesteckt sind's, aber was weiß ich. Vielleicht ist eine der Klemmen nicht ordentlich im Kabel oder sonst was. Fakt ist: Die Probleme sind weg. Wenn ich Mal die System SSD tauschen gehe, schau ich mir das nochmal genauer an.

Aber: Es ist ein Strang pro Stecker, keine Y-Kabel mehr! Ich hatte derartige Probleme nämlich schon einmal bei der RAID Migration (von einem 3ware Array auf den Areca); Damals hatte ich nicht genug Stecker für beide Arrays parallel, also hab ich halt einen Haufen Y-Kabel verwendet => Selber Schas!

Y-Kabel aussortiert => Lief.

Und jetzt lag's eben scheints an den Verlängerungen.

Last ist minimal, also das Netzteil ist sowieso viel zu stark erstens Mal, und zweitens sind die Disks/Bays schön über alle Lastbegrenzer (="Schienen") des Netzteils verteilt. Ein Corsair AX1200i mit Flextronics Innereien ist das im übrigen.

Roadrunner

Floating on Water
Avatar
Registered: Mar 2002
Location: /home/tv
Posts: 868
Ui ui ui, congratz zur schadlosen Bewältigung,
war ja ein Hammer WE!
... und schon wieder die Kabel, unglaublich 8|

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
Wobei das jetzt schon wieder zwei Wochen her ist, daher wage ich es auch zu behaupten, daß es wieder sauber rennt.

Aber das war echt nice. Als auch noch der DSL Extender abgebrannt ist (LEDs dunkel, Lüfter Stillstand, exakt nachdem die Rollo halbwegs repariert war und ich in Ruhe Mails lesen wollte) war das Maß echt voll! :rolleyes:

Aber das RAID war ja sauteuer, und ich hab doch einiges an Arbeit reingesteckt. Da will man auch Vertrauen haben können. Nichts ist schlimmer, als wenn man sich auf sowas wie eine Storagelösung nicht mehr verlassen kann. Wenn ich den Fehler nicht gefunden hätte, hätt mich das wohl ziemlich gestresst..

Roadrunner

Floating on Water
Avatar
Registered: Mar 2002
Location: /home/tv
Posts: 868
Gestresst?
Ich wäre Rollos sowie Wände rauf und runter gerannt :p

Aber ich hoffe für dich, daß dieses Zusammentreffen von Happenings einfach nur ne schlechte Mondphase war... Vorlauf zum Supenmond 2016 oder so :p :D

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
Zitat von Roadrunner
[...] Vorlauf zum Supenmond 2016 oder so :p :D
Der Suppenmond, diese fiese Sau! :D

Aber auch wenn's extrem mies gewesen wäre das RAID zu verlieren, es gibt immer noch die Full Backups. Also ganz katastrophal isses auch nicht. Macht mich nur fertig, wenn ich den Fehler nicht finde.. Nach dem Austausch der Bayelektronik dachte ich mir halt "so, jetzt passts" und dann knallts wieder, sowas läßt schon eine gewisse Unentspanntheit entstehen.. :rolleyes:

Ich will ja eigentlich nur meine Ruhe haben, die Hardware soll laufen, laufen, laufen und mich bloß nicht sekkieren! :rolleyes:

Roadrunner

Floating on Water
Avatar
Registered: Mar 2002
Location: /home/tv
Posts: 868
Ah ja, der Suppenmond, damn typos :p

Ich hatte mich damals bei meinem 8-fach Areca zu sehr darauf verlassen daß alles paßt,
hatte keinen Fullbackup und bin erst nach nem degraded Raid 6 und vielem Mailverkehr mit Mr. Wang draufgekommen, daß mein Netzteil doch zu schwach war :( :p

Na dann, ich wünsch dir 365+ Tage ohne downtime ;)
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz