"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

"Taranis" RAID-6 Array: 54.5TB (War: "Helios" RAID-6: 5.45TB + Update auf ~11TB)

GrandAdmiralThrawn 30.05.2007 - 21:29 37935 202 Thread rating
Posts

coolsn11

1k senseless posts
Avatar
Registered: Jan 2003
Location: Hermagor/Graz
Posts: 1053
schaut sehr schön aus! gratulation :D

Das Heise Tool könntest du noch probieren. Das benutzt verschiedene Anwendungsprofile (PS, Swappen,..)
ftp://ftp.heise.de/pub/ct/ctsi/h2benchw.zip

// aufrufen mit "h2benchw.exe -p 0" in der cmd line
die "0" steht für das Laufwerk

Schreibmessungen funktionieren leider nur mit einer Platte ohne Partitionen :(
Bearbeitet von coolsn11 am 10.06.2007, 11:42

EG

thinking with portals
Avatar
Registered: May 2004
Location: 11**
Posts: 3918
Die Leistung ist beeindruckend.
Danke für die Benches. Sehr schönes Projekt! :D

*2 thumbs up*

mat

Administrator
Legends never die
Avatar
Registered: Aug 2003
Location: nö
Posts: 25373
Zitat von GrandAdmiralThrawn
Welches Tool nehme ich sonst am besten, um Schreibleistung zu benchen?
funktioniert ebenfalls mit hdtach, allerdings mit der journalistenversion. leider müssen die platten dabei partitionslos sein.

hast eine pm.

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
thx @ mat, aber (habs eh in der PM gschrieben) leider spielts das mit der Partitionslosigkeit bei mir nicht mehr, weil alle Daten schon kopiert sind, und das ein Prozeß war, der etwas mehr als 2 Tage in Anspruch genommen hat. Vielleicht findet sich noch ein Weg, trotzdem Schreibleistung zu benchen.

Ich habe Mal ein 460MB File von der 150er Raptor rüberkopiert, und das hat 9 Sekunden gedauert. Natürlich nicht ganz präzise gemessen, aber so in etwa. Dürfte also hinkommen mit 50MB/s Schreibleistung, die Raptor dürfte auch nicht gebremst haben, die Disk wird häufig automatisch defragmentiert.

Nun gut, jetzt gibts aber Mal BILDMATERIAL. =)

Sehen wir uns zuerst Mal die Hardware selbst an!

Hier haben wir die 8 Platten, Hitachi 7K1000:

click to enlarge click to enlarge click to enlarge

Dann zum Controller, dem 3Ware 9650SE-8LPML, eine Version kleiner, als das, was Tilmann einsetzt, hier sehen wir auch die SFF8087/MiniSAS Multilane Breakout Kabel, sowie die bereits montierte Battery Backup Unit inklusive der 1800mA/h Batterie! Die Zettelchen an den Kabeln stammen übrigens von HP DLT Bändern. Die werden/wurden beschriftet, um später Festplatten (bei Ausfall z.B.) eindeutig identifizieren zu können, da ich ja keine Backplanes / Drive Bays habe:

click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge

Hier eine der Beschriftungen. Leider hier noch nicht vollständig zu sehen, da steht mittlerweile auch der interne Controllerport drauf (0 bis 7). Wenn so eine Platte an sagen wir Port 3 ausfällt, prüfe ich noch die Seriennummer, und wenn alles zusammenpasst, weiß ich genau und sicher, welche HDD zu tauschen ist:

click to enlarge

Natürlich brauchen 8 7200rpm Disks mit jeweils 5 Plattern einiges an Kühlung. Schon als die HDDs noch auf dem Tisch lagen, wurden sie ganz schön heiß. Hier kommen meine bewährten alten Antec HDCS (Harddisk Cooling Systems) zum Einsatz. Die Kühler verfügen über einen massiven, rauhen Aluminiumblock (Fins genau betrachten), zwei zweistufig temperaturgeregelte Y.S. Tech 40x40x25mm Lüfter, sowie zwei Temperatursonden und ein entsprechendes Frontdisplay. Obwohl das erste HDCS schon sehr in die Tage gekommen ist, ist es meiner Meinung nach immer noch eines der leistungsfähigsten Festplattenkühlsysteme überhaupt. Etwas teuer warens, aber ich bereue das nicht. Wenn ich bedenke, wie lange die hier auch schon 24/7 durchlaufen, beachtlich! Natürlich nicht ganz geräuscharm, in Summe sinds ja 8 Kühler, also 16 40x40x25mm Lüfter:

click to enlarge click to enlarge click to enlarge

Und so sieht das ganze dann fertig eingebaut aus. Die SATA Kabel wurden zwischen der hinteren Gehäusewand und dem großen HDD Käfig des Eye-2020 Towers verlegt, wie auch die meisten Stromkabel, sodaß das Wirrwarr nicht noch schlimmer wird. Maximaltemperatur bisher übrigens 41°C laut HDCS Sonde und 43°C laut S.M.A.R.T.:

click to enlarge click to enlarge

Da alle 10 Bays oben nun voll sind (8 Platten, DVD±RW, Floppy), wurde die 150GB Raptor Systemplatte auf den Boden des Towers verbannt. Aber da wartete schon ein großer Passivkühler, und der 120mm Caseeinzug bläst ja drüber, kein Problem also für die Raptor:

click to enlarge

Nun zum 3BM, dem "3Ware BIOS Manager", hier sehen wir einige der Optionen wie verzögertes Starten der Platten (Staggered Spinup) zur Meidung von Stromspitzen beim Systemstart, Arraybuild, und u.a. auch den POST des Controllers:

click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge

Zuguterletzt, der 3DM2, der "3Ware Disk Manager 2". Dabei handelt es sich um einen Systemdienst, der sich über ein Webfrontend mit SSL Support steuern läßt. Leider kann man keine eigenen Zertifikate einspielen, ist bei mir zum Beispiel ein kleineres Problem, wenn man auf meinen Server von außen zugreift, dabei wird man von einer externen Maschine mit anderem Hostnamen auf den RAID-6 Rechner gemapped => Zertifikatswarnungen also vorprogrammiert. Aber 3Ware sicherte mir zu, der Entwicklungsabteilung mitgeteilt zu haben, daß es vielleicht nicht mies wäre, wenn man sich für 3DM2 eigene Zertifikate zimmern könnte. ;)

Hier sehen wir Background Initialisation (wurde schon gepostet, aber egal) sowie weitere Optionen des 3DM2. Die Möglichkeit der Fernwartung ist hierbei sehr praktisch, die Oberfläche ist spartanisch, und läuft daher auch mit langsamen Internetanbindungen sehr schnell. Wenn man immer wissen muß, wie es dem Array geht, es gibt natürlich auch ein eMail Notify, auch wenn sich dies nicht so feingranular pro Event einstellen läßt, wie bei Promise:

click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge click to enlarge

Ich hoffe, euch gefällts, endlich Mal Zeit gehabt, die Pics zu uppen...

Edit: Nachträglich noch ein HDTach Long Bench mit 32MB Zones:

raid6-hdtach-32mb.gif

Noch ein Edit: HD Tune Benchmarks, Vergleich mit der Raptor.

Raptor 150GB:
raid6-hdtune-raptor150.gif

"Helios" RAID-5 Array:
raid6-hdtune.gif
Bearbeitet von GrandAdmiralThrawn am 10.06.2007, 21:08

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
So, da die 3Ware-eigene S.M.A.R.T. Überwachung für die Katz ist (zeigt einfach nur den Hex-Wulst an, und das war's), habe ich mich dafür entschieden, eine SmartMonTools / SmartCtl Überwachung einzurichten. SmartCtl ist ein, soweit ich es sehe der Linux-Welt entstammendes Toolset, mit dem sich eine automatisierte Überwachungs- und Selbsttest-Geschichte hochziehen läßt.

Dazu noch den "blat" Kommandozeilenmailer, damit SmartCtl im Falle des Auftretens von Fehlern auch email Notifies über meinen SMTP schicken kann.

Zuerst Mal blat gesaugt, und eingerichtet:
  • blat -install <meinFQDN-SMTP-Host (z.B.: email.meinserver.com)> <email-Adresse>

Damit speichert blat den SMTP Server und die Source-email Adresse in der Registry. Da meine Emailserverkonfiguration so aussieht, daß ich ausm LAN ohne AUTH senden kann, brauche ich da nichts weiter.

Dann SmartCtl. Hier hat man praktischerweise gleich Windows Systemdienstesupport ins Binary kompiliert. Um SmartD (den Smart Daemon Prozess) als Windows Systemdienst einzurichten, genügt es völlig, smartd.exe einmal so aufzurufen:
  • smartd.exe install

Alles, was es dann noch braucht, ist das Editieren der smartd.conf. Da ich kein Autodetect wünsche, wurden alle Devices manuell eingetragen. Ab einer gewissen Treiberversion werden auch 3Ware 7xxx/8xxx/9xxx Controller unterstützt, sodaß man hinter dem 3Ware jede Platte einzeln überwachen kann!

Meine smartd.conf:
Code:
#
# Western Digital Raptor 150GB System Harddisk:
/dev/hda -a -H -m <email-zensiert> -l selftest -s S/../../7/03 -M once -M exec C:\Programme\Net\blat\blat.exe

#
# 3Ware/AMCC 9650SE-8LPML, "Helios" RAID-6 Array, 8 x Hitachi 7K1000:
/dev/hdb,0 -a -H -m <email-zensiert> -l selftest -s S/../../7/03 -M once -M exec C:\Programme\Net\blat\blat.exe
/dev/hdb,1 -a -H -m <email-zensiert> -l selftest -s S/../../7/03 -M once -M exec C:\Programme\Net\blat\blat.exe
/dev/hdb,2 -a -H -m <email-zensiert> -l selftest -s S/../../7/03 -M once -M exec C:\Programme\Net\blat\blat.exe
/dev/hdb,3 -a -H -m <email-zensiert> -l selftest -s S/../../7/03 -M once -M exec C:\Programme\Net\blat\blat.exe
/dev/hdb,4 -a -H -m <email-zensiert> -l selftest -s S/../../7/03 -M once -M exec C:\Programme\Net\blat\blat.exe
/dev/hdb,5 -a -H -m <email-zensiert> -l selftest -s S/../../7/03 -M once -M exec C:\Programme\Net\blat\blat.exe
/dev/hdb,6 -a -H -m <email-zensiert> -l selftest -s S/../../7/03 -M once -M exec C:\Programme\Net\blat\blat.exe
/dev/hdb,7 -a -H -m <email-zensiert> -l selftest -s S/../../7/03 -M once -M exec C:\Programme\Net\blat\blat.exe

Da blat bereits über die Registry konfiguriert wurde, und alle relevanten Parameter wie Message Body, Betreff usw. automatisch von smartd.exe an blat.exe übergeben werden (dies wird über temporäre User-Umgebungsvariablen gelöst), braucht man hier nichts weiter einzustellen.

Hier werden alle S.M.A.R.T. Parameter überwacht, und jeden Sonntag um 03:00 Uhr früh wird ein schneller Selbsttest durchgeführt, auf allen Platten.

Dann einfach den Systemdienst über die Dienste in der Verwaltung starten, fertig. Wenn man übrigens für eine HDD eine Test-email beim Servicestart versenden möchte, so kann man vorerst dies probieren:

Code:
#
# Western Digital Raptor 150GB System Harddisk:
/dev/hda -a -H -m <email-zensiert> -l selftest -s S/../../7/03 -M test -M once -M exec C:\Programme\Net\blat\blat.exe

Wenn man den Parameter "-M test" dann aus der smartd.conf löscht, reicht es den Systemdienst neu zu starten, dabei wird die smartd.conf neu eingelesen.

Soviel zu S.M.A.R.T. Überwachung mit email Notification! :)

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
Und noch ein Filekopiertest von der (unkomprimierten) Raptor 150GB aufs RAID-6, um den Einfluß der NTFS Kompression bei der Schreibleistung abzuwägen.

Kopiert wurde ein 1.27GB großes File, ein Mal ohne NTFS Kompression im Zielordner, ein Mal mit.

Die Werte sind von der Dauer her sehr gerade ausgefallen:

Ohne NTFS Kompression: 20s (~65MB/s)
Mit NTFS Kompression: 30s (~43MB/s)

Zwackt also schon etwas ab. Bei Anwendungen, wo wirklich Schreibleistung gefordert ist - meist Scratch Daten - werde ich also NTFS Kompression wohl deaktivieren. Bei den eingelagerten Daten verbleibt sie natürlich. ;)

Römi

Hausmeister
Avatar
Registered: Feb 2001
Location: Bez. Tulln
Posts: 5224
Kommt mir jetzt nicht unbedingt sehr hoch vor für platte zu platte, PCI Bus wird wohl auch nicht limitieren(pci-e?).

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
Die Bussysteme limitieren sicher nicht, nein.

Die Raptor hängt am ICH und der Controller ist PCIe mit 4 Lanes. Das wird einfach am ScsiPort liegen und an der doppelten P+Q Paritätsgenerierung bei RAID-6.

Mal sehen, obs dann bei Vista mit StorPort Treibermodell besser wird, viele User von 3Ware und Areca Controllern haben sowas beobachtet (3Ware hab ich auf XP/2003 gesehen und Areca auf XP/Vista).

Aber auch so würd die Leistung schon für mich ausreichen. Wenns noch besser werden sollte, nur zu! :D

FlyingHellfish

Little Overclocker
Avatar
Registered: Jun 2005
Location: NÖ nähe Hollab..
Posts: 128
Ich hab das SmartCtl Programm auch gleich bei mir probieren müssen.

Adaptec 2610SA
5x Seagate 7200.9 500GB

Ich kann mit dem SmartCtl aber weder vom Controller noch von den einzelnen Platten dahinter was auslesen.
Funktioniert bei mir nur mit der Samsung Systemplatte.

Kennst du vielleicht eine Möglichkeit wie ich bei dem Adaptec Controller auf die Werte der Platten zugreifen kann?

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
Ich habe mich ein wenig umgesehen, aber es sieht so aus, daß SmartCtl immer herstellerspezifische Anpassungen für Zugriff auf einzelne Disks hinter RAID Controllern benötigt.

Ich habe im Netz sowie in der SmartMonTools Dokumentation folgene Informationen finden können:

Zitat
Aus der SmartMonTools Dokumentation
Can I monitor disks behind RAID controllers?

RAID controllers typically simulate a (logical) disk for each array of (physical) disks to the OS. Access to SMART functionality relies on ATA or SCSI pass through I/O controls providing direct access to each physical disk. But the standard I/O controls available are usually not designed to make this distinction between logical and physical disks. Therefore, smartmontools has to use vendor specific I/O controls. Support for disks behind RAID controllers is highly dependent on both platform and controller type.

  • 3ware RAID controllers are supported on Linux since smartmontools release 5.1-18. Support for char devices /dev/tw* was added in release 5.33.
  • 3ware support on FreeBSD is available since release 5.33, multiple controller and char device support was added in release 5.36.
  • 3ware 9000 support for Windows was added 2006-09-27, the corresponding 3ware driver 9.4.0 was released 2006-11-01.
  • HighPoint RocketRAID support for Linux was added 2006-08-25.
  • CCISS (Compaq Smart Array Controller) support for Linux was added 2006-10-09.

The recent additions are included in smartmontools release 5.37.

Das würde indizieren, daß die Überwachung von Einzelfestplatten so gar nicht an einem Adaptec Controller funktioniert. Ich habe aber noch dieses hier gefunden:

Zitat
Aus der SmartMonTools Dokumentation

Under Windows
smartd will try to open all entries "/dev/hd[a-j]" ("\\.\PhysicalDrive[0-9]") for IDE/ATA devices on WinNT4/2000/XP, "/dev/hd[a-d]" (bitmask from "\\.\SMARTVSD") for IDE/ATA devices on Win95/98/98SE/ME, and "/dev/scsi[0-9][0-7]" (ASPI adapter 0-9, ID 0-7) for SCSI devices on all versions of Windows.

Wenn "ASPI Adapter" für den Controller stehen sollte, wäre es vielleicht möglich, per "/dev/scsi00" auf die erste Platte des ersten SCSI Controllers zuzugreifen, per "/dev/scsi02" dann z.B. auf die dritte Platte am ersten Controller usw., aber ich weiß nicht, ob ich das auch richtig verstehe.

Ansonsten würde ich versuchen, auf der Konsole mit "smartctl.exe -i /dev/xxxx" zu versuchen, von welchen Devices du auslesen kannst. Ich weiß nämlich nicht, wie du auf deine Disks wirst zugreifen können, also ob das /dev/scsixx oder /dev/sdx oder /dev/hdx sein wird.

Ein bisserl Herumprobieren ist wohl angesagt, aber da in der Dokumentation von keinem Adaptec Support die Rede ist, würde ich mir nicht allzuviele Hoffnungen machen, ich habe nur noch gelesen, daß es mit SCSI Miniport Treibern "meistens nicht ohne Anpassungen geht"..

Edit: Beim 3Ware ists ja /dev/hdx,x. Dabei steht "hdx" für das logische Volume. Bei mir /dev/hdb (/dev/hda ist die System-Raptor). Dann muß man noch die Plattennummer angeben, also /dev/hdb,3 ist die dritte Platte am Controller... Aber das wird wohl nur bei 3Ware so funktionieren.
Bearbeitet von GrandAdmiralThrawn am 15.06.2007, 11:35

flying_teapot

Undiskutant
Avatar
Registered: Jun 2000
Location: Nahe am Hotspot
Posts: 4105
Also ehrlich, GAT... Im Datenzentrum dort in Kapfenberg (des Kugeldingsbums vor dem Tanzenbergtunnel) würdens dich mit offenen Armen empfangen.Falls du nicht eh schon dort hackelst... :)

ftp.

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
Naa, rofl, ich arbeite auf der Montanuni in Leoben. ;) Aber hier werd ich auch noch ein recht vergleichbares RAID-6 bauen in absehbarer Zeit. Gleicher Controller, nur 19" Gehäuse mit Hotswaprahmen a la Tilmann.

FlyingHellfish

Little Overclocker
Avatar
Registered: Jun 2005
Location: NÖ nähe Hollab..
Posts: 128
Funktioniert leider gar nix von diesen Möglichkeiten (/dev/scsixx, /dev/sdx, /dev/pdx)

Zitat
C:\Documents and Settings\Administrator>smartctl /dev/scsi00 -H
smartctl version 5.37 [i686-mingw32-2003r2-sp2] Copyright (C) 2002-6 Bruce Allen

Home page is http://smartmontools.sourceforge.net/

ASPI Adapter 0, ID 0: No such device (Status=0x82)
To continue, add one or more '-T permissive' options.
Smartctl open device: /dev/scsi00 failed: No such file or directory

C:\Documents and Settings\Administrator>smartctl /dev/scsi00 -H -T permissive
smartctl version 5.37 [i686-mingw32-2003r2-sp2] Copyright (C) 2002-6 Bruce Allen

Home page is http://smartmontools.sourceforge.net/

ASPI Adapter 0, ID 0: No such device (Status=0x82)
Standard Inquiry (36 bytes) failed [Input/output error]
Retrying with a 64 byte Standard Inquiry
Standard Inquiry (64 bytes) failed [Input/output error]
A mandatory SMART command failed: exiting. To continue, add one or more '-T perm
issive' options.

Kennt vielleicht jemand ein anderes Tool als Smartctl.

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
Tools gibts viele, SpeedFan oder HDTune z.B. können SMART Werte auslesen, ob das dann beim Adaptec auch geht, müßtest halt testen. Aber ich kenne außer den SmartMonTools halt sonst nichts, was man als Hintergrunddienst würde laufen lassen können..

GrandAdmiralThrawn

XP Nazi
Avatar
Registered: Aug 2000
Location: BRUCK!
Posts: 3682
So, ein Update für den Steinzeitthread, der Helios RAID-6 Array wurde nun von Hitachi 7K1000 Deskstars auf Hitachi A7K2000 Ultrastars aufgerüstet, also eine ungefähre Verdoppelung der nutzbaren Kapazität auf 10.91TB.

Pics von den Disks: ;)
click to enlarge click to enlarge click to enlarge

Und so sieht der freie Speicher nach erfolgreicher Initialisation aus:
raid6-2-freespace_150511.gif
(wunderschön!)

Anders als unter WinXP x86_32 muß man hier kein "LUN Carving" mehr betreiben, um den Array in physikalische 2TB Brocken fürs OS aufzuteilen. Das ganze ist ein fetter Block, also eine Partition:
raid6-2-partition_150512.gif

Und wie geht das? Man nehme die GUID Partition Table (GPT) anstatt des Masterbootrecords (MBR), um sein Volume zu partitionieren. Keine Stücklerei, keine dynamischen JBOD Datenträger, nur ein dicker, schöner Basisdatenträger, hier im Vergleich zu meiner mit MBR partitionierten Velociraptor:
raid6-2-mbrgpt_150513.gif

So, da die weiter oben stehenden Benchmarks mit dem alten Array noch mit sehr alter (langsamerer) Firmware und dem langsameren SCSIPort Treibermodell von WinXP x86_32 durchgeführt wurden, ist eine direkte Vergleichbarkeit zur jetzigen Controllerfirmware und dem StorPort Treiber unter WinXP x64 nicht mehr gegeben.

Aber zumindest einen HDTune habe ich unter XP x64 mit neuester Firmware auch noch durchgeführt, hier sieht man dann, wieviel die neuen Disks in Sachen Leistung noch bringen, oder nicht bringen. Zum Vergleich auch der Array mit alten SCSIPort Treibern unter klassischem XP mit Releasefirmware (Achtung, HDTune kann prinzipiell nicht mehr als 2TiB ansprechen, daher das auf den Screenshots zu sehende Limit auch bei Verwendung von GPT):

HDTune, WinXP x86_32 SCSIPort, Releasefirmware, Hitachi Deskstar 7K1000:
raid6-hdtune_150517.gif

HDTune, WinXP x64 StorPort, neueste Firmware, Hitachi Deskstar 7K1000:
raid6-hdtune-new_150505.gif

HDTune, WinXP x64 StorPort, neueste Firmware, Hitachi Ultrastar A7K2000:
raid6-2-hdtune_150507.gif

Man sieht hier, viel mehr ist nicht drin. Das dürfte wohl daran liegen, daß der Controller hier bei RAID-6 mit seinen Leistungsreserven ziemlich am Ende angelangt sein dürfte.

ATTO:
raid6-2-atto_150508.gif

ATTO hat sichtlich die Krankheit, mit dem Cache nicht umgehen zu können. Ich nehme Mal an, daß er seine 256MB rausschreibt, nur um dann genau die selben Daten wieder einzulesen, was natürlich Schwachsinn wäre. Jedenfalls sehen wir hier bei hohen Blockgrößen völlig unrealistische Werte beim Lesen, anders als beim Schreiben.

Noch ein bißchen HDTach:

HDTach 3.0.4, 8MB Zone Short:
raid6-2-hdtach-8mb_150509.gif

HDTach 3.0.4, 32MB Zone Long:
raid6-2-hdtach-32mb_150510.gif

Fazit: Was schon sauschnell war, ist nun nur ein kleines bißchen schneller geworden, wenn man den Firmware- und Treiberumstieg mit WinXP x64 Mal außen vor läßt, und nur die Plattenaufrüstung beachtet.

Trotzdem kann ich wohl mit dem Ergebnis zufrieden sein, ein bisserl mehr Speed ist da, und dabei die doppelte Kapazität. :cool: :D
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz