"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

Homeserver: RAID + SSD Cache Konfiguration

Gex 26.03.2017 - 14:25 4221 6
Posts

Gex

Oralapostel
Avatar
Registered: Jan 2001
Location: Piefkinesien
Posts: 3376
Servus,

ich überlege derzeit an einem neuen Setup für meinen Homeserver herum. Vorhanden sind 6x HDD 1TB, die erhalten bleiben sollen. Außerdem 1x SSD 120GB.
Meine aktuelle Idee: Eine zweite 120GB SSD dazu nehmen und folgendermaßen konfigurieren:

1. Die 6x 1TB zu einem RAID6 zusammenbauen, darauf ein physical device für LVM machen und eine volume group "vg_data" oder sowas erstellen. Dann ein einziges LV "lv_data", das dann z.B. mit XFS formatieren und als /srv mounten.
2. Die SSDs partitionieren und je Platte zwei RAID-Partitionen anlegen (sda1, sda2, sdb1, sdb2). Auf sda1 und sdb1 ein RAID1 anlegen, darauf ein physical device für LVM und das in eine eigene volume group "vg_system" stecken, darauf ein LV "lv_root", ext4 formatieren und als / verwenden.
Die anderen beiden Partitionen, sda2 und sdb2, zu einem RAID0 zusammenfassen, wieder ein physical device anlegen, das mit in die volume group "vg_data" stecken, zwei LVs anlegen (einmal Cache, einmal Cache-Metadata) und als Cache für das LV "lv_data" konfigurieren.

Somit hätte ich:
- Zweifache Ausfallsicherheit für das "große" Array (6TB brutto kann man ja nicht mehr wirklich als groß bezeichnen)
- Einfache Ausfallsicherheit für /
- Einen schnellen RAID0 SSD-Cache für das RAID6. Wenn eine SSD stirbt und das RAID hin ist, ist das im Writethrough Modus auch kein Drama, dann ist halt nur der Cache weg, Datenverlust gibt's keinen.

Ich hab diese Konfiguration mal in einer VM durchgespielt unter Ubuntu 16.04 und das hat auch soweit alles ganz easy funktioniert. Performance-Tests sind natürlich nicht sinnvoll wenn alles auf derselben SSD im Notebook liegt.

Was meint ihr? :cool: oder :bash:?
Macht der LVM-Cache für den Einsatz im Homeserver überhaupt Sinn? Ist da ein spürbarer Performancegewinn zu erwarten (ich weiß, hängt sehr davon ab was das Einsatzszenario für die Kiste ist... Fileserver, bisschen Mediacenter, bisschen Spielkram mit Docker usw.).
Ist diese Konfiguration mit einem RAID1 und einem RAID0 auf zwei SSDs okay oder quatsch?
Habt ihr Erfahrungswerte mit sinnvollen Cache-Größen? 10, 20, 60 GB?

Denne

Here to stay
Avatar
Registered: Jan 2005
Location: Germany
Posts: 2801
Für einen Fileserver bzw Mediacenter find ich dein SSD-Vorhaben viel zu aufwendig und komplex. Caching brauchst für sowas absolut nicht, ein RAID6 ist fix genug.

Gegen das RAID6 spricht imho nichts. Gibt jedoch auch viele Alternativen wie ZFS, Snapraid, UnRAID etc. Haben alle ihre Vor- und Nachteile. Ich hatte früher selbst ein RAID5 (5x2TB) in meinem NAS am laufen und bin dann auf Snapraid (3x5TB + 3x2TB als Daten-Platten und 1x5TB als Parity-Platte) + MergerFS umgestiegen. Bin/war mit beidem zufrieden :)

OS (OpenMediaVault) rennt auf einer 120GB SSD. Klappt wunderbar ohne Caching. Falls die SSD mal eingehen sollte, kauf ich eben eine neue und konfiguriere das OS neu oder spiel ein Backup drauf. Ich komme auch 2-3 Tage ohne NAS aus im Extremfall :)
Bearbeitet von Denne am 26.03.2017, 14:52

ccr


Avatar
Registered: Jul 2001
Location: am Dach
Posts: 5797
Sehe ich auch so. Das im Heimnetzwerk übliche Gbit erreicht auch jede HDD. Und damit man von der besseren Zugriffszeit einer SSD profitiert, fehlen am Homeserver meist die dafür notwendigen wiederholten Zugriffe auf die immer gleichen Daten.

Master99

verträumter realist
Avatar
Registered: Jul 2001
Location: vie/sbg
Posts: 12574
hast du denn irgendwelche anwendungen die vom ssd-cache profitieren würden?

hier bieten sich ja wirklich nur schreibwnde prozesse an, weil ein ssd-raid1 beim lesen ja gleichschnell wäre. ohne raid0kopfweh halt (aber bissl weniger netto-speicherplatz)

ein raid6 aus 6 platten für gerade mal 4tb nettoplatz, mhm, performance/lautalstärke/stromtechnisch einem raid1 aus zwei platten unterlegen.... aber wenn dich das nicht stört und du die platten unbedingt verwenden willst, klar, go for it.

Gex

Oralapostel
Avatar
Registered: Jan 2001
Location: Piefkinesien
Posts: 3376
Danke für eure Einschätzungen!
Vielleicht ist das Vorhaben wirklich etwas zu komplex. Ich würde mir von einem Cache erhoffen, dass Dateien auf die ich häufiger mal zugreife eben auf der SSD im Cache landen und dann nicht jedes Mal die sechs Platten aus dem Standby geweckt werden müssen nur um ein .doc zu öffnen (LVM Cache arbeitet auf Blockebene und weiß nichts über Dateien, klar, aber ihr versteht die Idee denke ich). Gut möglich dass das so eh nicht funktioniert weil ich dann doch nicht häufig genug auf dieselben Dateien zugreife.
Eventuell ist für dieses Szenario auch einfach eine andere Caching-Technologie zielführend, der LVM-eigene Cache scheint ja auf dm-cache aufzusetzen, ich habe jetzt gelesen dass Leute so im Desktop-Bereich eher mit bcache gute Ergebnisse erzielt haben...

Zitat von Denne
[...]Gibt jedoch auch viele Alternativen wie ZFS, Snapraid, UnRAID etc. Haben alle ihre Vor- und Nachteile. Ich hatte früher selbst ein RAID5 (5x2TB) in meinem NAS am laufen und bin dann auf Snapraid (3x5TB + 3x2TB als Daten-Platten und 1x5TB als Parity-Platte) + MergerFS umgestiegen. Bin/war mit beidem zufrieden :)
MergerFS und Snapraid hatte ich mir tatsächlich auch schon überlegt weil ich die Idee ganz charmant finde dass a) immer nur die Platte hochfährt auf der die Datei auch wirklich liegt und b) ich im Notfall jede Platte einzeln mounten kann um auf die Dateien darauf zuzugreifen. Nur sind beide Projekte jeweils so eine one-man-show, mit sowas bin ich immer eher skeptisch, auch wenn es ja ganz gut zu funktionieren scheint. Wer weiß ob die Entwickler morgen oder nächstes Jahr noch Lust haben, kritische Bugs zu fixen. Da fühle ich mich mit dem guten alten Linux Software RAID doch sicherer.

Zitat von Master99
ein raid6 aus 6 platten für gerade mal 4tb nettoplatz, mhm, performance/lautalstärke/stromtechnisch einem raid1 aus zwei platten unterlegen.... aber wenn dich das nicht stört und du die platten unbedingt verwenden willst, klar, go for it.
Die sechs Platten sind halt vorhanden. Wenn ich davon ausgehe dass die Platten 24/7 durchlaufen brauche ich schon gut 5 Jahre bis sich zwei 4TB Platten über den geringeren Stromverbrauch amortisiert haben. Nimmt man an dass die Platten nur 30% des Tages wirklich laufen, komme ich auf knapp 17 Jahre. ;)

Master99

verträumter realist
Avatar
Registered: Jul 2001
Location: vie/sbg
Posts: 12574
jaja klar, rein mit dem stromverbrauch holst du es nicht rein.

aber wenn lautstärke&hitzeentwicklung eine rolle spielen weil das ding zb. in einem wohnraum stehen wird dann sollte man halt schon überlegen ob man da 4 mehr platten reinstecken mag (aufsummierende vibrationen, mehr abzuführende abwärme, insgesamt höheres ausfallrisiko/aufwand...).

es kommt natürlich total drauf an was du denn eigentlich damit vorhast. für mich liest sich das auch ein bissl wie ein bastel/lernprojekt.. wenn du also lust+teile+geeigneten aufstellort hast dafür klar go for it.

selbst wenn der SSD cache vielleicht nicht viel bringen mag, kostet eine zweite SSD ja auch nur noch 50 euro... alleine schon für das RAID1 des sys-laufwerkes ist das ja eine gute idee (ich seh das mehr als komfort bzw. nervenberuhiger als aus redundanz-gründen)

Gex

Oralapostel
Avatar
Registered: Jan 2001
Location: Piefkinesien
Posts: 3376
Zitat von Master99
jaja klar, rein mit dem stromverbrauch holst du es nicht rein.

aber wenn lautstärke&hitzeentwicklung eine rolle spielen weil das ding zb. in einem wohnraum stehen wird dann sollte man halt schon überlegen ob man da 4 mehr platten reinstecken mag (aufsummierende vibrationen, mehr abzuführende abwärme, insgesamt höheres ausfallrisiko/aufwand...).
Das ist natürlich nicht von der Hand zu weisen, aber die Kiste wird in einem Schrank auf dem Flur stehen, die Platten werden entkoppelt, dann ist das schon okay. Zugegeben, ich könnte auch die 6x 1TB verkaufen für vielleicht 30-40€/Stück, damit würde sich die Amortisationsdauer nochmal halbieren, aber wurscht ;)

Zitat

es kommt natürlich total drauf an was du denn eigentlich damit vorhast. für mich liest sich das auch ein bissl wie ein bastel/lernprojekt.. wenn du also lust+teile+geeigneten aufstellort hast dafür klar go for it.
Naja, primärer Einsatzzweck ist halt ein Fileserver für zuhause, wo ich meine Daten (Fotos, Videos, Dokumente) möglichst sicher verwahren kann. Nebenbei wie gesagt ein bisschen "herumspielen". Klar geht's dabei auch ein bisschen um den Lerneffekt und den Spaß am Basteln, aber Datensicherheit, Verfügbarkeit und Performance stehen schon im Vordergrund. Und das möchte ich weitestgehend mit vorhandenen Mitteln erreichen.

Zitat

selbst wenn der SSD cache vielleicht nicht viel bringen mag, kostet eine zweite SSD ja auch nur noch 50 euro... alleine schon für das RAID1 des sys-laufwerkes ist das ja eine gute idee (ich seh das mehr als komfort bzw. nervenberuhiger als aus redundanz-gründen)
Das stimmt, mache ich also vielleicht eh und probiere dann mal aus. Wenn die Konfiguration nicht so läuft wie ich möchte, kann ich ja das ganze Cache-Zeug wieder rauskegeln aus dem LVM, dann das Cache-RAID0 auflösen und die RAID1-Partitionen vergrößern.

Ich hab meine Idee noch mal eben visualisiert....
click to enlarge
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz