"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

NAS auf Proxmox-Basis sinnvoll?

maverick81 02.02.2022 - 11:14 28952 120
Posts

Viper780

Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 48756
Ja md kannst theoretisch machen, aber ich sehe für storage wenig Vorteil. Moderne Storage FS sind da einfach besser darin selbst die Redundanz herzustellen.

Die Frage ist ob man überhaupt eine Redundanz bei HDD braucht. Lieber gute Backups

dio

Here to stay
Registered: Nov 2002
Location: Graz
Posts: 4761
Zitat aus einem Post von Master99
kommt natürlich auf dein genaues szenario drauf an was/welche dienste du einsetzt, aber prinzipiell seh ich keinen vorteil das im heimbereich physisch zu trennen. wenn das NAS ausfällt sind ja die dienste die ihre daten drauf ablegen ja auch betroffen.

virtuell trennen macht natürlich schon sinn.

hast du irgendwelche high-performance/latenzkritische tasks die den NAS speicher involvieren? das wär imho das einzige was evtl. dagegen spricht das proxmos die speicherverwaltung macht und dann den storage pool durchreicht, ansonsten hat eine virtualisierung ja doch auch hier sind weil du das NAS dann auch mit anderer hardware wiederaufbauen könntest.

btw.: ein ZFS wird nicht auf einem separaten (software)raid betrieben sondern erstellt das RAIDZ direkt mit den platten/blockdevices.
Hätte ich auch so gesehen bzgl. Trennung, ich wollt das nur auch von euch so hören :)

Auf lange Sicht möcht ich auch SSD Speicher über das NAS anbieten, aber warum macht das aus Latenzsicht einen Unterschied?

Zitat aus einem Post von Viper780
Was für Services willst du laufen lassen?
Privat hab ich keinen Usecase mehr für Proxmox.
Aktuell geplant sind Nextcloud, SABnzbd, Jellyfin, Photoprism, ev. paperless-ngx

Als Backup würd ich gern meinen Raspi dort spiegeln bzgl. Home Assistant und PiHole.

Zitat
Extra Karte frisst nur Strom und erhöht die Komplexität. Würd ich in den meisten Fällen nicht empfehlen.
Da du den Pool außerhalb vom TrueNAS nicht brauchst würd ich den da drinnen erstellen.
Hängt halt davon ab, ob ich eine gute Mainboard Kombo finde, die alles mitabdeckt. Welche Vor- oder Nachteile hätte jeweils die Variante, den Pool in Proxmox zu machen und durchzureichen vs. dann in der Instanz von TrueNAS?

Zitat
ZFS kann aber mittlerweile um Disks erweitert werden https://freebsdfoundation.org/blog/...eature-for-zfs/
Ja, hab ich gesehen, das mit der Parität ist aber anscheinend potentiell sketchy, weil das vorherige verwendete Aufteilmuster beibehalten wird?

Zitat
SFP+/SFP28 oder 10GBase-T? Welchen Switch hast im Einsatz?
Danke, hab ich vergessen. Möchte mit SFP+ direkt zum Unifi-Switch.

Zitat aus einem Post von davebastard
bez. Services die ich nicht am Homeserver laufen lassen würde: Router, also z.B. sowas wie pfsense das will ich immer auf einem eigenen Gerät haben

Ist ausgelagert, macht eine UDMpro.

Viper780

Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 48756
Zitat aus einem Post von dio
Aktuell geplant sind Nextcloud, SABnzbd, Jellyfin, Photoprism, ev. paperless-ngx

Sollte es alles als native Plugins für TrueNAS geben. Würde mir da Proxmox ersparen.

Zitat aus einem Post von dio
Als Backup würd ich gern meinen Raspi dort spiegeln bzgl. Home Assistant und PiHole.
Was rennt alles am RasPi?
Pihole kannst auch am NAS laufen lassen (bzw parallel, dann hast immer Internet auch wenn einer der DNS resolver ausfallen sollte).

Zitat aus einem Post von dio
Ja, hab ich gesehen, das mit der Parität ist aber anscheinend potentiell sketchy, weil das vorherige verwendete Aufteilmuster beibehalten
Sollte mit reflow im Hintergrund neu geschrieben werden. Sehe da keine Probleme. Aber hab bisher noch nicht getestet.

Zitat aus einem Post von dio

Danke, hab ich vergessen. Möchte mit SFP+ direkt zum Unifi-Switch.
Mellanox ConnectX-3/ConnectX-3pro für SFP+ oder ConnectX-5/ConnectX-6 für SFP28
SFP28 ist völlig kompatibel zu SFP+ und sollte etwas weniger Strom brauchen wenns nur mit 10G betrieben wird. Selbst aber noch nicht gemessen.

Ich hab aktuell HPE 546SFP+ (779793-B21) Dual Port im Einsatz. Die gehen recht gut. Aber unifi sind etwas picky bei den Transceiver. Evtl bei den TwinAX DAC Kabeln drauf achten dass sie zur UDM kompatibel sind
ZB https://www.fs.com/de/products/49575.html
Bearbeitet von Viper780 am 27.11.2022, 13:57

Master99

verträumter realist
Avatar
Registered: Jul 2001
Location: vie/sbg
Posts: 12574
Zitat aus einem Post von dio
Auf lange Sicht möcht ich auch SSD Speicher über das NAS anbieten, aber warum macht das aus Latenzsicht einen Unterschied?

Ob HDDs oder SSDs ist ja relativ egal, es kommt drauf an ob du irgendwelche Anwendungen planst aufs NAS wo kürzeste Zugriffszeiten relevant werden wie zB Echtzeitaufnahme und Wiedergabe von mehreren Audiospuren bei kleinsten Buffersizes oder sonst etwas wo jede ms wichtig ist und eine Virtualisierung eine potentielle Verlangsamung darstellen könnte.

Für die allermeisten Anwendungen wird es vollkommen egal sein. Und wenn jetzt erstmal überlegen musst ob sowas vorliegt, dann hast du vermutlich keinen solchen Usecase weil sonst wärs dir in der Vergangenheit schonmal aufgefallen :D

davebastard

Vinyl-Sammler
Avatar
Registered: Jun 2002
Location: wean
Posts: 11470
Zitat
Jellyfin, Photoprism, ev. paperless-ngx

nice :) sehen alle 3 recht brauchbar aus. Vor allem die letzten beiden machen bei mir auch absolut sinn. werd ich mir mal die entsprechenden docker container hochziehen

Viper780

Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 48756
Paperless NG (noch ohne X) war ich eher weniger erfreut.
Werd wohl auf Maya edms umsteigen

Btw für jellyfin und Photoprism gibt's auch freebsd installationen (

hynk

Super Moderator
like totally ambivalent
Avatar
Registered: Apr 2003
Location: Linz
Posts: 10894
Zitat aus einem Post von Viper780
Paperless NG (noch ohne X) war ich eher weniger erfreut.
Werd wohl auf Maya edms umsteigen

Btw für jellyfin und Photoprism gibt's auch freebsd installationen (

Maya EDMS sieht auch nice aus.
Du wechselst deine DSMs auch wie andere ihre Unterhosen :D

Zum NAS basteln ist Unraid auch eine nette Lösung. Aktuell gibts die Pro Version auch vergünstigt.

Viper780

Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 48756
Zitat aus einem Post von hynk
Maya EDMS sieht auch nice aus.
Du wechselst deine DSMs auch wie andere ihre Unterhosen :D
.

Ich bin noch am suchen fürs richtige tool

spunz

Super Moderator
Super Moderator
Avatar
Registered: Aug 2000
Location: achse des bösen
Posts: 11109
Zitat aus einem Post von dio
Ich hab mir 3x 18TB Platten bestellt und würde gerne ein RAID5 bzw. RAIDZ betreiben. Auch wenn der Aufwand am Anfang höher sein wird, hab ich mich gegen eine Lösung von Synology entschieden und möchte einen Homeserver selber basteln und mein NAS mit TrueNAS betreiben.

- Ist es aus eurer Sicht sinnvoll, NAS und Homeserver als getrennte Geräte zu betreiben? Grundsätzlich würde für mich "alles auf einem Rechner" am meisten Sinn machen, weil dann das idlen nicht so weh tut. Schlussendlich sind halt dann alle Services ausgefallen, wenn das eine Gerät mal etwas hat.

Nein, mach einen Container mit OMV unter Proxmox. Redundanz ist dann kein problem, einfach per ZFS Replikation auf einen zweiten Proxmox und fertig.


Zitat aus einem Post von dio
- Ich hab mich für eine Lösung mit Proxmox (+- NAS am gleichen Gerät) entschieden. Ist es sinnvoll, eine eigene SATA PCI Karte zu kaufen, um diese dann gesamt an zB. TrueNAS durchzureichen und die Verwaltung des Raids durch TrueNAS zu machen oder ist es sinnvoller, das Raid in Proxmox zu erstellen und für TrueNAS nur den Pool durchzureichen?

Ich würde mir den Overhead mit Truenas gänzlich sparen. Storage macht der Hypervisor, für ein paar Shares einfach OMV oder zfs-sharesmb.



Zitat aus einem Post von dio
- Die Entscheidung BTRFS oder ZFS fällt mir sehr schwer. Für BTRFS scheint die sehr einfache Erweiterung der Kapazität zu sprechen - und Synology setzt scheinbar auch schon BTRFS für ihre Consumer NAS ein. Ich würd halt gerne in Zukunft einfach weitere 18TB Platten bei Bedarf dazukaufen und einfach erweitern. Kann mir hier vielleicht wer weiterhelfen?

Synology verwendet mWn immer noch mdadm und fährt drauf BTRFS. Kann man also nicht wirklich vergleichen.



Zitat aus einem Post von dio
- Hardware Raid ist "tot", das hab ich mittlerweile verstanden. Aber ist nun Software-Raid und darauf dann ZFS ohne RAIDz bzw. BTRFS sinnvoller?


Bitriot und co sind damit abgedeckt, macht also durchaus Sinn neben guten Backups.

dio

Here to stay
Registered: Nov 2002
Location: Graz
Posts: 4761
Zitat aus einem Post von spunz
Nein, mach einen Container mit OMV unter Proxmox. Redundanz ist dann kein problem, einfach per ZFS Replikation auf einen zweiten Proxmox und fertig.
Damit ich es richtig versteh: OMV installieren und dort dann den ZFS Pool erstellen (ich nehme an, damit ist deine Empfehlung ZFS > BRTFS?)? Wenn ich es richtig im Kopf habe, kann OMV ZFS nicht ootb?


Zitat
Ich würde mir den Overhead mit Truenas gänzlich sparen. Storage macht der Hypervisor, für ein paar Shares einfach OMV oder zfs-sharesmb.
Ich hab mich halt mal zumindest von dem polierten Webinterface überzeugen lassen. Ich dachte auch, dass ich mit TrueNAS vlt. hinsichtlich Cloud-Backups mir leichter tun würde, nachdem einige für mich in Frage kommende S3 Dienste unterstützt werden.



Zitat
Synology verwendet mWn immer noch mdadm und fährt drauf BTRFS. Kann man also nicht wirklich vergleichen.
Aber das könnte ich in der Form ja einfach selbst nachbauen, oder?



Zitat
Bitriot und co sind damit abgedeckt, macht also durchaus Sinn neben guten Backups.
Da versteh ich vorerst mal nur Bahnhof, muss ich erst googlen :D

edit: warum Overhead bei TrueNAS? Weil es mir selbst die Möglichkeit bietet, als Hypervisor zu fungieren und Docker Images laufen lassen kann?
Bearbeitet von dio am 27.11.2022, 18:41

dio

Here to stay
Registered: Nov 2002
Location: Graz
Posts: 4761
Zitat aus einem Post von davebastard
nice :) sehen alle 3 recht brauchbar aus. Vor allem die letzten beiden machen bei mir auch absolut sinn. werd ich mir mal die entsprechenden docker container hochziehen
Freu mich auch über weitere Empfehlungen, falls es sonst noch was cooles gibt, was man braucht - aber es noch nicht weiß :D

spunz

Super Moderator
Super Moderator
Avatar
Registered: Aug 2000
Location: achse des bösen
Posts: 11109
Zitat aus einem Post von dio
Damit ich es richtig versteh: OMV installieren und dort dann den ZFS Pool erstellen (ich nehme an, damit ist deine Empfehlung ZFS > BRTFS?)? Wenn ich es richtig im Kopf habe, kann OMV ZFS nicht ootb?

Storage machst du komplett unter Proxmox, für Shares einfach OMV in einem Container laufen lassen. Somit kannst du dein "NAS" recht einfach auf einen anderen Host spiegeln oder umziehen.



Zitat aus einem Post von dio
Ich hab mich halt mal zumindest von dem polierten Webinterface überzeugen lassen. Ich dachte auch, dass ich mit TrueNAS vlt. hinsichtlich Cloud-Backups mir leichter tun würde, nachdem einige für mich in Frage kommende S3 Dienste unterstützt werden.

Das kann immer noch sein, die Frage ist was für Dienste es im Detail sind.


Zitat aus einem Post von dio
Aber das könnte ich in der Form ja einfach selbst nachbauen, oder?

Ja, aber ich würde es eher sein lassen.




Zitat aus einem Post von dio
Da versteh ich vorerst mal nur Bahnhof, muss ich erst googlen :D

edit: warum Overhead bei TrueNAS? Weil es mir selbst die Möglichkeit bietet, als Hypervisor zu fungieren und Docker Images laufen lassen kann?

Als Hypervisor taugt es (bisher) nicht wirklich. Container waren ok, aber irgendwie auch mühsam wenn es Probleme gibt.

dio

Here to stay
Registered: Nov 2002
Location: Graz
Posts: 4761
Ich bin zum äußersten geschritten und hab mir einfach mal alles in einer VM angesehen. TrueNAS wirkt viel "glatter", ZFS ootb ohne addon - ich denke, ich werds vorerst mit TrueNAS versuchen.

Zitat aus einem Post von spunz
Storage machst du komplett unter Proxmox, für Shares einfach OMV in einem Container laufen lassen. Somit kannst du dein "NAS" recht einfach auf einen anderen Host spiegeln oder umziehen.
Dh. du würdest den ZFS Pool direkt in Proxmox erstellen und dann den ? ZFS Pool ? durchreichen?

Hat wer Empfehlungen für halbwegs energie-effiziente Hardware? Bei welcher Intel Generation sollte ich mich da umsehen?

spunz

Super Moderator
Super Moderator
Avatar
Registered: Aug 2000
Location: achse des bösen
Posts: 11109
Zitat aus einem Post von dio
Dh. du würdest den ZFS Pool direkt in Proxmox erstellen und dann den ? ZFS Pool ? durchreichen?

Hat wer Empfehlungen für halbwegs energie-effiziente Hardware? Bei welcher Intel Generation sollte ich mich da umsehen?

Einfach einen COntainer oder VM anlegen, da musst du nichts durchreichen.

Bezüglich Hardware => je nach Budget, was darf es den Kosten?

dio

Here to stay
Registered: Nov 2002
Location: Graz
Posts: 4761
Ich hab die 3x 18 TB Exos Festplatten schon und wäre bereit, 500 - 1000 noch extra für die restliche Hardware auszugeben.

Ich hab in der Woche vor Weihnachten Urlaub und würd dann gerne alles zusammenbasteln. Wenn ich bis dahin nichts vernünftiges im DIY zusammenbringe, werd ich mir wohl eine Synology holen. Selber mit TrueNAS wär mir aber am liebsten.

Danke!
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz