Proxmox VMs, Storage, usw.

Zitat aus einem Post von nexus_VI

Mit den settings sollten die Backups eigentlich nicht verschwinden.

ja, das hab ich mir auch gedacht

Zitat aus einem Post von Master99

was regelt 'keep last'?

Zitat

keep-last <N>

Keep the last <N> backup snapshots.

von den betroffenen dirs gabs zu dem zeitpunkt nur jeweils 1 backup.

Zitat aus einem Post von Master99

könnte '3' hier nicht bedeutet dass beim 4x ausführen dann #1 gelöscht wird?

nein, dann würde "keep daily" übernehmen. jedenfalls sollte das backup nicht komplett verschwinden.

Klingt nach einem guten(*) Plan. So hab' ich das auch zu Hause gemacht und es funktioniert.

(*) In einem mission critical setup würde ich so etwas nicht betreiben. Wenn on premise, dann ist (redundante) dedizierte Hardware immer noch the way to go.

Ceph würd' ich mir schon gerne mal ansehen. Aber da fehlt mir wahrscheinlich ausreichend annähernd gleiche Hardware. Meine Befürchtung wäre, dass ein, im Extremfall raspberry pi, langsamer Storage auf einem Node, die gesamte Storage Performance runterziehen würde.

ich würde Storage immer dem Proxmox Host überlassen.

Ansonsten => ganz klar einen HBA mit LSI Chipsatz

Würde auch auf den HBA gehen (bzw auf einen der Nachfolger)

Mit 8 Platten würde ich mir aber ein anderes Storage Konzept überlegen als alles in einen großen Pool zu werfen.

Zitat aus einem Post von spunz

ich würde Storage immer dem Proxmox Host überlassen.

Ansonsten => ganz klar einen HBA mit LSI Chipsatz

Zitat aus einem Post von dio

Wieso? Ich hab bei mir auch den Controller durchgereicht, dann muss ich mich nicht mit ZFS ohne GUI rumspielen und kann die ganzen integrierten Tools von TrueNAS verwenden. Das durchreichen der ZFS Pools stell ich mir damit schwieriger vor?

Da würde mich auch interessieren, warum am Host und nicht per TrueNAS. Mein Hintergedanke ist zB: Geht der Proxmox Host ein, installier ich ihn neu, restore ich einfach die TrueNAS VM, reiche es wieder durch und hab alles wieder am laufen wie vorher. Wäre das nicht die "sicherere" Lösung?

Zitat aus einem Post von Viper780

Würde auch auf den HBA gehen (bzw auf einen der Nachfolger)

Mit 8 Platten würde ich mir aber ein anderes Storage Konzept überlegen als alles in einen großen Pool zu werfen.

Warum kein Großer Pool? Ich hab 70% nicht so wichtige Daten und die 30% was übrig bleiben kann ich aufs NAS Sichern. Das ist genau was mich am Synology (1522+) gestört hat, dass es dort ein 108TB limit gibt. Deshalb möchte ich kein NAS mehr bzw. ist die "Eigenbaulösung" mit TrueNAS und Konsorten für mich praktischer.

Und ehrlich gesagt hatte ich auch vor Jahren ein Raid6 (eh der "Homeserver" den ich dir mal verkauft hab iirc), wo nie was kaputt ging. Ich denke nicht, dass ich mehr als ein Raid5/Z1 als Redundanz jemals brauchen werde.

Zitat aus einem Post von spunz

Du bindest dir die Truenas VM dann fix an den Host. Replikation, Failover und Backup sind dann nicht mehr so einfach möglich. Statt lokaler Mountpoints muss man immer den Umweg über Truenas gehen => da kann man sich Proxmox eigentlich auch sparen.

Es kommt aber wie immer auf den jeweiligen Anwendungsfall an.

Aber wär das wie oben beschrieben bzgl restore bei meinem Single System nicht einfacher ich Route den Controller durch und kann die Truenas vm dann immer wieder herstellen ohne den pool vom proxmox Host angreifen zu müssen bzw. unabhängig vom Host eine wiederherstellung machen?

Ich hab 5 Platten in einem RaidZ1 und alles was mehr wird hätte ich Angst dass durch einen Fehler beim HBA, Netzteil oder mal ankommen beim Kabel es zum Ausfall mehrerer Platten kommt.

Aber verstehe deinen Punkt.
Wieviele SATA Ports hat dein Board?
Was machst du mit TrueNAS und was mit Proxmox?

Für eine handvoll shares und paar Docker würd ich auf ein plain debian (oder andere distri) gehen

Zitat aus einem Post von spunz

Du musst eben zuerst mal dein Truenas wieder zum laufen bekommen. Wenn der Host sich um´s Storage kümmert wird der Pool idR automatisch importiert und ist sofort nutzbar.

Du kannst das natürlich auch zu deinem Vorteil nutzen indem du deine Truenas VM auf einer getrennten Platte betreibst. Dann reicht es wenn du einfach die VM Konfig zurück kopierst und sparst dir den Restore der Truenas VM.

Grundsätzlich stellt sich mMn trotzdem die Frage warum du überhaupt Proxmox verwendest? Für 2-3 Container oder VM´s würde Proxmox weglassen und alles in Truenas laufen lassen.

Zitat aus einem Post von Viper780

Ich hab 5 Platten in einem RaidZ1 und alles was mehr wird hätte ich Angst dass durch einen Fehler beim HBA, Netzteil oder mal ankommen beim Kabel es zum Ausfall mehrerer Platten kommt.

Aber verstehe deinen Punkt.
Wieviele SATA Ports hat dein Board?
Was machst du mit TrueNAS und was mit Proxmox?

Für eine handvoll shares und paar Docker würd ich auf ein plain debian (oder andere distri) gehen

Also aktuell ist es so gebaut und konfiguriert:

Hardware:
https://geizhals.at/wishlists/3713132

CPU: AMD Ryzen 9 7950X3D, 16C/32T, 4.20-5.70GHz
Mobo: ASUS TUF Gaming X670E-Plus (90MB1BJ0-M0EAY0)
RAM: 2x Crucial Pro DIMM Kit 96GB, DDR5-5600, CL46-45-45, on-die ECC (CP2K48G56C46U5)
SSD1: Apacer AS2280P4 512GB, M.2 2280 / M-Key / PCIe 3.0 x4
SSD2+3: 2x Patriot Viper VP4300 2TB, M.2 2280 / M-Key / PCIe 4.0 x4, Kühlkörper (VP4300-2TBM28H)
SSD4: Fikwot FN955 2TB, M.2 2280 / M-Key / PCIe 4.0 x4, Kühlkörper
Netzwerkkarte: TP-Link 10G LAN-Adapter, RJ-45, PCIe 3.0 x4 (TX401)
CPU Kühler: Noctua NH-D15S
Gehäuse: Fractal Design Define XL R2, schwarz, schallgedämmt
Netzteil: Fractal Design Ion+ 2 Platinum 760W ATX 2.52

Kommt diese Woche:
8x Seagate Exos X - X24 24TB, 24/7, 512e/4Kn / 3.5" / SATA 6Gb/s
1x LSI Broadcom SAS 9305-16i, PCIe 3.0 x8

Auf SSD1 liegt der Proxmox Host, die SSD tut genau nix außer die ISOs Verwalten und das OS Booten.
Auf SSD2+3 liegen die VMs und Container
Auf SSD4 liegen die täglichen Backups welche dann aufs NAS verschoben werden zur Spiegelung

Aktuell habe ich auf Proxmox:

Container:
OpenVPN1 (Private Netz)
OpenVPN2 (Shared Netz)
Adguard
Stirling PDF
NGINX (aktuell nicht genutzt)

VMs:
WS2022-1 (Main VM für bestimmte Anwendungen)
WS2022-2 (Main VM für meinen Private Game Server)
WS2022-3 (aktuell Inaktiv, ehemals Game Server)
WS2022-4 (aktuell Inaktiv, ehemals Game Server)
WS2022-5 (aktuell Inaktiv, ehemals bestimmte Anwendungen/Testserver)
WS2022-6 (aktuell Inaktiv, Game Server)
pfSense (virtuelles Netz für Shared Server)
WS2022-7 (shared Server)
WS2022-8 (Interner Verwaltungsserver)

-> Warum Proxmox:
Ich fand da Handling und die Konfigurierbarkeit sehr gut und "einfach". Ob ich das alles mit TrueNAS so hinbekomme habe ich mir noch nicht angesehen, dass ich einfache VMs nutzen kann, ist mir bewusst, aber ob ich mir Virtuelle Switches anlegen kann usw. habe ich mir nicht angesehen. Ich fand auch die Sicherung und Wiederherstellung von den VMs sehr einfach. Und es läuft einfach alles bisher ohne Probleme!

Das Board hat nur 4x SATA bzw. 2x SATA wenn ich einen M.2 Slot mit 4x laufen lassen will. Daher sind die Onboard Ports fast Useless.

Den punkt mit "TrueNas wieder zum laufen bekommen" sehe bei einer VM Nutzung nicht so als Problem, oder übersehe ich hier etwas? Weil wenn der Proxmox Host eingeht, muss ich ja nur die VM auf den neuen Host zurückspielen, muss TrueNAS nicht neu konfigurieren und es sollte wieder alles laufen. Wenn der Truenas HOST aus welchen gründen auch immer eingeht (SSD Fehler), ist es doch im Prinzip das selbe, nur dass ich ggf. mehr mühe beim TrueNAS Config wiederherstellen hab (hab mich noch nicht mit dem Backup von TrueNAS befasst!).

Also für meinen Usecase, sofern das mit der HBA Karten Durchreichung so einfach geht, find ich die Proxmox HOST + TrueNAS VM Version als aktuell die bessere Alternative und müsste auch nicht alles neu machen (VMs umziehen, Backups neu einrichten usw.).

TrueNAS wird künftig hauptsächlich als SMB Share und ggf. Medienserver fungieren. Im Prinzip wird mein bestehendes Synology NAS abgelöst und zum Backup degradiert.

Edit.:

Zitat aus einem Post von davebastard

je nach wissenstand, wenn man mit linux ned fit is wird man mit truenas besser zurecht kommen

Ja das ist auch ein Punkt, auf Commandlines hab ich nicht so Lust .