Proxmox VMs, Storage, usw. - Seite 8

Seite 8 von 11 - Forum: Linux and other OS auf overclockers.at

URL: https://www.overclockers.at/linux/proxmox-vms-storage-usw_263133/page_8 - zur Vollversion wechseln!

nexus_VI schrieb am 17.01.2025 um 12:46

Es gibt im PBS einen super Pruning Simulator, wo du genau siehst welche Backups aufgehoben werden.

Die Doku ist auch sehr gut: https://pbs.proxmox.com/docs/maintenance.html#pruning

wergor schrieb am 17.01.2025 um 14:09

Zitat aus einem Post von nexus_VI
Mit den settings sollten die Backups eigentlich nicht verschwinden.

ja, das hab ich mir auch gedacht

Zitat aus einem Post von Master99
was regelt 'keep last'?

Zitat
keep-last <N>

Keep the last <N> backup snapshots.

von den betroffenen dirs gabs zu dem zeitpunkt nur jeweils 1 backup.

Zitat aus einem Post von Master99
könnte '3' hier nicht bedeutet dass beim 4x ausführen dann #1 gelöscht wird?

nein, dann würde "keep daily" übernehmen. jedenfalls sollte das backup nicht komplett verschwinden.

creative2k schrieb am 25.02.2025 um 09:23

Nachdem ich endlich meinen Plan umsetze und mein NAS durch ein Virtuelles TruesNAS ersetzen möchte, hab ich gerade 2 Möglichkeiten den Storage anzubinden.

Lösung 1 (Präferenz, gebraucht/refurbished HW):
1x Broadcom LSI 9305-16i HBA Controller

Lösung 2 (Überlegung, Neuware):
1x Adapterkarte M.2 NVME auf PCIe 4.0 X16 (Bifurcation)
4x SilverStone Technology SST-ECS07-5-Port-SATA-Gen3-6Gb/s-Non-RAID-M.2-PCIe-Speichererweiterungskarte

Beides wäre dann aktiv gekühlt mit Lüfter davor.

Ursprünglich wollte ich zuerst Lösung 2 machen, bis ich auf die Idee mit dem HBA Controller bekommen bin. Im Netz liest man gemischte Meinungen, aber überwiegend tendieren die Leute wohl zum HBA Controller, obwohl diese m.2 zu Sata Karte mit dem JMB585 auch nicht schlecht sein soll.

Ich weiß nur nicht wie es mit dem HBA aussieht bzgl der Lebenszeit wenn der gebraucht ist, der ist ja schon älter.

Geplant ist erstmal das ganze mit 8x24TB zu testen und an eine TrueNAS Scale VM durchzureichen und damit ein RaidZ1 zu machen. Da sollte ich den ganzen controller am besten durchreichen, oder?

Der TrueNAS Scale VM würd ich erstmal 8 Kerne und 64GB Ram geben, das sollt ja reichen denk ich.

bsox schrieb am 25.02.2025 um 09:51

Klingt nach einem guten(*) Plan. So hab' ich das auch zu Hause gemacht und es funktioniert.

(*) In einem mission critical setup würde ich so etwas nicht betreiben. Wenn on premise, dann ist (redundante) dedizierte Hardware immer noch the way to go.

Ceph würd' ich mir schon gerne mal ansehen. Aber da fehlt mir wahrscheinlich ausreichend annähernd gleiche Hardware. Meine Befürchtung wäre, dass ein, im Extremfall raspberry pi, langsamer Storage auf einem Node, die gesamte Storage Performance runterziehen würde.

roscoe schrieb am 25.02.2025 um 11:28

Ich tendiere da zu Lösung 1 - das Ding ist sicher noch länger verfügbar, ist genau für den Einsatzzweck konzipiert und wahrscheinlich stablier. Bonuspunkte: SAS, 12G.

spunz schrieb am 25.02.2025 um 11:37

ich würde Storage immer dem Proxmox Host überlassen.

Ansonsten => ganz klar einen HBA mit LSI Chipsatz

dio schrieb am 25.02.2025 um 11:40

Zitat aus einem Post von spunz
ich würde Storage immer dem Proxmox Host überlassen.

Ansonsten => ganz klar einen HBA mit LSI Chipsatz

Wieso? Ich hab bei mir auch den Controller durchgereicht, dann muss ich mich nicht mit ZFS ohne GUI rumspielen und kann die ganzen integrierten Tools von TrueNAS verwenden. Das durchreichen der ZFS Pools stell ich mir damit schwieriger vor?

Viper780 schrieb am 25.02.2025 um 11:55

Würde auch auf den HBA gehen (bzw auf einen der Nachfolger)

Mit 8 Platten würde ich mir aber ein anderes Storage Konzept überlegen als alles in einen großen Pool zu werfen.

spunz schrieb am 25.02.2025 um 12:00

Zitat aus einem Post von dio
Wieso? Ich hab bei mir auch den Controller durchgereicht, dann muss ich mich nicht mit ZFS ohne GUI rumspielen und kann die ganzen integrierten Tools von TrueNAS verwenden. Das durchreichen der ZFS Pools stell ich mir damit schwieriger vor?

Du bindest dir die Truenas VM dann fix an den Host. Replikation, Failover und Backup sind dann nicht mehr so einfach möglich. Statt lokaler Mountpoints muss man immer den Umweg über Truenas gehen => da kann man sich Proxmox eigentlich auch sparen.

Es kommt aber wie immer auf den jeweiligen Anwendungsfall an.

creative2k schrieb am 25.02.2025 um 12:03

Zitat aus einem Post von spunz
ich würde Storage immer dem Proxmox Host überlassen.

Ansonsten => ganz klar einen HBA mit LSI Chipsatz

Zitat aus einem Post von dio
Wieso? Ich hab bei mir auch den Controller durchgereicht, dann muss ich mich nicht mit ZFS ohne GUI rumspielen und kann die ganzen integrierten Tools von TrueNAS verwenden. Das durchreichen der ZFS Pools stell ich mir damit schwieriger vor?

Da würde mich auch interessieren, warum am Host und nicht per TrueNAS. Mein Hintergedanke ist zB: Geht der Proxmox Host ein, installier ich ihn neu, restore ich einfach die TrueNAS VM, reiche es wieder durch und hab alles wieder am laufen wie vorher. Wäre das nicht die "sicherere" Lösung?

Zitat aus einem Post von Viper780
Würde auch auf den HBA gehen (bzw auf einen der Nachfolger)

Mit 8 Platten würde ich mir aber ein anderes Storage Konzept überlegen als alles in einen großen Pool zu werfen.

Warum kein Großer Pool? Ich hab 70% nicht so wichtige Daten und die 30% was übrig bleiben kann ich aufs NAS Sichern. Das ist genau was mich am Synology (1522+) gestört hat, dass es dort ein 108TB limit gibt. Deshalb möchte ich kein NAS mehr bzw. ist die "Eigenbaulösung" mit TrueNAS und Konsorten für mich praktischer.

Und ehrlich gesagt hatte ich auch vor Jahren ein Raid6 (eh der "Homeserver" den ich dir mal verkauft hab iirc), wo nie was kaputt ging. Ich denke nicht, dass ich mehr als ein Raid5/Z1 als Redundanz jemals brauchen werde.

Zitat aus einem Post von spunz
Du bindest dir die Truenas VM dann fix an den Host. Replikation, Failover und Backup sind dann nicht mehr so einfach möglich. Statt lokaler Mountpoints muss man immer den Umweg über Truenas gehen => da kann man sich Proxmox eigentlich auch sparen.

Es kommt aber wie immer auf den jeweiligen Anwendungsfall an.

Aber wär das wie oben beschrieben bzgl restore bei meinem Single System nicht einfacher ich Route den Controller durch und kann die Truenas vm dann immer wieder herstellen ohne den pool vom proxmox Host angreifen zu müssen bzw. unabhängig vom Host eine wiederherstellung machen?

spunz schrieb am 25.02.2025 um 12:36

Zitat aus einem Post von creative2k
Aber wär das wie oben beschrieben bzgl restore bei meinem Single System nicht einfacher ich Route den Controller durch und kann die Truenas vm dann immer wieder herstellen ohne den pool vom proxmox Host angreifen zu müssen bzw. unabhängig vom Host eine wiederherstellung machen?

Du musst eben zuerst mal dein Truenas wieder zum laufen bekommen. Wenn der Host sich um´s Storage kümmert wird der Pool idR automatisch importiert und ist sofort nutzbar.

Du kannst das natürlich auch zu deinem Vorteil nutzen indem du deine Truenas VM auf einer getrennten Platte betreibst. Dann reicht es wenn du einfach die VM Konfig zurück kopierst und sparst dir den Restore der Truenas VM.

Grundsätzlich stellt sich mMn trotzdem die Frage warum du überhaupt Proxmox verwendest? Für 2-3 Container oder VM´s würde Proxmox weglassen und alles in Truenas laufen lassen.

Viper780 schrieb am 25.02.2025 um 12:49

Ich hab 5 Platten in einem RaidZ1 und alles was mehr wird hätte ich Angst dass durch einen Fehler beim HBA, Netzteil oder mal ankommen beim Kabel es zum Ausfall mehrerer Platten kommt.

Aber verstehe deinen Punkt.
Wieviele SATA Ports hat dein Board?
Was machst du mit TrueNAS und was mit Proxmox?

Für eine handvoll shares und paar Docker würd ich auf ein plain debian (oder andere distri) gehen

davebastard schrieb am 25.02.2025 um 13:27

Zitat aus einem Post von Viper780
Für eine handvoll shares und paar Docker würd ich auf ein plain debian (oder andere distri) gehen

je nach wissenstand, wenn man mit linux ned fit is wird man mit truenas besser zurecht kommen

creative2k schrieb am 25.02.2025 um 13:35

Zitat aus einem Post von spunz
Du musst eben zuerst mal dein Truenas wieder zum laufen bekommen. Wenn der Host sich um´s Storage kümmert wird der Pool idR automatisch importiert und ist sofort nutzbar.

Du kannst das natürlich auch zu deinem Vorteil nutzen indem du deine Truenas VM auf einer getrennten Platte betreibst. Dann reicht es wenn du einfach die VM Konfig zurück kopierst und sparst dir den Restore der Truenas VM.

Grundsätzlich stellt sich mMn trotzdem die Frage warum du überhaupt Proxmox verwendest? Für 2-3 Container oder VM´s würde Proxmox weglassen und alles in Truenas laufen lassen.

Zitat aus einem Post von Viper780
Ich hab 5 Platten in einem RaidZ1 und alles was mehr wird hätte ich Angst dass durch einen Fehler beim HBA, Netzteil oder mal ankommen beim Kabel es zum Ausfall mehrerer Platten kommt.

Aber verstehe deinen Punkt.
Wieviele SATA Ports hat dein Board?
Was machst du mit TrueNAS und was mit Proxmox?

Für eine handvoll shares und paar Docker würd ich auf ein plain debian (oder andere distri) gehen

Also aktuell ist es so gebaut und konfiguriert:

Hardware:
https://geizhals.at/wishlists/3713132

CPU: AMD Ryzen 9 7950X3D, 16C/32T, 4.20-5.70GHz
Mobo: ASUS TUF Gaming X670E-Plus (90MB1BJ0-M0EAY0)
RAM: 2x Crucial Pro DIMM Kit 96GB, DDR5-5600, CL46-45-45, on-die ECC (CP2K48G56C46U5)
SSD1: Apacer AS2280P4 512GB, M.2 2280 / M-Key / PCIe 3.0 x4
SSD2+3: 2x Patriot Viper VP4300 2TB, M.2 2280 / M-Key / PCIe 4.0 x4, Kühlkörper (VP4300-2TBM28H)
SSD4: Fikwot FN955 2TB, M.2 2280 / M-Key / PCIe 4.0 x4, Kühlkörper
Netzwerkkarte: TP-Link 10G LAN-Adapter, RJ-45, PCIe 3.0 x4 (TX401)
CPU Kühler: Noctua NH-D15S
Gehäuse: Fractal Design Define XL R2, schwarz, schallgedämmt
Netzteil: Fractal Design Ion+ 2 Platinum 760W ATX 2.52

Kommt diese Woche:
8x Seagate Exos X - X24 24TB, 24/7, 512e/4Kn / 3.5" / SATA 6Gb/s
1x LSI Broadcom SAS 9305-16i, PCIe 3.0 x8

Auf SSD1 liegt der Proxmox Host, die SSD tut genau nix außer die ISOs Verwalten und das OS Booten.
Auf SSD2+3 liegen die VMs und Container
Auf SSD4 liegen die täglichen Backups welche dann aufs NAS verschoben werden zur Spiegelung

Aktuell habe ich auf Proxmox:

Container:
OpenVPN1 (Private Netz)
OpenVPN2 (Shared Netz)
Adguard
Stirling PDF
NGINX (aktuell nicht genutzt)

VMs:
WS2022-1 (Main VM für bestimmte Anwendungen)
WS2022-2 (Main VM für meinen Private Game Server)
WS2022-3 (aktuell Inaktiv, ehemals Game Server)
WS2022-4 (aktuell Inaktiv, ehemals Game Server)
WS2022-5 (aktuell Inaktiv, ehemals bestimmte Anwendungen/Testserver)
WS2022-6 (aktuell Inaktiv, Game Server)
pfSense (virtuelles Netz für Shared Server)
WS2022-7 (shared Server)
WS2022-8 (Interner Verwaltungsserver)

-> Warum Proxmox:
Ich fand da Handling und die Konfigurierbarkeit sehr gut und "einfach". Ob ich das alles mit TrueNAS so hinbekomme habe ich mir noch nicht angesehen, dass ich einfache VMs nutzen kann, ist mir bewusst, aber ob ich mir Virtuelle Switches anlegen kann usw. habe ich mir nicht angesehen. Ich fand auch die Sicherung und Wiederherstellung von den VMs sehr einfach. Und es läuft einfach alles bisher ohne Probleme!

Das Board hat nur 4x SATA bzw. 2x SATA wenn ich einen M.2 Slot mit 4x laufen lassen will. Daher sind die Onboard Ports fast Useless.

Den punkt mit "TrueNas wieder zum laufen bekommen" sehe bei einer VM Nutzung nicht so als Problem, oder übersehe ich hier etwas? Weil wenn der Proxmox Host eingeht, muss ich ja nur die VM auf den neuen Host zurückspielen, muss TrueNAS nicht neu konfigurieren und es sollte wieder alles laufen. Wenn der Truenas HOST aus welchen gründen auch immer eingeht (SSD Fehler), ist es doch im Prinzip das selbe, nur dass ich ggf. mehr mühe beim TrueNAS Config wiederherstellen hab (hab mich noch nicht mit dem Backup von TrueNAS befasst!).

Also für meinen Usecase, sofern das mit der HBA Karten Durchreichung so einfach geht, find ich die Proxmox HOST + TrueNAS VM Version als aktuell die bessere Alternative und müsste auch nicht alles neu machen (VMs umziehen, Backups neu einrichten usw.).

TrueNAS wird künftig hauptsächlich als SMB Share und ggf. Medienserver fungieren. Im Prinzip wird mein bestehendes Synology NAS abgelöst und zum Backup degradiert.

Edit.:

Zitat aus einem Post von davebastard
je nach wissenstand, wenn man mit linux ned fit is wird man mit truenas besser zurecht kommen

Ja das ist auch ein Punkt, auf Commandlines hab ich nicht so Lust

ZARO schrieb am 25.02.2025 um 15:26

Hi,

Aus eigener Erfahrung:

LSI HBA ist schön, bis du genau den selben suchen musst damit du Platten wieder einlesen kannst, ZFS kannst du auf jeder beliebiger Maschine einlesen.

Auf die Hardware ein Proxmox und in diesem den Storage mit ZFS bilden.
VM mit Truenas installieren (du brauchst eine separate Bootdisk, und diese ist dann schon am Proxmox gespiegelt) und benötigten Storage (nicht den gesamten) als VM Disk einbinden. Dieser kann dann bei bedarf erweitert werden.

Proxmox Backup Server aufsetzen, dieser kann die Truenas VM sehr gut sichern, kann mit Delta Backups umgehen, etc.

lg