Proxmox VMs, Storage, usw.

davebastard

Vinyl-Sammler

Registered: Jun 2002
Location: wean
Posts: 12746

16.03.2025 - 10:28

aus den non-free-firmware repos von debian installieren wäre der einfachere Weg gewesen und ist auch für die Zukunft besser (kommende Kernelupdates usw.)

creative2k

F this

Registered: Jul 2002
Location: Vienna
Posts: 8592

28.03.2025 - 12:20

Zitat aus einem Post von davebastard
aus den non-free-firmware repos von debian installieren wäre der einfachere Weg gewesen und ist auch für die Zukunft besser (kommende Kernelupdates usw.)

Ich versteh bei sowas nur Bahnhof

. Ich schau mal wie lang es so läuft ich hoffe halt ned, dass ein Update was zerschießt :S.

Aktuell bin ich ja wieder bissl am experimentieren xP.

Hab mir ein TerraMaster D8 Hybrid geholt (DAS) und am NUC angesteckt und durchgereicht. Da merkt man aber dass die 4 Kerne schon bissl arbeiten müssen

. 4x 20TB Toshibas als Raid Z1 und TrueNAS nebem dem PBS installiert. Ich lass das jetzt mal so als Backup laufen, mal sehen. Speed ist halt grottig mit ~1,5-1,9GBit/s, aber fürs Backup erstmal wurscht.

Leider ist der Asus NUC beim Ram sehr wählerisch ... wollt nen 48GB Crucial reinhauen und er bootet gleich garnimmer

. Bleib ich halt bei 16GB, speibt er sich halt bissl an

Aber generell kann ich echt sagen, eure Empfehlung hier aus dem Forum mit Proxmox damals war die beste die ich je bekommen hab. Es ist einfach nur unglaublich praktisch und EZ.

Philipp

Here to stay

Registered: Jul 2001
Location: Wien
Posts: 2004

28.03.2025 - 13:30

Ja, die Intel-N-Prozessoren unterstützen anscheinend nur 16GB im Single-Channel.

creative2k

F this

Registered: Jul 2002
Location: Vienna
Posts: 8592

28.03.2025 - 17:56

Anscheinend ist da Intel heikler. Damals als die 96GB Kits ganz neu waren hab ich sie schon in die Minisforum PCs eingeworfen obwohl "nicht unterstützt" offiziell. In meinem alten NAS das selbe ... aber waren alles Ryzen CPUs vllt sind die da nicht so happig. Najo kann man nix machen.

creative2k

F this

Registered: Jul 2002
Location: Vienna
Posts: 8592

12.04.2025 - 09:51

Zitat aus einem Post von creative2k
Neue Woche, neue Experimente

Ich dachte mir, ich mach mir noch nen kleinen Proxmox Server für PBS und ggf. Container die keine Leistung brauchen und bin über diese HW gestolpert:

ASUS NUC 14 Essential Kit - Mill Canyon - RNUC14MNK2500002 ab € 206,90 (2025) | Preisvergleich Geizhals Österreich

Preisvergleich für ASUS NUC 14 Essential Kit - Mill Canyon - RNUC14MNK2500002 Produktinfo Typ: Mini-PC • Chipsatz: System-on-Chip (SoC) • Sockel: N/A • CPU: Intel N250, 0C+4c/4T, 1.80-3.80GHz, 6M… Barebones Testberichte Günstig kaufen

Link: geizhals.at

Verbrauch recht gering, 2.5GBit Lan, passt ja dachte ich mir… Bis ich beim installieren drauf gekommen bin, dass es eine richtig „tolle“ Realtek Karte ist die verbaut ist, welche nicht unterstützt wurde (hab beim kauf ned drauf geachtet xP). Naja jedenfalls hat mich das ein paar Stunden testen und Nachforschen gekostet, bis die lief .

Kurzfassung: USB->LAN Adapter angeschlossen, alle Updates gezogen, build essentials gezogen, linux headers gezogen, treiber von der realtek Seite gezogen auf nen usb stick, usb stick gemounted und files lokal kopiert, treiber kompiliert/installiert und schon ging es mit der Onboard Karte. (Klingt jetzt einfach aber für nen Linux Noob wie mich war das schon „umständlich“ , vorallem hätte ich keinen USB->LAN Adapter gehabt hätt ichs glaub aufgegeben )

Jedenfalls läuft der Knirps nun Tapfer und ich hoffe auch in weiterer Folge auf Dauer ohne Probleme

Also nach ein paar Wochen kann ich sagen, nachdem ich es auch mit dem Terramaster D8 Hybrid im Einsatz hatte:

Mit einer TrueNAS Install und ZFS über den USB mit 4 Platten tut er sich schon schwer, aber läuft mit den SATA Platten stabil. Das Terramaster D8 Hybrid wäre zwar super mit den m.2 Erweiterungen aber das machte dermaßen Probleme beim Durchreichen (m.2 error beim Read Write, disks fliegen raus) an TrueNAS dass ich es wieder zurück geschickt hab. Ich hab mir jetzt ein normales D4 geholt wo man nur 4 SATA Platten einbauen kann, weil mit m.2 funzte das einfach ned unter TrueNAS.

Nachdem mir der kleine NUC doch zu wenig Leistung für meine Spielereien hat, hab ich mir jetzt einfach ein Minisforum BD795i SE mit 7945HX bestellt. Da sollt die Leistung dann passen xP. Ne 10GBit Karte werd ich vorerst auch mal verbauen. Da gibts gerade die bei Amazon in Aktion (Coupon) um 60€ mit neuerem AQC113, mal sehen ob die unter Proxmox einfach läuft: https://amzn.eu/d/78WeqU0

Das is schon irgendwie ne Krankheit mit nem Homelab, mir fällt ständig was neues ein xP.

erlgrey

formerly known as der~erl

Registered: Aug 2002
Location: Wien
Posts: 4492

16.04.2025 - 12:21

Ich hab mir einfach einen HP EliteDesk 805 G8 SFF um 400€ geholt. (mit 16GB RAM (1DIMM)
Mit einem ryzen 5650pro stark genug um mehr als nur leichte container laufen lassen zu können, idelt irgendwo zwischen 12-18W.

Hat 2 (+1 A+E) M.2 Slots, 3 Sata ports.

Das HP Zubehör ist unverschämt teuer, aber einen low profile PCI-E gibt es ja auch noch.

Hab die Truenas Scale installation vom QNAP-TVS 463 dorthin übersiedelt, problemlos.
Drinnen ist derzeit nur eine M2 (sys + apps pool) und eine sata ssd. (apps pool mirror + data)

Kommen dann mit der Zeit noch mehr ssds rein und ein 2. 16GB DIMM.

creative2k

F this

Registered: Jul 2002
Location: Vienna
Posts: 8592

21.04.2025 - 18:41

Mal als kleines Update, wie es nun final aussieht, mit meinem „Backup“ Proxmox Server bzw. was es geworden ist. Ist bisschen eskaliert, wollt erst gar nicht so viel kaufen xP (Gehäuse war für 50€ im Angebot und dann naja..):

Gehäuse: Corsair 2000D RGB Airflow
Netzteil: Corsair SF750 Platinum
CPU und Board: Minisforum BD795i SE
CPU Lüfter: Noctua NF-A12
Speicher: Crucial SO-DIMM Kit 128GB, DDR5-5600, CL46-45-45
Netzwerk (vom CPU Lüfter belüftet): Kalea 10G m.2 Adapter
Bifurcation Karte mit 4x M.2, belegt mit:
1x Sata Controller: Silverstone ECS-07
2x SSDs (ZFS Mirror VM): Fikwot FN955 2TB

2x Sata SSDs (ZFS Mirror OS): Kingston DC600M 480GB
DAS: Terramaster D4-320 (10Gbit)
4x Sata HDDs (Backup Raid Z1): Toshiba Cloud-Scale Capacity MG10ACA 20TB

Jetzt läuft TrueNAS mit den 4 Platten im ZFS auch performant geht schon merklich schneller als mit dem NUC

(Wenn ich dem Proxmox Backup glauben darf, gehen ca. 4xxMB/s durch nachdem der Cache in TrueNAS voll ist)

Perfekt ist das BD795i SE nicht, man kann zwar viel einstellen, aber das Power Target wird nicht zuverlässig gehalten bzw bewirkt das Setting von Minisforum bzgl tdp garnix, im AMD OC Menü kann man aber ptt etc einstellen, aber gefühlt funktioniert das auch nicht perfekt bzw. ist ein gefrickel. Default darf die CPU 100 Watt ziehen, ich habs jetzt mit Settings von Reddit auf ca 70 Watt reglementiert, aber an der Steckdose hatte ich bei Last auch schon 130 Watt (exkl. HDDs). „Idle“ (Truenas + PBS ohne Kopiervorgänge) isser bei der Config bei ca. 50 Watt. Aber das waren nur ein paar schnelle Tests, mir war mal wichtig, dass alles mal läuft

Das Layout vom Board ist an sich Ok, bis auf die M.2 Slots, die sind viel zu nah beieinander. Wenn du 2 M.2 Karten mit Kühler verbauen willst, geht das schon nimmer und diese Halterungsstöpsel sind wackelig, wären mir Schrauben lieber gewesen.

Ich hab ja überlegt ob ich mir statt dem Corsair Gehäuse doch ein größeres Jonsbo holen soll, aber so isses jetzt auch praktisch weil ich das Terramaster einfach oben drauf stehen hab und es wenig Platz weg nimmt. Upgrade Möglichkeiten für die Zukunft hab ich auf jedenfalls genug mit bifurcation etc., das ist schon praktisch.

Also wer nen ITX Server bauen will und dem die TDP der CPU nicht zu hoch ist, go for it. Es gab übrigens mit der ganzen HW keine Probleme und Proxmox hat alles sofort erkannt!

Bearbeitet von creative2k am 21.04.2025, 19:02

McDeath98

Dark Rider

Registered: Jul 2000
Location: Schweiz
Posts: 728

12.05.2025 - 12:41

Mein System ist aktuell auch endlich fertig und in Betrieb.

Umzug von 7302 auf 4584PX
Supermicro H13SAE (leider keine 10GB)
128 GB DDR 5 3600 ECC (Ram wären 5200 aber akzeptiert das System nicht)
4 x 2 TB SSD für die Systeme (Raid 6)
4 x 20 TB HDD für Daten (Raid 5)
2 x 1 TB NVME Cache für beide Raids
Areca Raid Kontroller
Dual 10 GB Intel X550
T600 für Plex und Frigate ( Bastel aktuell noch and der Bewegungserkennung via GPU rum)

6 Windows Server VMs
5 LXC Container für Plex, Frigate, PiHole etc
4 aktive Linux VMs für Firewall, Telefonanlage etc.
4 VMs die ich zum testen verwende mit Windows und Linux Client, sowie OSX

<3 das System. Noch ca. 5 Stunden optimieren läuft es nun stabil mit ca. 130-135 Watt im Notmalbetrieb trotz Exchange und SQL Server

Habe auf ZFS Verzichtet, da mit der Ramverbrauch gegenüber den Vorteilen mit 60TB einfach zu enorm erscheint.

Beide Raids (SSD und HDD) laufen als Thin-LVM

Backup mit Veeam. die LXC mit Proxmox selber.
Veeam daher, da ich es definitiv bevorzuge, einzelne Mails und/oder Datensätze in der Datenbank wiederherzustellen statt einen kompletten Rollback machen zu müssen.

Geht mit dem Backup Agent erstaunlich gut.

Würde gern den stromverbrauch unter 100 Watt senken, aber es will einfach nicht. Stuck bei 130
Mit Windows hatte das gleiche System (Testweise installiert) zwischen 90 und 110 ohne eine optimierung.
Leider ist das der Nachteil von Server Boards. Die Möglichkeiten im Bios sind eher bescheiden.

Am Ende des Tages 60-70% Leistungssteigerung gegenüber dem *alte* System bei 40-45 Watt geringerem Stromverbrauch rechnet sich bei 24/7 definitiv.

Indigo

raub_UrhG_vergewaltiger

Registered: Mar 2001
Location: gigritzpotschn
Posts: 6703

12.05.2025 - 22:41

Zitat aus einem Post von McDeath98
Habe auf ZFS Verzichtet, da mit der Ramverbrauch gegenüber den Vorteilen mit 60TB einfach zu enorm erscheint.

wieviel RAM ZFS verbraucht entscheidest am ende des tages immer noch du...

wenn du ernsthaften storage betreiben kommst mmn. nicht an ZFS vorbei...

Viper780

Elder
Er ist tot, Jim!

Registered: Mar 2001
Location: Wien
Posts: 51167

12.05.2025 - 23:21

Bei einem Raid-Z1 mit 60TB wirst du mit 4-8GB RAM auskommen solang du kein DeDup einsetzt
Mit L2ARC kannst es noch weiter drücken und da dur eh NVMe Caches nur fürn Storage hast kannst auch gleich ein SLOG einrichten.

Ich Check aber deine Konfiguration überhaupt nicht.
Warum Raid-6 bei SSD für "Systeme" (ich nehme an das sind die VM und Container) und nicht RAID 10 oder einfach Single Disks mit Snapshot auf die andere SSD?

Storage Cache wirkt extrem überdimensioniert
Was bringt dir der Raid Controller in dem Setup oder rennt der als reiner SATA HBA?

spunz

Elder
Elder

Registered: Aug 2000
Location: achse des bösen
Posts: 11368

13.05.2025 - 07:17

Zitat aus einem Post von Indigo
wieviel RAM ZFS verbraucht entscheidest am ende des tages immer noch du...

wenn du ernsthaften storage betreiben kommst mmn. nicht an ZFS vorbei...

VM´s auf SSD`s würde ich bei Single-Hosts ggf mit Btrfs betreiben=> deutlich performanter.

Wobei ich Direct I/O aus Openzfs 2.3 noch nicht getestet habe.

McDeath98

Dark Rider

Registered: Jul 2000
Location: Schweiz
Posts: 728

13.05.2025 - 17:23

Zitat aus einem Post von Viper780
Bei einem Raid-Z1 mit 60TB wirst du mit 4-8GB RAM auskommen solang du kein DeDup einsetzt
Mit L2ARC kannst es noch weiter drücken und da dur eh NVMe Caches nur fürn Storage hast kannst auch gleich ein SLOG einrichten.

Ich Check aber deine Konfiguration überhaupt nicht.
Warum Raid-6 bei SSD für "Systeme" (ich nehme an das sind die VM und Container) und nicht RAID 10 oder einfach Single Disks mit Snapshot auf die andere SSD?

Storage Cache wirkt extrem überdimensioniert
Was bringt dir der Raid Controller in dem Setup oder rennt der als reiner SATA HBA?

Ist etwas falsch ausgedrückt.
Das SSD Raid ist für sämtliche Systemplatten. Also von allen Maschinen.
200 GB für Proxmox selber. Rest für alle Maschinen.
Ja. der Cache ist sicher überdimensioniert, aber die lagen noch rum und ich wusste nicht was damit machen.
In allen anderen Systemen sind grössere drin.

Raid 6 weil ich einfach gerne Sicherheit habe.
Wenn bei Raid 10 die falschen Platten ausfallen dann bringt dir das auch nix.
Der Speed ist dank dem Cache in allen Maschinen sensationell.

Ich hatte den Raid Kontroller und mag persönlich Hardware Raids.
Das Ding hat ein komplett eigenes Interface inkl. Benachrichtigung.
Sprich ich bekomme auch Mails über Ausfälle, auch wenn das System nicht läuft.
Auch unter Windows z.B. ist das genial, weil sämtliche Platten ( alles SATA ) inkl. Raid Kontroller einfach in ein neues System verbaut werden können und alles direkt läuft (div. Systemtreiber mal ausgenommen)

Ok. Das mit ZFS hab ich dann wohl falsch verstanden. Ich ging von 0.5 - 1 GB Ram pro TB Storage aus.
Naja. Beim nächsten System vielleicht

Aber was ist denn der grosse Vorteil von ZFS vs. LVM-Thin.
In meinen Tests war die Performance ähnlich wie das Hardware Raid 6.
Dafür aber 5-10 Watt höherer Stromverbrauch.

Deduplikation wäre sicher interessant. Vor allem bei der Menga an Servern.
Aber dass fasse ich mal ins Auge, wenn der Speicherplatz ausgeht.
Auslagern auf ne andere SSD oder das 2te LVM kann ich ja problemlos

Aber man lernt nie aus und die Wünsche ändern sich auch ständig.
Dann ist dass das nächste Ziel.

Bearbeitet von McDeath98 am 13.05.2025, 17:49

Indigo

raub_UrhG_vergewaltiger

Registered: Mar 2001
Location: gigritzpotschn
Posts: 6703

13.05.2025 - 20:40

Zitat aus einem Post von McDeath98
Aber was ist denn der grosse Vorteil von ZFS vs. LVM-Thin.

SNAPSHOTS!

Zitat aus einem Post von McDeath98
Ok. Das mit ZFS hab ich dann wohl falsch verstanden. Ich ging von 0.5 - 1 GB Ram pro TB Storage aus.
Naja. Beim nächsten System vielleicht

das ist die standardeinstellung, du kannst den cache aber auch selbst einstellen/limitieren, dann fällst halt schneller auf reine disk-performance runter

Zitat aus einem Post von spunz
VM´s auf SSD`s würde ich bei Single-Hosts ggf mit Btrfs betreiben=> deutlich performanter.

Wobei ich Direct I/O aus Openzfs 2.3 noch nicht getestet habe.

für VMs kann perforancemäßig ichs nicht sagen, aber meine letzten tests mit BTRFS als content storage waren eher durchwachsen

davebastard

Vinyl-Sammler

Registered: Jun 2002
Location: wean
Posts: 12746

13.05.2025 - 20:54

RAID Controller haben halt das Problem dass du wenn dir der eingeht du erst mal den selben wieder kaufen musst dass du das RAID wiederherstellen kannst, während du ZFS Platten einfach in irgend eine Maschine stecken und mit einer x beliebigen Linux distro drauf zugreifen kannst... mMn sind RAID controller für homeserver in wenigen fällen sinnvoll.

McDeath98

Dark Rider

Registered: Jul 2000
Location: Schweiz
Posts: 728

14.05.2025 - 17:25

Zitat aus einem Post von davebastard
RAID Controller haben halt das Problem dass du wenn dir der eingeht du erst mal den selben wieder kaufen musst dass du das RAID wiederherstellen kannst, während du ZFS Platten einfach in irgend eine Maschine stecken und mit einer x beliebigen Linux distro drauf zugreifen kannst... mMn sind RAID controller für homeserver in wenigen fällen sinnvoll.

Ich hab zuhause noch 2 Raidnkontroller und in Geschäft jederzeit Zugriff auf weitere.
Wechsel dauert 30 Sekunden.
Dann läuft alles wieder.

Ist bei Areca kein Problem.
Sogar unterschiedliche Seien sind untereinander kompatibel
Kann das Raid ohne Probleme auf einem Kontroller von 2010 starten. Musste ich sogar schon bei nen Kunden

davebastard Vinyl-Sammler Registered: Jun 2002 Location: wean Posts: 12746	16.03.2025 - 10:28 aus den non-free-firmware repos von debian installieren wäre der einfachere Weg gewesen und ist auch für die Zukunft besser (kommende Kernelupdates usw.)
creative2k F this Registered: Jul 2002 Location: Vienna Posts: 8592	28.03.2025 - 12:20 Zitat aus einem Post von davebastard aus den non-free-firmware repos von debian installieren wäre der einfachere Weg gewesen und ist auch für die Zukunft besser (kommende Kernelupdates usw.) Ich versteh bei sowas nur Bahnhof . Ich schau mal wie lang es so läuft ich hoffe halt ned, dass ein Update was zerschießt :S. Aktuell bin ich ja wieder bissl am experimentieren xP. Hab mir ein TerraMaster D8 Hybrid geholt (DAS) und am NUC angesteckt und durchgereicht. Da merkt man aber dass die 4 Kerne schon bissl arbeiten müssen . 4x 20TB Toshibas als Raid Z1 und TrueNAS nebem dem PBS installiert. Ich lass das jetzt mal so als Backup laufen, mal sehen. Speed ist halt grottig mit ~1,5-1,9GBit/s, aber fürs Backup erstmal wurscht. Leider ist der Asus NUC beim Ram sehr wählerisch ... wollt nen 48GB Crucial reinhauen und er bootet gleich garnimmer . Bleib ich halt bei 16GB, speibt er sich halt bissl an Aber generell kann ich echt sagen, eure Empfehlung hier aus dem Forum mit Proxmox damals war die beste die ich je bekommen hab. Es ist einfach nur unglaublich praktisch und EZ.
Philipp Here to stay Registered: Jul 2001 Location: Wien Posts: 2004	28.03.2025 - 13:30 Ja, die Intel-N-Prozessoren unterstützen anscheinend nur 16GB im Single-Channel.
creative2k F this Registered: Jul 2002 Location: Vienna Posts: 8592	28.03.2025 - 17:56 Anscheinend ist da Intel heikler. Damals als die 96GB Kits ganz neu waren hab ich sie schon in die Minisforum PCs eingeworfen obwohl "nicht unterstützt" offiziell. In meinem alten NAS das selbe ... aber waren alles Ryzen CPUs vllt sind die da nicht so happig. Najo kann man nix machen.
creative2k F this Registered: Jul 2002 Location: Vienna Posts: 8592	12.04.2025 - 09:51 Zitat aus einem Post von creative2k Neue Woche, neue Experimente Ich dachte mir, ich mach mir noch nen kleinen Proxmox Server für PBS und ggf. Container die keine Leistung brauchen und bin über diese HW gestolpert: ASUS NUC 14 Essential Kit - Mill Canyon - RNUC14MNK2500002 ab € 206,90 (2025) \| Preisvergleich Geizhals Österreich Preisvergleich für ASUS NUC 14 Essential Kit - Mill Canyon - RNUC14MNK2500002 Produktinfo Typ: Mini-PC • Chipsatz: System-on-Chip (SoC) • Sockel: N/A • CPU: Intel N250, 0C+4c/4T, 1.80-3.80GHz, 6M… Barebones Testberichte Günstig kaufen Link: geizhals.at Verbrauch recht gering, 2.5GBit Lan, passt ja dachte ich mir… Bis ich beim installieren drauf gekommen bin, dass es eine richtig „tolle“ Realtek Karte ist die verbaut ist, welche nicht unterstützt wurde (hab beim kauf ned drauf geachtet xP). Naja jedenfalls hat mich das ein paar Stunden testen und Nachforschen gekostet, bis die lief . Kurzfassung: USB->LAN Adapter angeschlossen, alle Updates gezogen, build essentials gezogen, linux headers gezogen, treiber von der realtek Seite gezogen auf nen usb stick, usb stick gemounted und files lokal kopiert, treiber kompiliert/installiert und schon ging es mit der Onboard Karte. (Klingt jetzt einfach aber für nen Linux Noob wie mich war das schon „umständlich“ , vorallem hätte ich keinen USB->LAN Adapter gehabt hätt ichs glaub aufgegeben ) Jedenfalls läuft der Knirps nun Tapfer und ich hoffe auch in weiterer Folge auf Dauer ohne Probleme Also nach ein paar Wochen kann ich sagen, nachdem ich es auch mit dem Terramaster D8 Hybrid im Einsatz hatte: Mit einer TrueNAS Install und ZFS über den USB mit 4 Platten tut er sich schon schwer, aber läuft mit den SATA Platten stabil. Das Terramaster D8 Hybrid wäre zwar super mit den m.2 Erweiterungen aber das machte dermaßen Probleme beim Durchreichen (m.2 error beim Read Write, disks fliegen raus) an TrueNAS dass ich es wieder zurück geschickt hab. Ich hab mir jetzt ein normales D4 geholt wo man nur 4 SATA Platten einbauen kann, weil mit m.2 funzte das einfach ned unter TrueNAS. Nachdem mir der kleine NUC doch zu wenig Leistung für meine Spielereien hat, hab ich mir jetzt einfach ein Minisforum BD795i SE mit 7945HX bestellt. Da sollt die Leistung dann passen xP. Ne 10GBit Karte werd ich vorerst auch mal verbauen. Da gibts gerade die bei Amazon in Aktion (Coupon) um 60€ mit neuerem AQC113, mal sehen ob die unter Proxmox einfach läuft: https://amzn.eu/d/78WeqU0 Das is schon irgendwie ne Krankheit mit nem Homelab, mir fällt ständig was neues ein xP.
erlgrey formerly known as der~erl Registered: Aug 2002 Location: Wien Posts: 4492	16.04.2025 - 12:21 Ich hab mir einfach einen HP EliteDesk 805 G8 SFF um 400€ geholt. (mit 16GB RAM (1DIMM) Mit einem ryzen 5650pro stark genug um mehr als nur leichte container laufen lassen zu können, idelt irgendwo zwischen 12-18W. Hat 2 (+1 A+E) M.2 Slots, 3 Sata ports. Das HP Zubehör ist unverschämt teuer, aber einen low profile PCI-E gibt es ja auch noch. Hab die Truenas Scale installation vom QNAP-TVS 463 dorthin übersiedelt, problemlos. Drinnen ist derzeit nur eine M2 (sys + apps pool) und eine sata ssd. (apps pool mirror + data) Kommen dann mit der Zeit noch mehr ssds rein und ein 2. 16GB DIMM.
creative2k F this Registered: Jul 2002 Location: Vienna Posts: 8592	21.04.2025 - 18:41 Mal als kleines Update, wie es nun final aussieht, mit meinem „Backup“ Proxmox Server bzw. was es geworden ist. Ist bisschen eskaliert, wollt erst gar nicht so viel kaufen xP (Gehäuse war für 50€ im Angebot und dann naja..): Gehäuse: Corsair 2000D RGB Airflow Netzteil: Corsair SF750 Platinum CPU und Board: Minisforum BD795i SE CPU Lüfter: Noctua NF-A12 Speicher: Crucial SO-DIMM Kit 128GB, DDR5-5600, CL46-45-45 Netzwerk (vom CPU Lüfter belüftet): Kalea 10G m.2 Adapter Bifurcation Karte mit 4x M.2, belegt mit: 1x Sata Controller: Silverstone ECS-07 2x SSDs (ZFS Mirror VM): Fikwot FN955 2TB 2x Sata SSDs (ZFS Mirror OS): Kingston DC600M 480GB DAS: Terramaster D4-320 (10Gbit) 4x Sata HDDs (Backup Raid Z1): Toshiba Cloud-Scale Capacity MG10ACA 20TB Jetzt läuft TrueNAS mit den 4 Platten im ZFS auch performant geht schon merklich schneller als mit dem NUC (Wenn ich dem Proxmox Backup glauben darf, gehen ca. 4xxMB/s durch nachdem der Cache in TrueNAS voll ist) Perfekt ist das BD795i SE nicht, man kann zwar viel einstellen, aber das Power Target wird nicht zuverlässig gehalten bzw bewirkt das Setting von Minisforum bzgl tdp garnix, im AMD OC Menü kann man aber ptt etc einstellen, aber gefühlt funktioniert das auch nicht perfekt bzw. ist ein gefrickel. Default darf die CPU 100 Watt ziehen, ich habs jetzt mit Settings von Reddit auf ca 70 Watt reglementiert, aber an der Steckdose hatte ich bei Last auch schon 130 Watt (exkl. HDDs). „Idle“ (Truenas + PBS ohne Kopiervorgänge) isser bei der Config bei ca. 50 Watt. Aber das waren nur ein paar schnelle Tests, mir war mal wichtig, dass alles mal läuft Das Layout vom Board ist an sich Ok, bis auf die M.2 Slots, die sind viel zu nah beieinander. Wenn du 2 M.2 Karten mit Kühler verbauen willst, geht das schon nimmer und diese Halterungsstöpsel sind wackelig, wären mir Schrauben lieber gewesen. Ich hab ja überlegt ob ich mir statt dem Corsair Gehäuse doch ein größeres Jonsbo holen soll, aber so isses jetzt auch praktisch weil ich das Terramaster einfach oben drauf stehen hab und es wenig Platz weg nimmt. Upgrade Möglichkeiten für die Zukunft hab ich auf jedenfalls genug mit bifurcation etc., das ist schon praktisch. Also wer nen ITX Server bauen will und dem die TDP der CPU nicht zu hoch ist, go for it. Es gab übrigens mit der ganzen HW keine Probleme und Proxmox hat alles sofort erkannt! Bearbeitet von creative2k am 21.04.2025, 19:02
McDeath98 Dark Rider Registered: Jul 2000 Location: Schweiz Posts: 728	12.05.2025 - 12:41 Mein System ist aktuell auch endlich fertig und in Betrieb. Umzug von 7302 auf 4584PX Supermicro H13SAE (leider keine 10GB) 128 GB DDR 5 3600 ECC (Ram wären 5200 aber akzeptiert das System nicht) 4 x 2 TB SSD für die Systeme (Raid 6) 4 x 20 TB HDD für Daten (Raid 5) 2 x 1 TB NVME Cache für beide Raids Areca Raid Kontroller Dual 10 GB Intel X550 T600 für Plex und Frigate ( Bastel aktuell noch and der Bewegungserkennung via GPU rum) 6 Windows Server VMs 5 LXC Container für Plex, Frigate, PiHole etc 4 aktive Linux VMs für Firewall, Telefonanlage etc. 4 VMs die ich zum testen verwende mit Windows und Linux Client, sowie OSX <3 das System. Noch ca. 5 Stunden optimieren läuft es nun stabil mit ca. 130-135 Watt im Notmalbetrieb trotz Exchange und SQL Server Habe auf ZFS Verzichtet, da mit der Ramverbrauch gegenüber den Vorteilen mit 60TB einfach zu enorm erscheint. Beide Raids (SSD und HDD) laufen als Thin-LVM Backup mit Veeam. die LXC mit Proxmox selber. Veeam daher, da ich es definitiv bevorzuge, einzelne Mails und/oder Datensätze in der Datenbank wiederherzustellen statt einen kompletten Rollback machen zu müssen. Geht mit dem Backup Agent erstaunlich gut. Würde gern den stromverbrauch unter 100 Watt senken, aber es will einfach nicht. Stuck bei 130 Mit Windows hatte das gleiche System (Testweise installiert) zwischen 90 und 110 ohne eine optimierung. Leider ist das der Nachteil von Server Boards. Die Möglichkeiten im Bios sind eher bescheiden. Am Ende des Tages 60-70% Leistungssteigerung gegenüber dem alte System bei 40-45 Watt geringerem Stromverbrauch rechnet sich bei 24/7 definitiv.
Indigo raub_UrhG_vergewaltiger Registered: Mar 2001 Location: gigritzpotschn Posts: 6703	12.05.2025 - 22:41 Zitat aus einem Post von McDeath98 Habe auf ZFS Verzichtet, da mit der Ramverbrauch gegenüber den Vorteilen mit 60TB einfach zu enorm erscheint. wieviel RAM ZFS verbraucht entscheidest am ende des tages immer noch du... wenn du ernsthaften storage betreiben kommst mmn. nicht an ZFS vorbei...
Viper780 Elder Er ist tot, Jim! Registered: Mar 2001 Location: Wien Posts: 51167	12.05.2025 - 23:21 Bei einem Raid-Z1 mit 60TB wirst du mit 4-8GB RAM auskommen solang du kein DeDup einsetzt Mit L2ARC kannst es noch weiter drücken und da dur eh NVMe Caches nur fürn Storage hast kannst auch gleich ein SLOG einrichten. Ich Check aber deine Konfiguration überhaupt nicht. Warum Raid-6 bei SSD für "Systeme" (ich nehme an das sind die VM und Container) und nicht RAID 10 oder einfach Single Disks mit Snapshot auf die andere SSD? Storage Cache wirkt extrem überdimensioniert Was bringt dir der Raid Controller in dem Setup oder rennt der als reiner SATA HBA?
spunz Elder Elder Registered: Aug 2000 Location: achse des bösen Posts: 11368	13.05.2025 - 07:17 Zitat aus einem Post von Indigo wieviel RAM ZFS verbraucht entscheidest am ende des tages immer noch du... wenn du ernsthaften storage betreiben kommst mmn. nicht an ZFS vorbei... VM´s auf SSD`s würde ich bei Single-Hosts ggf mit Btrfs betreiben=> deutlich performanter. Wobei ich Direct I/O aus Openzfs 2.3 noch nicht getestet habe.
McDeath98 Dark Rider Registered: Jul 2000 Location: Schweiz Posts: 728	13.05.2025 - 17:23 Zitat aus einem Post von Viper780 Bei einem Raid-Z1 mit 60TB wirst du mit 4-8GB RAM auskommen solang du kein DeDup einsetzt Mit L2ARC kannst es noch weiter drücken und da dur eh NVMe Caches nur fürn Storage hast kannst auch gleich ein SLOG einrichten. Ich Check aber deine Konfiguration überhaupt nicht. Warum Raid-6 bei SSD für "Systeme" (ich nehme an das sind die VM und Container) und nicht RAID 10 oder einfach Single Disks mit Snapshot auf die andere SSD? Storage Cache wirkt extrem überdimensioniert Was bringt dir der Raid Controller in dem Setup oder rennt der als reiner SATA HBA? Ist etwas falsch ausgedrückt. Das SSD Raid ist für sämtliche Systemplatten. Also von allen Maschinen. 200 GB für Proxmox selber. Rest für alle Maschinen. Ja. der Cache ist sicher überdimensioniert, aber die lagen noch rum und ich wusste nicht was damit machen. In allen anderen Systemen sind grössere drin. Raid 6 weil ich einfach gerne Sicherheit habe. Wenn bei Raid 10 die falschen Platten ausfallen dann bringt dir das auch nix. Der Speed ist dank dem Cache in allen Maschinen sensationell. Ich hatte den Raid Kontroller und mag persönlich Hardware Raids. Das Ding hat ein komplett eigenes Interface inkl. Benachrichtigung. Sprich ich bekomme auch Mails über Ausfälle, auch wenn das System nicht läuft. Auch unter Windows z.B. ist das genial, weil sämtliche Platten ( alles SATA ) inkl. Raid Kontroller einfach in ein neues System verbaut werden können und alles direkt läuft (div. Systemtreiber mal ausgenommen) Ok. Das mit ZFS hab ich dann wohl falsch verstanden. Ich ging von 0.5 - 1 GB Ram pro TB Storage aus. Naja. Beim nächsten System vielleicht Aber was ist denn der grosse Vorteil von ZFS vs. LVM-Thin. In meinen Tests war die Performance ähnlich wie das Hardware Raid 6. Dafür aber 5-10 Watt höherer Stromverbrauch. Deduplikation wäre sicher interessant. Vor allem bei der Menga an Servern. Aber dass fasse ich mal ins Auge, wenn der Speicherplatz ausgeht. Auslagern auf ne andere SSD oder das 2te LVM kann ich ja problemlos Aber man lernt nie aus und die Wünsche ändern sich auch ständig. Dann ist dass das nächste Ziel. Bearbeitet von McDeath98 am 13.05.2025, 17:49
Indigo raub_UrhG_vergewaltiger Registered: Mar 2001 Location: gigritzpotschn Posts: 6703	13.05.2025 - 20:40 Zitat aus einem Post von McDeath98 Aber was ist denn der grosse Vorteil von ZFS vs. LVM-Thin. SNAPSHOTS! Zitat aus einem Post von McDeath98 Ok. Das mit ZFS hab ich dann wohl falsch verstanden. Ich ging von 0.5 - 1 GB Ram pro TB Storage aus. Naja. Beim nächsten System vielleicht das ist die standardeinstellung, du kannst den cache aber auch selbst einstellen/limitieren, dann fällst halt schneller auf reine disk-performance runter Zitat aus einem Post von spunz VM´s auf SSD`s würde ich bei Single-Hosts ggf mit Btrfs betreiben=> deutlich performanter. Wobei ich Direct I/O aus Openzfs 2.3 noch nicht getestet habe. für VMs kann perforancemäßig ichs nicht sagen, aber meine letzten tests mit BTRFS als content storage waren eher durchwachsen
davebastard Vinyl-Sammler Registered: Jun 2002 Location: wean Posts: 12746	13.05.2025 - 20:54 RAID Controller haben halt das Problem dass du wenn dir der eingeht du erst mal den selben wieder kaufen musst dass du das RAID wiederherstellen kannst, während du ZFS Platten einfach in irgend eine Maschine stecken und mit einer x beliebigen Linux distro drauf zugreifen kannst... mMn sind RAID controller für homeserver in wenigen fällen sinnvoll.
McDeath98 Dark Rider Registered: Jul 2000 Location: Schweiz Posts: 728	14.05.2025 - 17:25 Zitat aus einem Post von davebastard RAID Controller haben halt das Problem dass du wenn dir der eingeht du erst mal den selben wieder kaufen musst dass du das RAID wiederherstellen kannst, während du ZFS Platten einfach in irgend eine Maschine stecken und mit einer x beliebigen Linux distro drauf zugreifen kannst... mMn sind RAID controller für homeserver in wenigen fällen sinnvoll. Ich hab zuhause noch 2 Raidnkontroller und in Geschäft jederzeit Zugriff auf weitere. Wechsel dauert 30 Sekunden. Dann läuft alles wieder. Ist bei Areca kein Problem. Sogar unterschiedliche Seien sind untereinander kompatibel Kann das Raid ohne Probleme auf einem Kontroller von 2010 starten. Musste ich sogar schon bei nen Kunden

Proxmox VMs, Storage, usw.

Forum Index > Software > Linux and other OS

davebastard

creative2k

Philipp

creative2k

creative2k

erlgrey

creative2k

McDeath98

Indigo

Viper780

spunz

McDeath98

Indigo

davebastard

McDeath98