Proxmox VMs, Storage, usw. - Seite 10

Seite 10 von 11 - Forum: Linux and other OS auf overclockers.at

URL: https://www.overclockers.at/linux/proxmox-vms-storage-usw_263133/page_10 - zur Vollversion wechseln!

aus den non-free-firmware repos von debian installieren wäre der einfachere Weg gewesen und ist auch für die Zukunft besser (kommende Kernelupdates usw.)

Zitat aus einem Post von davebastard

aus den non-free-firmware repos von debian installieren wäre der einfachere Weg gewesen und ist auch für die Zukunft besser (kommende Kernelupdates usw.)

Ja, die Intel-N-Prozessoren unterstützen anscheinend nur 16GB im Single-Channel.

Anscheinend ist da Intel heikler. Damals als die 96GB Kits ganz neu waren hab ich sie schon in die Minisforum PCs eingeworfen obwohl "nicht unterstützt" offiziell. In meinem alten NAS das selbe ... aber waren alles Ryzen CPUs vllt sind die da nicht so happig. Najo kann man nix machen.

Zitat aus einem Post von creative2k

Neue Woche, neue Experimente

Ich dachte mir, ich mach mir noch nen kleinen Proxmox Server für PBS und ggf. Container die keine Leistung brauchen und bin über diese HW gestolpert:

ASUS NUC 14 Essential Kit - Mill Canyon - RNUC14MNK2500002 ab € 206,90 (2025) | Preisvergleich Geizhals Österreich

Preisvergleich für ASUS NUC 14 Essential Kit - Mill Canyon - RNUC14MNK2500002 Produktinfo Typ: Mini-PC • Chipsatz: System-on-Chip (SoC) • Sockel: N/A • CPU: Intel N250, 0C+4c/4T, 1.80-3.80GHz, 6M… Barebones Testberichte Günstig kaufen

Link: geizhals.at

Verbrauch recht gering, 2.5GBit Lan, passt ja dachte ich mir… Bis ich beim installieren drauf gekommen bin, dass es eine richtig „tolle“ Realtek Karte ist die verbaut ist, welche nicht unterstützt wurde (hab beim kauf ned drauf geachtet xP). Naja jedenfalls hat mich das ein paar Stunden testen und Nachforschen gekostet, bis die lief .

Kurzfassung: USB->LAN Adapter angeschlossen, alle Updates gezogen, build essentials gezogen, linux headers gezogen, treiber von der realtek Seite gezogen auf nen usb stick, usb stick gemounted und files lokal kopiert, treiber kompiliert/installiert und schon ging es mit der Onboard Karte. (Klingt jetzt einfach aber für nen Linux Noob wie mich war das schon „umständlich“ , vorallem hätte ich keinen USB->LAN Adapter gehabt hätt ichs glaub aufgegeben )

Jedenfalls läuft der Knirps nun Tapfer und ich hoffe auch in weiterer Folge auf Dauer ohne Probleme

Ich hab mir einfach einen HP EliteDesk 805 G8 SFF um 400€ geholt. (mit 16GB RAM (1DIMM)
Mit einem ryzen 5650pro stark genug um mehr als nur leichte container laufen lassen zu können, idelt irgendwo zwischen 12-18W.

Hat 2 (+1 A+E) M.2 Slots, 3 Sata ports.

Das HP Zubehör ist unverschämt teuer, aber einen low profile PCI-E gibt es ja auch noch.


Hab die Truenas Scale installation vom QNAP-TVS 463 dorthin übersiedelt, problemlos.
Drinnen ist derzeit nur eine M2 (sys + apps pool) und eine sata ssd. (apps pool mirror + data)

Kommen dann mit der Zeit noch mehr ssds rein und ein 2. 16GB DIMM.

Mal als kleines Update, wie es nun final aussieht, mit meinem „Backup“ Proxmox Server bzw. was es geworden ist. Ist bisschen eskaliert, wollt erst gar nicht so viel kaufen xP (Gehäuse war für 50€ im Angebot und dann naja..):

Gehäuse: Corsair 2000D RGB Airflow
Netzteil: Corsair SF750 Platinum
CPU und Board: Minisforum BD795i SE
CPU Lüfter: Noctua NF-A12
Speicher: Crucial SO-DIMM Kit 128GB, DDR5-5600, CL46-45-45
Netzwerk (vom CPU Lüfter belüftet): Kalea 10G m.2 Adapter
Bifurcation Karte mit 4x M.2, belegt mit:
1x Sata Controller: Silverstone ECS-07
2x SSDs (ZFS Mirror VM): Fikwot FN955 2TB

2x Sata SSDs (ZFS Mirror OS): Kingston DC600M 480GB
DAS: Terramaster D4-320 (10Gbit)
4x Sata HDDs (Backup Raid Z1): Toshiba Cloud-Scale Capacity MG10ACA 20TB

Jetzt läuft TrueNAS mit den 4 Platten im ZFS auch performant geht schon merklich schneller als mit dem NUC (Wenn ich dem Proxmox Backup glauben darf, gehen ca. 4xxMB/s durch nachdem der Cache in TrueNAS voll ist)

Perfekt ist das BD795i SE nicht, man kann zwar viel einstellen, aber das Power Target wird nicht zuverlässig gehalten bzw bewirkt das Setting von Minisforum bzgl tdp garnix, im AMD OC Menü kann man aber ptt etc einstellen, aber gefühlt funktioniert das auch nicht perfekt bzw. ist ein gefrickel. Default darf die CPU 100 Watt ziehen, ich habs jetzt mit Settings von Reddit auf ca 70 Watt reglementiert, aber an der Steckdose hatte ich bei Last auch schon 130 Watt (exkl. HDDs). „Idle“ (Truenas + PBS ohne Kopiervorgänge) isser bei der Config bei ca. 50 Watt. Aber das waren nur ein paar schnelle Tests, mir war mal wichtig, dass alles mal läuft

Das Layout vom Board ist an sich Ok, bis auf die M.2 Slots, die sind viel zu nah beieinander. Wenn du 2 M.2 Karten mit Kühler verbauen willst, geht das schon nimmer und diese Halterungsstöpsel sind wackelig, wären mir Schrauben lieber gewesen.

Ich hab ja überlegt ob ich mir statt dem Corsair Gehäuse doch ein größeres Jonsbo holen soll, aber so isses jetzt auch praktisch weil ich das Terramaster einfach oben drauf stehen hab und es wenig Platz weg nimmt. Upgrade Möglichkeiten für die Zukunft hab ich auf jedenfalls genug mit bifurcation etc., das ist schon praktisch.

Also wer nen ITX Server bauen will und dem die TDP der CPU nicht zu hoch ist, go for it. Es gab übrigens mit der ganzen HW keine Probleme und Proxmox hat alles sofort erkannt!

Mein System ist aktuell auch endlich fertig und in Betrieb.

Umzug von 7302 auf 4584PX
Supermicro H13SAE (leider keine 10GB)
128 GB DDR 5 3600 ECC (Ram wären 5200 aber akzeptiert das System nicht)
4 x 2 TB SSD für die Systeme (Raid 6)
4 x 20 TB HDD für Daten (Raid 5)
2 x 1 TB NVME Cache für beide Raids
Areca Raid Kontroller
Dual 10 GB Intel X550
T600 für Plex und Frigate ( Bastel aktuell noch and der Bewegungserkennung via GPU rum)

6 Windows Server VMs
5 LXC Container für Plex, Frigate, PiHole etc
4 aktive Linux VMs für Firewall, Telefonanlage etc.
4 VMs die ich zum testen verwende mit Windows und Linux Client, sowie OSX

<3 das System. Noch ca. 5 Stunden optimieren läuft es nun stabil mit ca. 130-135 Watt im Notmalbetrieb trotz Exchange und SQL Server

Habe auf ZFS Verzichtet, da mit der Ramverbrauch gegenüber den Vorteilen mit 60TB einfach zu enorm erscheint.

Beide Raids (SSD und HDD) laufen als Thin-LVM

Backup mit Veeam. die LXC mit Proxmox selber.
Veeam daher, da ich es definitiv bevorzuge, einzelne Mails und/oder Datensätze in der Datenbank wiederherzustellen statt einen kompletten Rollback machen zu müssen.

Geht mit dem Backup Agent erstaunlich gut.

Würde gern den stromverbrauch unter 100 Watt senken, aber es will einfach nicht. Stuck bei 130
Mit Windows hatte das gleiche System (Testweise installiert) zwischen 90 und 110 ohne eine optimierung.
Leider ist das der Nachteil von Server Boards. Die Möglichkeiten im Bios sind eher bescheiden.

Am Ende des Tages 60-70% Leistungssteigerung gegenüber dem *alte* System bei 40-45 Watt geringerem Stromverbrauch rechnet sich bei 24/7 definitiv.

Zitat aus einem Post von McDeath98

Habe auf ZFS Verzichtet, da mit der Ramverbrauch gegenüber den Vorteilen mit 60TB einfach zu enorm erscheint.

Bei einem Raid-Z1 mit 60TB wirst du mit 4-8GB RAM auskommen solang du kein DeDup einsetzt
Mit L2ARC kannst es noch weiter drücken und da dur eh NVMe Caches nur fürn Storage hast kannst auch gleich ein SLOG einrichten.

Ich Check aber deine Konfiguration überhaupt nicht.
Warum Raid-6 bei SSD für "Systeme" (ich nehme an das sind die VM und Container) und nicht RAID 10 oder einfach Single Disks mit Snapshot auf die andere SSD?

Storage Cache wirkt extrem überdimensioniert
Was bringt dir der Raid Controller in dem Setup oder rennt der als reiner SATA HBA?

Zitat aus einem Post von Indigo

wieviel RAM ZFS verbraucht entscheidest am ende des tages immer noch du...

wenn du ernsthaften storage betreiben kommst mmn. nicht an ZFS vorbei...

Zitat aus einem Post von Viper780

Bei einem Raid-Z1 mit 60TB wirst du mit 4-8GB RAM auskommen solang du kein DeDup einsetzt
Mit L2ARC kannst es noch weiter drücken und da dur eh NVMe Caches nur fürn Storage hast kannst auch gleich ein SLOG einrichten.

Ich Check aber deine Konfiguration überhaupt nicht.
Warum Raid-6 bei SSD für "Systeme" (ich nehme an das sind die VM und Container) und nicht RAID 10 oder einfach Single Disks mit Snapshot auf die andere SSD?

Storage Cache wirkt extrem überdimensioniert
Was bringt dir der Raid Controller in dem Setup oder rennt der als reiner SATA HBA?

Zitat aus einem Post von McDeath98

Aber was ist denn der grosse Vorteil von ZFS vs. LVM-Thin.

Zitat aus einem Post von McDeath98

Ok. Das mit ZFS hab ich dann wohl falsch verstanden. Ich ging von 0.5 - 1 GB Ram pro TB Storage aus.
Naja. Beim nächsten System vielleicht

Zitat aus einem Post von spunz

VM´s auf SSD`s würde ich bei Single-Hosts ggf mit Btrfs betreiben=> deutlich performanter.

Wobei ich Direct I/O aus Openzfs 2.3 noch nicht getestet habe.

RAID Controller haben halt das Problem dass du wenn dir der eingeht du erst mal den selben wieder kaufen musst dass du das RAID wiederherstellen kannst, während du ZFS Platten einfach in irgend eine Maschine stecken und mit einer x beliebigen Linux distro drauf zugreifen kannst... mMn sind RAID controller für homeserver in wenigen fällen sinnvoll.

Zitat aus einem Post von davebastard

RAID Controller haben halt das Problem dass du wenn dir der eingeht du erst mal den selben wieder kaufen musst dass du das RAID wiederherstellen kannst, während du ZFS Platten einfach in irgend eine Maschine stecken und mit einer x beliebigen Linux distro drauf zugreifen kannst... mMn sind RAID controller für homeserver in wenigen fällen sinnvoll.

overclockers.at v4.thecommunity
© all rights reserved by overclockers.at 2000-2025