"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

NAS auf Proxmox-Basis sinnvoll?

maverick81 02.02.2022 - 11:14 29360 120
Posts

HVG

untitled
Avatar
Registered: Jun 2000
Location: NÖ
Posts: 5952
Zitat aus einem Post von dio
Ich habs glaub ich ein bisschen übertrieben, aber das ist es nach langem hin und her heute geworden :D:
https://geizhals.at/?cat=WL-2882252

Ich versuch grad rauszufinden, wie ich maximale zusätzliche SFP+ bzw. 2.5Gbit+ Ports an das Mainboard so günstig wie möglich bekomme. Tips?

danke für die inspiration, habs für mich bissl adaptiert weil ich wahrscheinlich auch niedrigere anforderungen hab :)

dio

Here to stay
Registered: Nov 2002
Location: Graz
Posts: 4788
Deshalb hab ich mich jetzt für den sauren Apfel entschieden und zu den eigentlich 3 geplanten Platten zum Start gleich noch eine vierte bestellt. Erweitern geht scheinbar, aber von raidz1 auf 2 upzugraden nicht.

Ja das mit den Gehäusen ist blöd, bin da ewig davor gesessen.

Viper780

Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 48858
In was für einem Modell ist dass Fujitsu D3644-B Mainboard eigentlich verbaut?
Nicht selten findet man komplett PC günstiger als das Mainboard Einzeln.

Hat das Mainboard überhaupt einen normalen ATX Anschluss? Die FuSi die ich gesehen habe hatten da einen speziellen ATX Stecker wo man einen Spannungswandler im Adapter brauchte

schizo

Produkt der Gesellschaft
Avatar
Registered: Feb 2003
Location: Vienna
Posts: 2493
Zitat aus einem Post von Viper780
In was für einem Modell ist dass Fujitsu D3644-B Mainboard eigentlich verbaut?
Nicht selten findet man komplett PC günstiger als das Mainboard Einzeln.

Hat das Mainboard überhaupt einen normalen ATX Anschluss? Die FuSi die ich gesehen habe hatten da einen speziellen ATX Stecker wo man einen Spannungswandler im Adapter brauchte

Stromanschlüsse: 1x 24-Pin ATX, 1x 4-Pin ATX12V
Ich finds btw. heftig, wieviel 10GBit NICs im letzten Jahr preislich verfallen sind (50-66%).

dio

Here to stay
Registered: Nov 2002
Location: Graz
Posts: 4788
Morgen kommt mein Spielzeug, 21 Kilo sinds scheinbar geworden... :D

dio

Here to stay
Registered: Nov 2002
Location: Graz
Posts: 4788
Es läuft soweit alles, ich hab aber nur ca. 80 Mbyte/s Schreib/Lesegeschwindigkeit und alle 4 Cores gehen auf bis zu 100% Auslastung, wenn ich über SMB Dateien hin und her schiebe. Zuerst hab ich gedacht, dass es an Samba liegt - aber auch, wenn ich in der CLI in der TrueNAS VM mit PV kopiere, ist die Performance unter aller Kritik und die CPU wird quasi voll ausgelastet.

Wie kann ich rausfinden, ob es am ZFS/raidz2 liegt oder am PCI Passthrough? Ich hab die CPU stressgetestet, Throttling sollte es nicht sein. Geht nicht wirklich über 60°C.

Mit iperf3 kann ich sowohl proxmox als auch die TrueNAS VM 100% auslasten, ohne dass die CPU Auslastung hochgeht.

click to enlargeclick to enlargeclick to enlargeclick to enlargeclick to enlargeclick to enlargeclick to enlarge

spunz

Super Moderator
Super Moderator
Avatar
Registered: Aug 2000
Location: achse des bösen
Posts: 11118
ein Raidz2 mit Verschlüsselung => da brauchst du was mit mehr Power.

dio

Here to stay
Registered: Nov 2002
Location: Graz
Posts: 4788
Oje, ist es wirklich die Verschlüsselung? Im Nachhinein kann ich sie nicht mehr entfernen, entsprechend nicht anders testen, oder?

spunz

Super Moderator
Super Moderator
Avatar
Registered: Aug 2000
Location: achse des bösen
Posts: 11118
Was genau willst du testen? Selbst ohne Verschlüsselung musst du bei ZFS mit entsprechender CPU Last rechnen, 80mb sind mMn eine super Wert mit aktiver Verschlüsselung.

COLOSSUS

Administrator
Frickler
Avatar
Registered: Dec 2000
Location: ~
Posts: 11900
What? Ich hab keine Erfahrung mit FDE auf ZFS, aber unter der Haube wird das ja auch AES-XTS oder was Vergleichbares sein, und dann schauen wir mal, was meine Popel-Dreckshardware (Celeron N3000) mit 2W Idle-Verbrauch mit diesen Ciphers auf die Beine stellt:

Code:
#     Algorithm |       Key |      Encryption |      Decryption
        aes-cbc        128b       264.5 MiB/s       367.8 MiB/s
    serpent-cbc        128b        29.7 MiB/s        87.3 MiB/s
    twofish-cbc        128b        71.2 MiB/s        79.9 MiB/s
        aes-cbc        256b       206.6 MiB/s       289.6 MiB/s
    serpent-cbc        256b        35.0 MiB/s        87.2 MiB/s
    twofish-cbc        256b        77.2 MiB/s        79.8 MiB/s
        aes-xts        256b       328.6 MiB/s       329.0 MiB/s
    serpent-xts        256b        75.2 MiB/s        83.4 MiB/s
    twofish-xts        256b        70.9 MiB/s        76.9 MiB/s
        aes-xts        512b       265.0 MiB/s       266.2 MiB/s
    serpent-xts        512b        84.8 MiB/s        83.5 MiB/s
    twofish-xts        512b        77.0 MiB/s        76.8 MiB/s

Zum Vergleich, mein Ryzen 5 3600:
Code:
#     Algorithm |       Key |      Encryption |      Decryption
        aes-cbc        128b      1225.2 MiB/s      3707.6 MiB/s
    serpent-cbc        128b       113.1 MiB/s       713.6 MiB/s
    twofish-cbc        128b       233.0 MiB/s       414.4 MiB/s
        aes-cbc        256b       937.7 MiB/s      3205.1 MiB/s
    serpent-cbc        256b       116.6 MiB/s       714.9 MiB/s
    twofish-cbc        256b       239.2 MiB/s       414.4 MiB/s
        aes-xts        256b      3151.8 MiB/s      3020.1 MiB/s
    serpent-xts        256b       622.2 MiB/s       618.7 MiB/s
    twofish-xts        256b       380.0 MiB/s       381.9 MiB/s
        aes-xts        512b      2647.7 MiB/s      2583.9 MiB/s
    serpent-xts        512b       621.6 MiB/s       613.8 MiB/s
    twofish-xts        512b       381.2 MiB/s       375.6 MiB/s

dio

Here to stay
Registered: Nov 2002
Location: Graz
Posts: 4788
Ich kann unverschlüsselte Datasets zusätzlich erstellen und hab das gerade getestet. Du scheinst recht zu haben, kann so zumindest das Gbit Netzwerk auslasten und die 4 Cores werden zu je max. 25% ausgelastet. Hab ich wohl zu viel erwartet :(

edit: lokal am unverschlüsselten Share kopieren kann ich jetzt mit ca. 450 Mb/s. Scheinbar kann ich mir die Verschlüsselung nicht leisten.
Bearbeitet von dio am 07.01.2023, 19:30

COLOSSUS

Administrator
Frickler
Avatar
Registered: Dec 2000
Location: ~
Posts: 11900
Es wuerde mich sehr interessieren, dem System beim Schwitzen per perf und Co. zusehen zu koennen, um zu verstehen, wo da welches Bottleneck durchquert werden muss. Ergibt fuer mich (aber wie gesagt im ZFS-Erfahrungsvakuum) keinen wirklichen Sinn, dass sich das so darstellt.

dio

Here to stay
Registered: Nov 2002
Location: Graz
Posts: 4788
Sehr gerne, falls du mal Zeit und Lust dazu hast und die Leidensfähigkeit mitbringst :D. Ich frag mich allerdings grade, ob es daran liegt, dass über proxmox AES-NI nicht durchgereicht wird?

Proxmox:
Code:
root@home-pve:/mnt/backup# grep -m1 -o aes /proc/cpuinfo 
aes

In der TrueNAS VM liefert das keinen Treffer.

COLOSSUS

Administrator
Frickler
Avatar
Registered: Dec 2000
Location: ~
Posts: 11900
Jo, dann hatscht deine QEMU-CPU AES per Software ab :D Kann man fixen - irgendwo in der Proxmox-UI kann man das Duchschleifen per CPU-Feature aktivieren, oder sonst einfach die CPU-Flags und -ID des Hosts 1:1 durchreichen lassen. Dann sollte das klappen nach einem Reboot des Guests.

dio

Here to stay
Registered: Nov 2002
Location: Graz
Posts: 4788
Ich hab genau das gerade getestet, ihr seids die besten :D. Hat anscheinend alles per Software entschlüsselt. Zumindest 1 Gigabit konnte ich mal auslasten bei ca. 10-15% auf allen Cores.

Nachtrag: KVM64 ist das Problem, man muss die CPU als "host" durchreichen. Eh logisch, aber mich Wappler hat das jetzt den Nachmittag gekostet
Bearbeitet von dio am 07.01.2023, 19:56
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz