"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

40Gbit zwischen Windows und Synology

mrhide 28.08.2020 - 13:06 8111 30
Posts

mrhide

Addicted
Avatar
Registered: Jun 2002
Location: Niederösterreic..
Posts: 376
Hallo zusammen,

ich möchte gerne mein Synology NAS, sowie meinen Plex-Media Server via 40Gbit QSFP+ ins Netzwerk einbinden.
Leider bekomme ich nicht mehr als 10Gbit angezeigt und auch nicht übertragen.

Jetzt wird sich sicher schon der ein oder andere denken, na deine Hardware wird es einfach nicht stemmen.
Sollte es wirklich Hardwareseitig ein Bottleneck geben bin ich einsichtig. Jedoch bin ich ziemlich sicher dass es nicht an der Leistung der Hardware liegt.

Zur Hardware:
Synology NAS ist ein DS3615xs samt Erweiterung. Xeon QC E3-1275L v3, 32GB, 24x WD Red 6TB im RAID 6.
Plex-Media Server: Intel 7900X, 10 Core, 64GB QuadChannel, ARC-1883ix16 mit 8x IronWolf 14TB im RAID 5, Intel Optane 900p, Windows 10 Pro N Workstation

(zur Auslastung: auf beiden Geräten ist während eines Kopiervorganges die CPU und RAM gelangweilt)

Switches: 2x MikroTik CRS354-48G-4S+2Q+RM, sowie 1x MikroTik CRS312-4C+8XG-RM
Netzwerkkarten neu: Mellanox ConnectX-3 Pro Dual Port

Bis lang lief alles über 10Gbit und die Kopierleistung lag sowohl von also auch zum Synology NAS immer auf Anschlag und konstant bei 1,15Gbit/s.
Jumbo Frames sind aktiviert und auf 9000 gestellt, Windows 10 Pro Workstation hat SMB Direct mit onboard. Verbunden wurde das ganze mit Original Mikrotik QSFP+ DAC.
Leider wird mir die Netzwerkverbindung nur mit 10Gbit im Windows angezeigt. Die letzten Mellanoxtreiber sind installiert. Im Mellanox Performance Tuning Tool ist alles auf Single Port Traffic gestellt. Ethernet ist eingestellt. IPs sind vergeben. Mit der Metrik habe ich mich auch schon gespielt.
Die Direktverbindung geht einwandfrei jedoch (nur) mit 10Gbit.
Die Probekopiervorgänge laufen auf der RAM Disk ab, welche DDR4-4000 im QuadChannel laufen. Also sollten auch mit 40Gbit kein Problem haben.

Hat sich jemand mit soetwas schon gespielt und eine Lösung gefunden hier die 40Gbit zum laufen zu bekommen.
Habe auf google und youtube schon lange gesucht. Meistens war das Ergebnis, dass Windows 10 (Consumer) es nicht kann auf Grund des fehlenden SMB Directs. Dies kann die Workstation Version jedoch. Da mir auch die Verbindung nur mit 10Gbit angezeigt wird denke ich mein Fehler fängt schon früher an. Muss ich bei den Netzwerkkarten etwas anderes einstellen?
Bin für Vorschläge sehr dankbar.

Freue mich auf eure Tipps.
lg
mrhide

mr.nice.

endlich fertig
Avatar
Registered: Jun 2004
Location: Wien
Posts: 6286
Der CRS312-4C+8XG-RM hat ja "nur" 10 Gbit SFP+, wie willst du damit einen 40 Gbit Link aufbauen?

mrhide

Addicted
Avatar
Registered: Jun 2002
Location: Niederösterreic..
Posts: 376
die CRS354-48G-4S+2Q+RM haben je 2 40Gbit Anschlüsse, daher war die Idee mit einem Port die beiden Switches untereinander zu verbinden und die beiden anderen einmal an das NAS und einmal an das Plex Teil.

The Prophet

Editor
Addicted
Avatar
Registered: May 2004
Location: Hinterbrühl
Posts: 553
Habe ich bei mir ähnlich am Laufen mit gleichem Mikrotik Switch und Mellanox Connect x3.

Hast du mal im SWOS (bzgl. Router OS) die Ports fix auf 40G gestellt? Haben die Mellanox die aktuellste und richtige Firmware oben?

mr.nice.

endlich fertig
Avatar
Registered: Jun 2004
Location: Wien
Posts: 6286
Wie Prophet schon gesagt hat, erst den Link-Status zwischen den Switches kontrollieren,
wenn dort die 40G anliegen, dann weiter die Mellanox-Karten troubleshooten.

Hampti

Overclocking Team Member
Avatar
Registered: Feb 2004
Location: Wien
Posts: 4149
Sorry für offtopic....darf ich mal fragen was du noch machst ausser plex mit dieser Hardware....wtf...nice

mrhide

Addicted
Avatar
Registered: Jun 2002
Location: Niederösterreic..
Posts: 376
Zitat aus einem Post von Hampti
Sorry für offtopic....darf ich mal fragen was du noch machst ausser plex mit dieser Hardware....wtf...nice

ich versuche einfach im Rahmen meiner Mittel neue Dinge auszuprobieren bzw nicht alltägliche Dinge zum Laufen zu bringen. In dem Fall brauche ich die 40Gbit nicht, aber wenn die Hardware das vielleicht könnte und theoretisch 40Gbit bietet versuche ich diese irgendwie zum Laufen zu bekommen. Nutzen tut mir das in Wahrheit nichts. So nach dem Motto: Braucht mans? Nein! Ist es cool wenns funktioniert? Ja!
Ist einfach ein Hobby...

smashIt

master of disaster
Avatar
Registered: Feb 2004
Location: OÖ
Posts: 4998
Zitat aus einem Post von mrhide
Bis lang lief alles über 10Gbit und die Kopierleistung lag sowohl von also auch zum Synology NAS immer auf Anschlag und konstant bei 1,15Gbit/s.

da ist bereits hopfen und malz verloren :p

COLOSSUS

Administrator
Frickler
Avatar
Registered: Dec 2000
Location: ~
Posts: 11890
Schon mal Deine Kiste mit einem GNU/Linux gebootet und geschaut, ob da laut ethtool 40GBit/s ausgehandelt werden (koennen)? Dann koenntest Du ein Treiberproblem mal weitgehend ausschlieszen.

Ich koennte mir auch vorstellen, dass ein nicht-Server-Windows einfach keine Ethernet-Bandbreite > 10GBit/s unterstuetzen will.

Viper780

Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 48757
Ich glaub ich muss mir die Komponenten mal genauer anschauen. 2Gbit ist langsam langweilig.

NiL_FisK|Urd

Addicted
Avatar
Registered: Dec 2017
Location: Wien
Posts: 450
Die Mellanox Connect-X3 bekommt man relativ günstig auf ebay oder aliexpress (aus alten servern)

spunz

Super Moderator
Super Moderator
Avatar
Registered: Aug 2000
Location: achse des bösen
Posts: 11109
Welche Module/Kabel sind in Verwendung?

Crash Override

BOfH
Registered: Jun 2005
Location: Germany
Posts: 2951
und welche Mellanox ConnectX-3 Pro Dual Port genau? Die gibt es nämlich auch in 10G only.

The Prophet

Editor
Addicted
Avatar
Registered: May 2004
Location: Hinterbrühl
Posts: 553
Zitat aus einem Post von COLOSSUS
Schon mal Deine Kiste mit einem GNU/Linux gebootet und geschaut, ob da laut ethtool 40GBit/s ausgehandelt werden (koennen)? Dann koenntest Du ein Treiberproblem mal weitgehend ausschlieszen.

Ich koennte mir auch vorstellen, dass ein nicht-Server-Windows einfach keine Ethernet-Bandbreite > 10GBit/s unterstuetzen will.

In Windows 10 geht 40/56/100Gbit problemlos.

mrhide

Addicted
Avatar
Registered: Jun 2002
Location: Niederösterreic..
Posts: 376
so...habe mich gestern nochmal dran gemacht und alles ab und neu angesteckt sowie die Switches auf die letzte Firmware hochgezogen. Auch die Mellanox Karten (MCX314A-BCCT weil die Frage kam) nochmal von den Treibern befreit und neu Installiert.
Siehe da wir haben eine 40Gbit Verbindung.
Von Plex-Server > Switch1 > Switch2 > NAS
click to enlarge click to enlarge

Die SMB Einstellungen sowie das Networkthrottling habe ich wie folgt eingestellt:
click to enlargeclick to enlarge

Vom Windows Gerät kann ich mit schöner Geschwindigkeit aufs NAS kopieren:
click to enlarge
Mehr können die drehenden Platten dann wohl nicht. Ist aber auch vom Mikrotik aus beobachtet minimal mehr als die 10Gbit. Geht während des Vorganges dann doch manchmal auf 14Gbit-12Gbit rauf. Wie gesagt wichtig ist mir eigentlich nur dass es geht. Dass ich mit den WDs keinen Benchmarkrekord aufstelle war mir von vornherein klar.

Vom NAS weg Richtung Windows hats noch etwas...
click to enlarge

Vom NAS lesen ging mit den X550 10Gbit Netzwerkkarten deutlich flotter.
SSDs zum Testen am NAS habe ich leider nicht bzw keinen Platz im NAS.

Was auch noch etwas seltsam ist, ich kann vom Mikrotik Switch Richtung Windows Gerät nur pingen wenn ich die Windows Firewall abschalte. Dann klappt die Verbindung einwandfrei. Schalte ich die Firewall ein sehe ich sofort wie der Dauerping abbricht.
Hat hierzu jemand eine Idee?
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz