Mein Einstieg in 10GbE LAN mit SFP+

Hammerhead Shark

Fleet Captain Special
★ Themenstarter ★
Mitglied seit
22.04.2008
Beiträge
346
Renomée
368
  • BOINC Pentathlon 2021
  • BOINC Pentathlon 2022
  • BOINC Pentathlon 2023
  • BOINC Pentathlon 2024
Inspiriert von erattes Erfahrungsbericht über seinen Einstieg in das 2,5 GbE LAN teile ich hier meine Erfahrungen mit 10GbE, und warum ich mich für SFP+ entschieden habe.


Nachdem ich meinen neuen Heimserver endlich Fertiggestellt hatte, sollte auch das alte 1G Netzwerk aufgerüstet werden, damit der neue Speicherplatz auch effektiv ausgenutzt werden kann. Trotz des hohen Einstiegpreises reizte es mich, zumindest Hauptrechner und Server über eine 10Gb Leitung zu verbinden.

Nach etwas Recherche und der Suche nach der passenden Hardware habe ich mich für SFP+ für die Realisierung der 10G Verbindung entschieden.
Der Anschaffungspreis für Netzwerkkarten und Switches gegenüber RJ45 ist bei 10G auf ähnlichem Niveau, häufig sogar etwas günstiger.
Der große Vorteil von SFP ist der sehr geringe Stromverbrauch bei Verwendung von passiven DAC (Direct Attached Copper) Kabeln.
Während RJ45 bei 10G bis zu 3 Watt pro Port ziehen kann (also bis zu 6 Watt pro Verbindung 😲), sollen es bei passiven DAC Kabeln nur um die 0,2 W sein.
Zudem erlaubt SFP+ verschiedene Transceiver zu nutzen, z.B. für optische Kabel. Wobei die Kosten pro Transceiver ja nach Art nicht zu unterschätzen sind und schonmal an die 60€ oder mehr betragen können.
Auch SFP+ zu RJ45 ist möglich, wobei dann allerdings wieder der hohe Stromverbrauch ins Spiel kommt.

DAC Kabel kosten mit 12 bis 16 € für 2m (Länge immer inklusive Transceiver) ungefähr das doppelte von CAT8 Kabeln gleicher Länge, aber bei den Kosten der restlichen Hardware fallen sie auch nicht groß ins Gewicht.
Auch sind sie nicht so robust wie RJ45 Kabel.



Switch:
Beim Switch habe ich mich für den QNAP QSW-2100 entschieden.
Mit 2x 10G SFP+ und 4x 2.5G Ethernet Ports liefert er eine gute und zukunftssichere Anschlussvielfalt, sowie die von mir momentan benötigten 6 Ports.
Zudem gehört er zu den günstigsten Switches mit SFP+ und 2.5G Ports.

Test:

Alternativen wären:
MikroTik Cloud Smart Switch CSS610
  • 2 SFP+ 10G
  • 8 RJ45 1G
  • managed !

ZyXEL XGS1010
  • 2 SFP+ 10g
  • 2 RJ45 2.5G
  • 8 RJ45 1G
  • Test:
  • Managed Variante: XGS1250

Netzwerkkarte:
Als Netzwerkkarten habe ich die Inter-Tech Argus ST-7211 genommen.
Mit ca 55 € ist sie deutlich günstiger als andere 10G PCIe Karten.
Die Karte hat eine PCIe2 x8 Anschluss, wird aber in den beiden Rechnern jeweils in den unteren x4 Slots betrieben.
PCIe2 x4 sind aber immer noch ca 2GB/s an Roh-Bandbreite, was vollkommen ausreichen sollte (außer eventuell für Vollduplex mit max Geschwindigkeit).

Kabel:
2x SFP+ passive DAC Kabel (je 2m)


Geschwindigkeits Test (PC <-> Server):

Lesen: Wenn ich auf Daten die auf der SSD liegen zugreife, schaffe ich konstante 1,07 GB/s. Beim Raid 1 sind es 180 bis 210 MB/s.
Schreiben: Beim schreiben über das Netzwerk auf die SSD sind es zwischen 600 und 750 MB/s. Beim Schreiben auf das Festplatten Raid sind über einen gewissen Zeitraum über 600 MB/s möglich, bevor er sich bei ca 150 MB/s einpendelt. Vermutlich kommt hier der Schreibcache der Festplatten zum Tragen. Für caching im RAM zu langsam und ich habe auch noch keinen SSD Cache eingerichtet.

getestet wurde mit einer ca. 20GB großen mkv Datei.

SFP+_10G_speed.jpg

Ich werde die Tage eventuell mal noch ein paar Benchmark Tools laufen lassen und die Ergebnisse dann hier präsentieren.

Fürs Erste bin ich jedenfalls sehr zufrieden mit der Leistung
 
Zuletzt bearbeitet:
Ich wärme den Thread noch mal auf da ich einen ähnlichen Schritt gemacht habe aber ich hatte diesen Thread übersehen und meine Erfahrungen in meinem Server Tagebuch gepostet.

Der Basteltrieb war stark und als Idee hatte ich die Netzbandbreite zu meinen Server zu erhöhen.

Ausgangspunkt war 2,5 GB Lan auf Basis von 2 Switchen:

Switch 1:

Switch 2:

Switche mit Port 8 vom Zyxel und Port 1 vom QNAP mit 2,5 GB Bandbreite verbunden, Bandbreite zum Server 2,5 GB Onboard Realtek auf Port 2 vom Zyxel.

Endstand (die Zwischenschritte verursacht durch die Fehlereingrenzung spare ich mir hier)

Netzwerkkarte im Server:

Switch 1:

Switch 2:

Server hängt mit der LAN Karte und einem 10m 10Gtek AOC Kabel am SFP+ Port 9 mit 10g (Porteinstellung am Zyxel auf SFP+)
Switche sind verbunden mit SFP+ Port 10 vom Zyxel (Porteinstellung am Zyxel auf DAC10G) mit 3m 10GTek DAC Kabel zu TRENDnet SFP+ Port 9

Ohne die Einstellung auf DAC10G für den Port 10 am Zyxel gab es keinen Link.

Damit Bandbreite zum Server 10G und und ebenso 10G zwischen den Switchen. Einen anderen Rechner mit 10G habe ich also nicht, die meisten haben schon 2,5 GB auf dem Mainboard.

Hauptzielmedium ist die NM790 NVMe SSD im Server, auf der SATA SSD liegen nur Mediendateien.
Gleichzeitiges Schreiben und Lesen mit NASTester von 2 Rechner zeigt das sie da auch beide ihre mögliche 2,5 Bandbreite
ausreizen können. Auch mit iperf3 zu gleichen Zeit.

Das heist ich kann hier nun mit ca 3 Rechnern gleichzeitig Backups, Images, VMs starten, Daten kopieren etc ohne da sie sich da in das Gehege kommen.

Probleme die dabei aufgetreten sind und zu erst nicht gelöst werden konnten weil nichts zum gegentesten vorhanden waren:

Digitus 10m DAC Kabel funktioniert nicht - mit keinem Switch. Das war aber erst klar nach dem ich andere Kabel und einen anderen Switch zum testen hatte.

Dazu hatte ich mir ein 10Gtek 0,5m DAC Kabel und das 10m 10GTek AOC Kabel gekauft und den folgenden Switch:


Chinaware für 68 € damals - der funktioniert wen es wen intressiert einwandfrei so wie der Zyxel jetzt auch. Liegt nun als Ersatz in der Schublade.
Kritisieren kann man das die LINK Leds der SFP+ Ports unglücklich unten sind und damit nicht sichtbar im Desktopbetrieb weil von den SFP+ Kabel verdeckt und das keine Füßchen zum aufkleben mit dabei sind. Er bietet noch einen Schalter für VLAN oder Link Aggreation. Aktuell liegt er bei 79.99 €.

Der Basteltrieb wollte aber gerne erstmalig einen managedbaren Switch weswegen es noch der Zyxel geworden ist.
Da muss ich mich noch mit den vielen Möglichkeiten beschäftigen.

Inbetriebnahme war problemlos:

- Switch an das LAN
- hat sich IP vom DHCP gezogen
- IP ermittelt und per Browser drauf
- Adminpasswort und SMNTP geändert
- feste IP gesetzt
- neuste Firmware aufgespielt (man kann zwischen 2 Firmware switchen)
- Nebula Cloud nicht eingerichtet und deaktiviert sonst blinkt immer eine LED (die Nebula Cloud von Zyxel will ich nicht nutzen)
- Switche getauscht und alles angeschlossen
- SFP+ Port 10 von SFP+ auf DAC10G gestellt da sonst kein LINK zwischen den Switchen
- Zeit angepasst.

Dann mal alle Clients angemacht und geschaut ob es wie erwartet passt. Zu mehr Spielereien war keine Zeit bisher.

Zweites Problem war mit der LAN Karte im Server, ich hatte das vorher auf einem baugleichen Mainboard in einem Testrechner ausprobiert - mit Installation der neuste Firmeware und Treiber direkt von Marvell - OS ist Window 11. Alles ok.

Im Server dann wurde Karte gefunden Treiberinstallation aber nicht erfolgreich und Karte auf Fehler. Wie sich rausstellte ist das Problem das der aktuelle Marvelltreiber mit Windows Server 2019 nicht funktioniert. Der Uralte von der ASUS HP schon und auch ein Neuerer von Stations Driver auch.

Unter dem Strich bin ist damit sehr zufrieden, irgendwann wird es dann weiter gehen mit 10G da Realtek nun mit dem RTL8127 einen 10 Gbe Kontroller am Start hat und dann es vermehrt nach aktuell 5 Gbe auf zukünftigen Mainboards 10 Gbe gibt und nicht auf den Highendplatinen und auch der Markt für LAN Karten dürfet dann aufgemischt werden.

Erste Switche mit nur 10 Gbe und mit RJ45 und SFP+ sind ja auch da und werden dann interessant.
 
Zuletzt bearbeitet:
Zurück
Oben Unten