Trotz Gbit Lan langsames kopieren

[Unclebence]

hallo miteinander,

Folgendes Problem:

ESX Server Vers. 3.5

2x Windows Server 2003

2 verschiedene virtuelle Switche

So:

Wenn Ich etwas lokal kopier: 66,9 MB/s schreiben und 774 MB/s Lesen

Wenn Ich übers Netz kopier: 18,9 MB/s schreiben und 21,6 MB/s lesen

TCP / IP Perf test ergab:

Paket mit 32 Kbytes:

Transfer: 76 MB/s und Recieve 107 MB/s

Woran kann es liegen, das ich trotz GBit Lan, übers Netz nur so langsam kopieren kann?

(Geschwindigkeiten wurden mit einem und dem selben File gemessen und mit selbem Tool)

im Prinzip sieht es doch so aus:

Platte --> Filesystem (NTFS) --> SMB --> TCP/IP

also ist es entweder ein Windows Bug, oder eine Einstellung im SMB..

habt ihr irgendeine IDEE?

mfG

Unclebence

[geloescht_Muchacho-Man]

Ich hätte spontan gesagt das das Protokoll nicht in der Lage ist schneller zu Arbeiten. Wäre zumindest logischer als gleich Windows dafür verantwortlich zu machen

[Unclebence]

Reine vermutung, oder mit fakten belegbar?

meiner Meinung nach, sollte das SMB Protokoll höhere Datentransferraten als 30 MB/s erreichen, oder? und TCP/IP Sowieso, also wie war das gemeint?

[Freak One]

Welche SMB Version nutzt du? Wenn es noch die 1.0 ist, dann zieh dir mal die 2.0.

Quelle: Wiseway.de

Die Überlegenheit gegenüber SMB 1.0 besteht mit dem neuen SMB 2.0 in Windows Server 2008 nicht zuletzt darin, dass hier E/A-Pipelining implementiert ist, wohingegen bei der alten Version die Ein- und Ausgaben für eine Datei nacheinander ausgeführt wurden. Dabei führt SMB 2.0 jeweils eine Prüfung durch, um festzustellen, wie viel Speicher des Servers von dem Client für die verbleibenden Ein- und Ausgaben gebraucht wird. Auf diese Weise kann das neue SMB-Protokoll bestimmen, wie weit das Pipelining gehen muss.

Nur ne Idee!

[Unclebence]

Idee hört sich gut an, würde auch bestimmt was bringen, aber SMB 2.0 is Windows Server 2k8 und Vista, ich bewege mich leider nur auf 2 2003er Servern auf nem ESX.

[dgr243]

Was für nen Netz liegt denn dazwischen?

Nur nen Stücken Kabel? Oder aktive Netzwerkkomponenten?

Jumbo MTU aktiv?

TCP Offloading aktiv?

und und und. Fehler nicht nur auf Layer 3 and above suchen

[Unclebence]

Was für nen Netz liegt denn dazwischen?

Nur nen Stücken Kabel? Oder aktive Netzwerkkomponenten?

Jumbo MTU aktiv?

TCP Offloading aktiv?

und und und. Fehler nicht nur auf Layer 3 and above suchen

naja Netz: 50 cm GBit Kabel von virtual switch zu virtual switch.

Mit Jumbo MTU und TCP Offloading habe ich mich noch nicht befasst, ich dachte ich fang die Problemsuche mal ganz oben an ; )

was hat es denn mit dem Jumbo MTU und dem TCP Offloading auf sich?

mfG

Unclebence

[Crash2001]

[...]

Wenn Ich etwas lokal kopier: 66,9 MB/s schreiben und 774 MB/s Lesen

Wenn Ich übers Netz kopier: 18,9 MB/s schreiben und 21,6 MB/s lesen[...]

Über welches Netz denn kopiert? Über das virtuelle zwischen den zwei virtuellen Maschinen, oder übers reale Netz?

Wenns über das virtuelle Netz zwischen den zwei virtuellen Maschinen ist, ists klar, dass es langsamer ist, da auf dem ESX-Server dann ja gleichezeitig die Daten gelesen und auch geschrieben werden müssen.

Beim TCP / IP Perf test werden die Daten ja afaik nicht gelesen und gespeichert, sondern es werden einfach nur Pakete übers Netz gejagt, ohne dass man den begrenzenden Faktor der Festplattenleistung hat.

[Unclebence]

Über welches Netz denn kopiert? Über das virtuelle zwischen den zwei virtuellen Maschinen, oder übers reale Netz?

Wenns über das virtuelle Netz zwischen den zwei virtuellen Maschinen ist, ists klar, dass es langsamer ist, da auf dem ESX-Server dann ja gleichezeitig die Daten gelesen und auch geschrieben werden müssen.

Beim TCP / IP Perf test werden die Daten ja afaik nicht gelesen und gespeichert, sondern es werden einfach nur Pakete übers Netz gejagt, ohne dass man den begrenzenden Faktor der Festplattenleistung hat.

Also das Netzt ist schon physisch (2 Virtuelle Switche) sonst wärs ja quatsch, ausserdem isses dann sogar noch schneller als übers Netz ; )

Bei dem TCP / IP perf test misst er trotzdem die Geschwindigkeit, die er von TCP/IP Schnittstelle im Server A auf TCP IP Schnittstelle im Server B, lesen und schreiben machen dann ja SMB oder NTFS...

Dieser test wurde gemacht, um ein Problem im Netzwerk selber (TCP/ IP <--> TCP /IP) auszuschließen.

Jumbo MTU muss leider ebenfalls ausgeschlossen werden, da dann auch ein Switch benötigt wird der MTU unterstützt und nicht fragmentiert...

noch irgendwelche Ideen, bzw tests mit denen ich das problem eingrenzen könnte.

Z.B. einen SMB speed test oder sowas...

kennt ihr da was?

mfG

Unclebence

[Crash2001]

Wenn das Netz physisch ist, was meinst du dann mit virtuellen Switchen? :confused:

[Freak One]

Also, ich steig da langsam auch nicht mehr durch.

Beschreibe mal bitte dein Konstrukt, läuft das alles in einer Hardware als virtuelles Netzwerk ab?

[Unclebence]

naja:

Ganz Oben steht der ESX Server(mit mehreren netzwerkkarten), da ich hier sehr viele Vm´s laufen habe, möchte ich nicht alle in ein netz, also nehme ich eine meiner vielen VM´s Und Sage im ESX:

VM 1, VM 2 und VM 6 kommen auf den Switch 1

VM 4, VM 5 und VM 99 kommen auf den Switch 2

Links sind die Virtuellen Maschinen, dann die jeweiligen virtuellen switche und dann die Netzwerkkarte.

kapiche?

Und ich kopiere vom einen auf den anderen Switch, sonst würde es alles innerhalb des ESX kopiert werden, und dann gehts auch ratzfatz... Ich will abert über mein GBit Lan schneller als mit 20 MB/s schreiben / lesen...

wenns keinen Sinn ergibt was ich schreibe, lassts mich wisse... ... evtl tapp ich ja schon die ganze zeit im Dunkeln...

mfG

Unclebence

Bearbeitet 19. August 2008 von Unclebence

[Freak One]

Ok, und wo ist da das physikalische Netz was Crash2001 erwähnte?

[Crash2001]

Also gehts doch alles über ein virtuelles Netz mit virtuellen Switchen und alle VMs liegen auf einem Server, oder? :confused:

Ich seh da extern nirgends gigabit LAN, sondern nur 100MBit/s-Netzwerkkarten, an die die virtuellen Switche gebunden sind.

Bearbeitet 19. August 2008 von Crash2001

[Unclebence]

also:

Alle VM´s auf einem Server

VM´s an verschiedenen Switchen und an Verschiedenen netzwerkkarten

Wie zum Teufel soll mein Protokoll aus der einen Netzwerkkarte des ESX in die andere komme? kann ja nich am backpanel entlang klettern und wieder in die andere karte einsteigen xDD

DAHER:

ESX1 --->virtual Switch1 --> NIC1 --> Physical Switch --> NIC2 --> Virtual Switch2 --> ESX1

puh, hab schon gedacht ich verstehe meinen eigenen kauderwällsch nicht mehr^^

Lösungsvorschläge!!! :bimei

[Freak One]

Du schreibst von deinem Giga Netz, deine VNIC`s sind doch aber nur mit 100 Full angegeben. Das ist doch dann schon der Flaschenhals.

[RipperFox]

Wenn Ich übers Netz kopier: 18,9 MB/s schreiben und 21,6 MB/s lesen

Das sind mehr schon mal deutlich mehr als 100Mbit/s..

Mein Schuss ins Blaue: Zu hohe IO- oder IRQ-Last auf dem ESX bei Zugriffen auf Netz und HDDs gleichzeitig.

Die eingebauten NICs + Festplatten hängen nicht zufällig irgendwie am gleichen Bus oder teilen sich Interrupts?

Btw: Meinste nich, im VMWare-Forum erfährste mehr?

Grüße

RipperFox

[Crash2001]

Es ist immer schneller, wenn man von einem Server lokal kopiert als über das physische Netzwerk. Sonst hast du nur noch Overhead, der die Datenübertragung bremst. Transportieren musst du die Daten ja so oder so und gelesen und geschrieben werden müssen sie auch. Das kann innerhalb des GSX-Servers laufen, oder aber auch über den externen Umweg.

Ich verstehe nicht so ganz, wieso du die 6 VMs auf 2 virtuelle Switche verteilst und die von denen du aufeinander zugreifen willst nicht alle an den gleichen Switch hängst. So würdest du dir den Umweg über extern sparen. Schneller gehts über extern wohl kaum.

Wenn sie sich nicht sehen sollen, nimm einfach verschiedene Subnets oder richte vlans auf dem Switch ein. (soweit ich weiss, geht dot1q darauf)

[hades]

TCP / IP Perf test ergab:

Paket mit 32 Kbytes:

Transfer: 76 MB/s und Recieve 107 MB/s

Iperf laeuft direkt auf TCP oder UDP (Layer 4) und ist kein Dateitransfer via SMB (Layer 5-7).

Iperf nutzt eigene Einstellungen. Stimmen denn die genutzten iperf-Einstellungen mit den Windows-Einstellungen ueberein?

Beschaeftige Dich mit TCP, dort speziell mit TCP Window (weitere Begriffe in dieser Richtung: Sliding Window, TCP Window Size, Receive Window/RWIN) sowie Slowstart.

Wenn alle Systeme Gigabit koennen und kein Flaschenhals mit Ethernet/FastEthernet dazwischen ist, dann kannst Du auch ueber den Einsatz von Jumbo-Frames nachdenken.

Offloading (RX/TX Checksum, TCP Segmentation Offloading) macht nur Sinn, wenn es die NIC-Hardware auch beherrscht. Ansonsten eher kontraproduktiv.

Und bitte auch genauer hinschreiben was gemeint ist: bit/s oder Byte/s.

[Unclebence]

Das Bild war von Google, das hatte ich nur eingefügt um einem poster die Switche zu zeigen, bei mir sieht das alles ganz gut aus soweit (wurde auch von 2 Senior Consultants MCP und VMware Certified specialist mit 80 milliarden Zertifizierungen eingerichtet, also da mach ich mir weniger sorgen, Frage ist nur: was kann Ursache für eine schlechte Übertragungsrate Sein?

[Unclebence]

Iperf laeuft direkt auf TCP oder UDP (Layer 4) und ist kein Dateitransfer via SMB (Layer 5-7).

Iperf nutzt eigene Einstellungen. Stimmen denn die genutzten iperf-Einstellungen mit den Windows-Einstellungen ueberein?

Beschaeftige Dich mit TCP, dort speziell mit TCP Window (weitere Begriffe in dieser Richtung: Sliding Window, TCP Window Size, Receive Window/RWIN) sowie Slowstart.

Wenn alle Systeme Gigabit koennen und kein Flaschenhals mit Ethernet/FastEthernet dazwischen ist, dann kannst Du auch ueber den Einsatz von Jumbo-Frames nachdenken.

Offloading (RX/TX Checksum, TCP Segmentation Offloading) macht nur Sinn, wenn es die NIC-Hardware auch beherrscht. Ansonsten eher kontraproduktiv.

Und bitte auch genauer hinschreiben was gemeint ist: bit/s oder Byte/s.

- bit/s Byte/s: Ja sorry, is mir auch eben aufgefallen werd mich dran halten.

- Alle Systeme können Gigabit

- Jumbo Frames muss ich mal durchtesten, ja aber da meinte mein Kollege schon irgendetwas von wegen das geht nicht... werds aber mal genauer in Angriff nehmen

- Offloading, was ist das genau, was macht es und wo stellt man es ein?

Die iperf Einstellungen stimmen, habs durchgechekt hatte das auch nur gemacht um alles ab layer 4 zu prüfen, und um Netzwerkprobleme auszuschließen. Die anderen Layer haben mit iperf nix zu tun is mir auch klar, aber wie kann ich zum bsp die SMB perf testen, da gibts doch keine Tools oder?

trotzdem schonmal danke für die vielen ideen und Anlaufspuren, jetzt hab ich wieder was zu tun ; )

mfG

Unclebence

mit Filezilla komm aich auch nich über 20 MB/s

[Freak One]

Warum fragst du dann nicht Deine Spezis?

"2 Senior Consultants MCP und VMware Certified specialist mit 80 milliarden Zertifizierungen"

Die kennen doch das ganze Konstrukt! :confused:

[Unclebence]

Es ist immer schneller, wenn man von einem Server lokal kopiert als über das physische Netzwerk. Sonst hast du nur noch Overhead, der die Datenübertragung bremst. Transportieren musst du die Daten ja so oder so und gelesen und geschrieben werden müssen sie auch. Das kann innerhalb des GSX-Servers laufen, oder aber auch über den externen Umweg.

Ich verstehe nicht so ganz, wieso du die 6 VMs auf 2 virtuelle Switche verteilst und die von denen du aufeinander zugreifen willst nicht alle an den gleichen Switch hängst. So würdest du dir den Umweg über extern sparen. Schneller gehts über extern wohl kaum.

Wenn sie sich nicht sehen sollen, nimm einfach verschiedene Subnets oder richte vlans auf dem Switch ein. (soweit ich weiss, geht dot1q darauf)

Ich habe die Maschinen nur im Büro auf einem ESX (testumgebung) beim Kunden sind das mehrere...

daher sry für fehlangabe...

mfG

unclebence

[Unclebence]

Warum fragst du dann nicht Deine Spezis?

"2 Senior Consultants MCP und VMware Certified specialist mit 80 milliarden Zertifizierungen"

Die kennen doch das ganze Konstrukt! :confused:

... Kopf --> Tisch

von denen kommt die Aufgabe ja, weil sie keine Zeit habe sich tagelang in Foren rumzusuchen und zu recherchieren, dazu sind Azubis doch da ; )

[Unclebence]

Das sind mehr schon mal deutlich mehr als 100Mbit/s..

Mein Schuss ins Blaue: Zu hohe IO- oder IRQ-Last auf dem ESX bei Zugriffen auf Netz und HDDs gleichzeitig.

Die eingebauten NICs + Festplatten hängen nicht zufällig irgendwie am gleichen Bus oder teilen sich Interrupts?

Btw: Meinste nich, im VMWare-Forum erfährste mehr?

Grüße

RipperFox

jaaaaaa, 100 Mbit sind ja auch gigabit -.-

giga=1000 Gbit = 1000 mbit = 1 Mbyte