Raid Konfiguration oder doch JBOD

[Gateway_man]

Hallo,

nochmal ich.

Ich hatte mir ein NAS und 24 TB (8x3TB 24/7 NAS Platten) gekauft (Hier bereits erklärt).

Jetzt hab ich diverse Raid Konfigurationen durchgespielt und muss sagen ich bin mehr als schwer enttäuscht.

Eine einzelne Platte erreicht einzeln (30MB schreibend, 55 MB lesend).

Wenn ich das 6 Platten zu einem RAID10 konfiguriere bekomme ich beim schreiben von großen Dateien noch 20 MB/s.

Bei vielen kleinen Dateien bin ich fast vom Stuhl gefallen. (Leider habe ich mehr kleine Dateien als große!)

Das ist die Verbund-Konfiguration:

Ich brauche also für Verschiebung meines "Source Code" Ordners 5 Stunden.

Ich dachte RAID10 soll die Vorteile von 1 und 0 verbinden. Aber von Performance seh ich da überhaupt nichts.

Spannend ist auch folgendes:

Ich habe alle 8 Platten testweise mal zu nem RAID 0 zusammen geschlossen. Die Geschwindigkeiten von Lese -und Schreibvorgängen waren immernoch minimal geringer, als wenn ich eine Platte ohne Verbund verwende.

Da das meine ersten Erfahrungen mit RAID sind muss ich sagen. Entweder stimmt hier was gewaltig nicht, oder RAID ist für keinen Anwendungszweck zu gebrauchen. Denn mit 1,85 MB/s kann man sicher nicht produktiv arbeiten.

Ich überlege gerade ob ich die Platten per JBOD verbinde. Die Frage die ich hierzu habe ist, kann man auf die anderen Daten noch zugreifen, wenn eine Platte im Verbund ausfällt? Ich kenne mich da leider nicht so gut aus.

Falls jemandem noch eine Konfiguration neben JBOD vorschlagen möchte bin ich gerne bereit das zu testen. Zur Verfügung stehen mir 8x3TB Platten und der Controller beherrscht die RAID Level 0, 1, 5, 6 und 10. Mir geht es hauptsächlich um Performance. Auf die NAS sollen später noch die Festplatten diverser virtueller Maschinen die auch von dort aus geladen werden sollen.

LG

Gateway

[SilentDemise]

Sieht für mich nach einem ziemlich miesen Raid Controller aus. Dazu kommt das die von dir angegebenen Werte (30MB schreibend, 55 MB lesend) für eine einzelne Platte auch nicht das gelbe vom Ei sind. Persönlich bin ich weiterhin ein Freund von Raid 6, gerade wenn du dort Source Code ablegen willst. Trotzdem sollten dort noch höhere Lese / Schreibraten bei herauskommen.

Trotz allem: Kleine Dateien sind weiterhin ein großes Problem, gerade auf Netzlaufwerken, das Ein- und Auspacken in TCP/IP ist wie dir sicher bekannt ist keine besonders schnelle Sache.

Wenn es dir um Performance geht, ist ein NAS leider auch nicht die ideale Variante, vor allem nicht für virtuelle Maschinen :-/

[Gateway_man]

Hi SilentDemise.

Ja die Vermutung bzgl. des Raid Controllers hab ich langsam auch. Echt ärgerlich das ganze. Hab extra mehrere verschiedene Testberichte durchgelesen und angeblich eignet sich das Teil auch für kleine -bis mittelständige Unternehmen.

Ja bei der Platte musste ich abstriche mache. Entweder normale Platten oder für 24/7 ausgelegte Platten (fast alle nur 5400 U/m).

Und so günstige waren die Platten jetzt aucht nicht .

Hab hier noch zwei unbenutzte und verpackte ssd's rumliegen. evtl mach ich mal nen kleinen test um zu schauen ob der Raidcontroller wirklich müll ist. Ja das mit TCP/IP ist mir bewusst, allerdings sollte das nicht für einen Performanceverlust von 99,7 % verantwortlich sein.

Das mit der virutellen Maschine funktioniert überraschend gut (solange ich die vhd nicht auf eine Platte im Raid Verbund ablege).

Startet genauso schnell. Also das ist an sich kein Problem. Hab halt so keine Datensicherheit .

LG

Gateway

[Crash2001]

Wenn ich den anderen Thread lese, ist da die Sprache von WLAN... schiebst du also per WLAN irgendwas auf das an der FritzBox angeschlossene NAS? Leider verlierst du in diesem Thread kein Wort darüber, wie die Geräte miteinander verbunden sind und wie du "misst".

Falls ja.... auch wenn eine Verbindungsgeschwindigkeit von 1,3GBit/s fürs WLAN angegeben wird - die maximale Nutzdatenübertragungsrate liegt weit darunter (bei ca. 40%, was hier also 520MBit/s (= 65MB/s) entsprechen würde). Dazu kommt dann noch, dass es, falls andere WLANs in der Gegend auch noch senden sollten, noch zu Kollisionen, Signalaufhebungen, u.s.w. kommen kann, was die Leistung dann noch einmal bremsen kann. Das könnte durchaus der Grund dafür sein, dass du so schlechte Ergebnisse bekommst.

Sind die von dir gemessenen Datenraten also über WLAN entstanden, oder direkt über einen per Kabel verbundenen Rechner? Und wie genau hast du gemessen? Mit einem Tool, das Daten generiert, oder mittels direktem kopieren vom Laptop aus? Da könnte der begrenzende Faktor dann nämlich deine Laptop-Festplatte sein.

Angeblich soll das Teil ja bis zu 75MB/s schaffen (respektive 600MBit/s).

P.S.:

Der Anzeige, was Windows als Übertragungsrate anzeigt, kann man eh nicht trauen und zudem zeigt sie nicht die tatsächliche durchschnittliche Übertragungsrate an, sondern nur die ermittelte Datenrate in irgendeinem kurzen Zeitraum (wird afaik nirgends angegeben, was für ein Zeitraum).

Ich würde dir also raten, dir ein entsprechendes Tool zu besorgen, mit dem du das Ganze vernünftig testen kannst und dies dann über kabelgebundenes Netzwerk ausprobieren.

[Gateway_man]

Hi Crash,

die Konstellation sieht wie folg aus:

Rechner über W-Lan an die Fritzbox und die NAS hängt per Kabel an der Fritzbox.

Die W-Lan Transfergeschwindigkeit schwankt bei mir immer zwischen 600, 800 und den vollen 1,3 GBits/s. (Ja auch die erreiche ich, wenn auch nicht für lange xD. Meist pendelt er sich bei 807 Mbit/s ein)

Gegenwärtiges Geschwindigkeitsstand aus der Asus Connector App:

Die Fritz bestätigt das so auch:

Störfaktoren hab ich laut der Fritz im 5GHz Bereich keinen einzigen:

Selbst 600 MBit/s sollten mehr als genug sein.

Das mit den 1,85 MB pro Sekunde könnte schon in etwa hinkommen. Hab ja immerhin fast 5 Stunden für 16 GB benötigt.

Ich lade zumindest schneller runter als ich auf die NAS schreiben kann (über W-LAN). Hab gestern ein DB-Dump von einem meiner Root Server gezogen mit über 3MB/s (nicht MBit).

Kennst du mir ein Tool für die Prüfung empfehlen?

LG & Danke

Gateway

Bearbeitet 17. Februar 2014 von Gateway_man

[Crash2001]

Als Tool wäre z.B. iperf oder yarcgui.

Hier mehr dazu.

Oder du nimmst Netperf.

[Enno]

und zum testen mal den Rechner per Kabel direkt an die Fritzbox mit dran hängen.

b in der Fritzbox die Stromsparfunktionen auf den Netzwerkports deaktivieren.

Hat bei meiner dazu geführt, das nur 1 Port mit GBit lief und alle anderen auf 100MBit gedrosselt waren.

[Gateway_man]

Morgen Leute,

danke für eure Vorschläge.

Ich habe mittlerweile nochmal ein neues RAID konfiguriert.

Ich hatte ja bereits ein Raid 5, allerdings mit allen 8 Platten.

Jetzt hab ich ein RAID5 mit 5 Platten sowie einer Sicherheitsplatte.

Ich verschieb gerade eine Platte von einer virutellen Maschine (Größe 160 GB bei 25 MB/s).

Dauert ne gute Stunde. Mit der Geschwindigkeit könnte ich noch leben.

Allerdings habe ich auch hier wieder das Problem, das wenn beispielsweise meinen Source Code Ordner verschiebe, er wieder auf 6MB/s einbricht (glücklicherweise bleibt er bei 6MB stabil). Hier sind es eben tausende kleine Dateien anstatt wie bei der virtuellen Platte eine ganz große.

Ich werde jetzt trotzdem nochmal die Tools laufen lassen, jedoch sieht es für mich nicht danach aus als wäre das Netzwerk der Flaschenhals.

LG & Danke

Gateway

[Crash2001]

Als kleinen Tipp - mach dir doch einen Truecrypt-Container und pack da die ganzen Projekte mit den kleinen Dateien rein. Dann hast du das Problem (Header-Dateien, u.s.w.) nicht mehr, sondern es ist eine große Datei, die kopiert werden muss dann nur. Drauf zugreifen kann man wenn es gemounted ist aber wie auf ein normales Laufwerk.

Was hast du denn nun anders gemacht? Mal das Kabel angeschlossen, oder noch immer nicht? Du schreibst leider noch immer kein Wort dazu, ob du das nun mal ausprobiert hast und ob es eine Veränderung gab oder nicht, sondern du schreibst immer nur, was du verschiebst, aber nicht über welche Anbindung.

[Gateway_man]

Hi,

sry hatte in letzter Zeit wenig Zeit für Experimente. Ich habe es mit Kabel ausprobiert (Laptop an gestöpselt) und die Geschwindigkeit bleibt die selbe. Bin dann wieder auf W-Lan umgestiegen. Im Prinzip das was ich oben geschrieben habe. Ich habe eine vorteilhaftere RAID 5 Konfiguration genommen. Man sollte ja 3, 5 oder 9 Platten verwenden. Ich hatte vorher alle 8 Platten im RAID 5. Jetzt sind es nur noch 5 + 1 Sicherheitsplatte. Aber das Problem mit den kleinen Dateien scheint nicht lösbar (Zumindest ohne Containerlösungen ).

Hab bis jetzt nicht verstanden warum ihr euch alle auf Kabelverbindungen so fixiert . Ich hasse Kabelsalat (Sicher könnte ich das entsprechend verlegen, aber was für ein Aufwand ) und wenn man mir die Möglichkeit bietet sogar eine schneller Anbindung via Drahtlos zu bekommen, dann bin ich da sofort Feuer und Flamme für . Zumal wie bereits gesagt, sind bei mir sogar fast Labor Bedingungen . Nicht ein Störer in der nähe und fast immer maximale Anbindung. Sehr cool das ganze. Nie wieder Kabel .

Danke für eure Hilfe. Wenn ich mal etwas mehr Luft habe, werde ich testweise mal ne SSD einschieben und schauen wie diese performt. Dann werde ich auch gleich noch die Anwendungen testen.

LG

Gateway

[Crash2001]

[...]Hab bis jetzt nicht verstanden warum ihr euch alle auf Kabelverbindungen so fixiert[...]

Wir sind nicht drauf fixiert, aber um Probleme einzugrenzen, muss man erst einmal mögliche Ursachen ausgrenzen. WLAN war einer der Punkte, die man erst einmal ausgrenzen muss, um es als Problemursache ausschliessen zu können. Ganz ausschliessen würde ich die Geschwindigkeit aber noch immer nicht (siehe unten).

Ich hasse Kabelsalat [...] und wenn man mir die Möglichkeit bietet sogar eine schneller Anbindung via Drahtlos zu bekommen, dann bin ich da sofort Feuer und Flamme für[...]

Die Anbindung per Gigabit-WLAN ist nicht wirklich schneller als Gigabit LAN per Kabel, sondern langsamer und zudem anfälliger. Sie gaukelt nur durch den höheren Bruttowert eine höhere Datenübertragungsrate netto vor. Die Nutzdatenrate bei Gigabit WLAN ist jedoch einiges geringer als der angegebene Wert - grob liegt sie bei um die 40% nur. Somit hast du also bei einer 1,3GBit/s-WLAN-Verbindung keine 1,3GBit/s Nutzdatenrate, sondern eher um die 520MBit/s. Bei 600MBit/s ausgehandelter Verbindungsgeschwindigkeit (siehe in deinem Screenshot oben) bist du somit dann noch bei ca. 240 MBit/s Nutzdatenrate, was 30MB/s entspricht. Somit kann das WLAN-Netzwerk also sehr wohl der begrenzende Faktor sein.

Zudem treten bei WLAN höhere Latenzen auf (vor allem bei der Übertragung von vielen kleinen Dateien eher hinderlich) und es kann (auch bei annähernd Laborbedingungen) sein, dass Datenspakete bei der Übertragung verloren gehen und nochmal übertragen werden müssen. Zudem ist halt die Sache, dass WLAN ein shared Medium ist - im Gegensatz zum Kabel. Auf dem Kabel hat man immer die gleiche mögliche Übertragungsrate. Bei WLAN hingegen schwankt sie und schon eine laufende Mikrowelle, ein Babyphon, ein Sprechfunkgerät auf dem entsprechenden Band, aufgeladene Staubteilchen oder Fussel in der Luft, sonstige WLANs oder sonst irgendetwas kann die mögliche Datenübertragungsrate beeinflussen.

Was lernen wir daraus?

Kabel ist das einzig sinnvolle, wenn man auf gleichbleibende Geschwindigkeit und Stabilität aus ist.

Danke für eure Hilfe. Wenn ich mal etwas mehr Luft habe, werde ich testweise mal ne SSD einschieben und schauen wie diese performt. Dann werde ich auch gleich noch die Anwendungen testen.

[...]

Bei 600MBit/s Verbindungsgeschwindigkeit wirst du vermutlich dann auch keine höheren Werte erzielen können.

[Gateway_man]

@Crash:

Hm okay. Deine Argumente sind gut. Aber bei mir gewinnt Bequemlichkeit (auch gennant Faulheit). Zumal in meinem Fall

leider kein Performancevorteil sichtbar war. Oder zumindest kein fühlbarer .

Das einzige was für mich in Frage kommen könnte, wäre PowerLan. Allerdings gibts da noch keine "brauchbaren" Gigabit

Module (600Mbit/s max). Es gibt zwar einen Hersteller der ein Gigabit Modul vertreibt, aber laut testberichten geht das nur auf

zwei Meter Entfernung .

Wobei 600Mbit/s an sich auch ausreichend wären. Einen geschlossen Stromkreis hätte ich, könnte es also verwenden.

Was hällst du von PowerLan?

LG

Gateway

[Crash2001]

Hmmm... PowerLAN versuche ich wo ich kann zu vermeiden, da es wenn es stabil läuft zwar OK ist, aber es gibt halt immer wieder Probleme damit (bei den älteren oftmals wegen Überhitzung ausgefallen z.B.), dann braucht man manchmal Phasenkoppler, man hat im Stromnetz dann nicht nur zwischen den beiden Geräten, sondern generell noch Frequenzen mit drin vom DLAN, was ich nicht als ideal betrachte (z.B. bezüglich Stabilität von Netzteilen - manche mögen bestimmte Frequenzen nicht), u.s.w..

Ich bevorzuge halt aus Performance- und Stabilitätsgründen normales Netzwerkkabel oder Glasfaser, wo immer dies möglich ist.

WLAN ist zwar genau wie PowerLAN praktisch, aber man hat halt nie eine garantierte Verbindungsgeschwindigkeit und zudem zusätzliche Signalwandler / Medienwandler drin, die zusätzliche Fehlerquellen sind. Bei PowerLAN hat man immerhin noch den Vorteil, dass WLANs o.ä. es nicht stören.

Interessant wäre mal zu wissen, ob wirklich der Controller der Flaschenhals ist, oder ob es am Netzwerkanschluss des NAS liegt, dass nicht mehr rüber geht. Laut Tests soll es ja mehr können.

[gewünschter_Benutzername]

Aktiviere einfach mal den Schreibcache auf deinen Raid Controller meiner hat 512MB und ist sau schnell!

[SilentDemise]

Wirfst du jetzt sinnlos buzzwords in die threads?

[gewünschter_Benutzername]

Nein?!

Wenn er den Lese/ Schreibcache auf den Controller ativiert hat er eine viel größere Datendurchsatz Geschwindichkeit.

[Gateway_man]

Hallo leute.

Sorry das es so lange gedauert hat. Allerdings hatte ich für die NAS gar keine Zeit.

Spannende Sache das ganze. Ich hab jetzt testweise die NAS vom Router genommen und diese direkt per Kabel mit einem Rechner verbunden.

Und siehe da aus den 20 MB (max 25 MB) sind jetzt mindestens 78 bis Maximal 99 MB/s geworden .

Darüber bin ich echt happy .

Scheinbar ist tatsache der Router das Problem. Ich hab ja bereits W-Lan, sowie LAN (CAT 7) ausporbiert und bin nie über 30 MB/s gekommen. Ich habe auch alle Energiesparfunktionen im Router ausgeschalten.

Ziemlich schade bei einem Gerät von über 300 Euro. Da die NAS zwei Netzwerkanschlüsse hat, werde ich mir jetzt nen Switch kaufen und die wichtigen Rechner direkt mit der NAS verbinden.

Aber ich bin echt heilfroh das 25 MB/s nicht das absolute Maximum sind . Hatte heute 790 GB verschoben. Mir wurde angezeigt das es 9 Stunden dauert. Ich lies es 5 Stunden laufen und dann wars mir zu blöd und ich hab das mit der direkt Verbindung ausprobiert. Sehr angenehm wenn es plötzlich 3 bis fast 4 mal so schnell geht .

LG

Gateway

[gewünschter_Benutzername]

Was für ein Router?

[Crash2001]

@gewünschter_Benutzername:

Lies dir den Thread doch mal durch - dann siehst du welcher Router gemeint ist.

@ Gateway_man:

Du brauchst da aber dann keine zusätzlichen Kabel ziehen, sondern stöpsel einfach die Kabel statt auf den Router auf den Switch um und füge einen Uplink zum Router hinzu. So umgehst du die Bremse Router beim NAS-zugriff und beim Zugriff untereinander und hast sie nur da drin, wo es unvermeidlich ist (WLAN, Internetzugang).

[Gateway_man]

Besten Dank für die Hilfe .

[gewünschter_Benutzername]

aso Fritzbox haue raus den dreck