Speicher-Lösung für TBytes

[langi465364]

Ich bin auf der Suche nach einer Lösung zum Speichern von 1, 10, 50 oder später 100 TB. Ich arbeite gerade an einem Projekt, wo in den folgenden Jahren immer größere Datenmengen entstehen. Nun sind wir auf der Suche (kleine Firma, nur 3 Entwickler) um die Daten (viele Benutzer - Dateien) dieses Projektes, zu speichern. Und zwar müssen Sie so gespeichert werden, dass sie Redundant sind und auch dann noch zu Verfügung stehen , wenn ein Rechner im Speichernetz ausfällt. (Kostengünstig)

Ich habe mich mal mit RAID's beschäftigt, allerdings haben die einen Nachteil, wenn der Rechner aus ist, ist auch das RAID aus. Dann fand ich einen Vorschlag im Netz, RAID's mit ENBD aufzubauen. Allerdings habe ich keine Ahnung ob mir das dann hilft, wenn der Rechner ausfällt, wo das RAID läuft. Kann man das RAID einfach auf einem anderen Rechner starten, bis der defekte Rechner repariert ist. Auch wäre es von Vorteil, wenn der Ersatzrechner automatisch dies übernehmen würde. (IP-Adressen Übernahme)

Eine anderen Vorschlag habe ich in dem Projekt OpenAFS gefunden. Soweit ich das verstanden habe, bietet das System eine implementiert Ausfallsicherung an. Hat jemand Erfahrung damit? Wie schwer wäre es, das aufzusetzen?

(Linux - Kenntnisse sind vorhanden)

Danke

[bigvic]

Hi,

Ich bin auf der Suche nach einer Lösung zum Speichern von 1, 10, 50 oder später 100 TB. Ich arbeite gerade an einem Projekt, wo in den folgenden Jahren immer größere Datenmengen entstehen. Nun sind wir auf der Suche (kleine Firma, nur 3 Entwickler) um die Daten (viele Benutzer - Dateien) dieses Projektes, zu speichern. Und zwar müssen Sie so gespeichert werden, dass sie Redundant sind und auch dann noch zu Verfügung stehen , wenn ein Rechner im Speichernetz ausfällt. (Kostengünstig)

hört sich für mich nach einer klassichen NAS lösung an.

Deine Rechner greifen via NFS auf ein zentrales Speichersystem zu. Die Applikation kann man damit problemlos clustern, da ja nur das NFS-filesystem bei einer Uebernahme gemountet werden muss.

Stell dir ein Netapp Filer hin (z.B. NetApp - Produkte - Storage Systems - FAS2000 - FAS2000 Serie) und gut ist. Bei der Datenmenge würde ich auf eine selbstgebastelte Lösung verzichten.

ciao,

vic

[langi465364]

Und wie mache ich das mit dem NAS wegen der Verfügbarkeit. Wie kann ich das Netz aufbauen, dass wenn das NAS defekt ist, ein anderes NAS die gleichen Daten hat (automatisch) und ausliefert. Gibt es dazu eine Netzwerk-RAID Lösung?

[DocInfra]

Brauchst du file- oder blockbasierten Speicher? Wie groß ist dein Budget? Je nach Anwendungsfall und benötigter Form an Speicher kannst du Storages von HP oder EMC² nehmen. NetApp Filer gehen auch, aber die bestechen eher durch Marketing als durch Leistung. Wenn du Verfügbarkeit möchtest, dann solltest du das ganze als gespiegelte Lösung auslegen. Aber nenn erstmal dein Budget. Wahrscheinlich hat sich das dann eh erledigt.

[bigvic]

Hi,

Und wie mache ich das mit dem NAS wegen der Verfügbarkeit. Wie kann ich das Netz aufbauen, dass wenn das NAS defekt ist, ein anderes NAS die gleichen Daten hat (automatisch) und ausliefert. Gibt es dazu eine Netzwerk-RAID Lösung?

vergiss mal das Raid - bei solchen Lösungen ist das Raid (also das abdecken des Ausfall einer Platte) schon integriert und du wählst nur noch aus welches du haben willst.

Den Ausfall eines NAS filers kannst du abdecken, indem du einen zweiten hinstellst und die Daten replizierst - am kostengünstigsten via IP.

NetApp Filer gehen auch, aber die bestechen eher durch Marketing als durch Leistung.

Ist eine unbelegte Einzelmeinung ohne Fakten gegen den Weltmarktführer im NAS-Bereich.

Wobei ich nicht sage, dass eine EMC² Celerra schlechter ist ...

ciao,

vic

[langi465364]

Wegen des Budgets, die erste Runde sollte so im Rahmen von 10 - 15.000 Euro bleiben. Mittelfristig kann das Budget für die Hardware ungefähr 30 - 40.000 Euro sein. Aber wie gesagt, leider besteht bisher keine Konsens darüber wie die Speicherung erfolgen soll, so dass da auch noch Budget-Korrekturen einfließen können.

[icefox]

Ich bin auf der Suche nach einer Lösung zum Speichern von 1, 10, 50 oder später 100 TB. Ich arbeite gerade an einem Projekt, wo in den folgenden Jahren immer größere Datenmengen entstehen. Nun sind wir auf der Suche (kleine Firma, nur 3 Entwickler) um die Daten (viele Benutzer - Dateien) dieses Projektes, zu speichern. Und zwar müssen Sie so gespeichert werden, dass sie Redundant sind und auch dann noch zu Verfügung stehen , wenn ein Rechner im Speichernetz ausfällt. (Kostengünstig)

Ich habe mich mal mit RAID's beschäftigt, allerdings haben die einen Nachteil, wenn der Rechner aus ist, ist auch das RAID aus. Dann fand ich einen Vorschlag im Netz, RAID's mit ENBD aufzubauen. Allerdings habe ich keine Ahnung ob mir das dann hilft, wenn der Rechner ausfällt, wo das RAID läuft. Kann man das RAID einfach auf einem anderen Rechner starten, bis der defekte Rechner repariert ist. Auch wäre es von Vorteil, wenn der Ersatzrechner automatisch dies übernehmen würde. (IP-Adressen Übernahme)

Eine anderen Vorschlag habe ich in dem Projekt OpenAFS gefunden. Soweit ich das verstanden habe, bietet das System eine implementiert Ausfallsicherung an. Hat jemand Erfahrung damit? Wie schwer wäre es, das aufzusetzen?

(Linux - Kenntnisse sind vorhanden)

Danke

Howdy,

Am besten nimmst du hierfür 2 Maschinsche (unters. Standorte) von HP oder DELL mit viele SATA Pladden.

machst dort dann jeweils dein RAID5 rein. CentOS mit iSCSI daemon drauf. Konfigurieren und den Speicherplatz als ganzes exportieren.

So, 3. Kiste braucht nur Platz für eigenes Sys ohne Nutzdaten. System greift auf beide iSCSI daemons zu und spiegelt diese mittels mdadm, partitionierst durch LVM.

UND exportiert die logical volumes wieder mittels iSCSI daemon.

So, nachdem das nicht redundant genug ist, stellst du eine 4. Maschine identisch und parallel zur 3. Maschine auf. Sollte Maschine 3 ausfallen, kann Maschine 4 die Arbeit übernehmen.

Was haben wir jetzt?

1. Massig Speicher

2. doppelte redundanz -> ausfallsicher gegenüber flut, komet und was da noch so kommen mag.

Was natürlich noch zu berücksichtigen ist, ist das Netzwerk bzw. die Anbindung der Maschinen. Unterhalb Gigabit würde ich das nicht planen.

Gruß und viel Spaß!

[langi465364]

Danke, bis hierher. Wir haben jetzt einmal mehrere NAS bestellt. Die NAS selber haben RAID5. Die NAS werden wir auf verschiedene Rechner mounten (ISCSI). So weit mir noch jemand anderes erklärt hat, gibt es auch eine Lösung für den Fall das ein Rechner ausfällt. Ein Notfall-Rechner mit der gleichen IP wie der Haupt-Rechner der automatisch einspringt wenn der Haupt-Rechner ausfällt. (Muss ich aber nochmal genau Recherchieren).

Anschließend werden wir das ganze mit einem Spiegel Raid auf die NAS verteilen.

[bigvic]

Danke, bis hierher. Wir haben jetzt einmal mehrere NAS bestellt. Die NAS selber haben RAID5. Die NAS werden wir auf verschiedene Rechner mounten (ISCSI). So weit mir noch jemand anderes erklärt hat, gibt es auch eine Lösung für den Fall das ein Rechner ausfällt. Ein Notfall-Rechner mit der gleichen IP wie der Haupt-Rechner der automatisch einspringt wenn der Haupt-Rechner ausfällt. (Muss ich aber nochmal genau Recherchieren).

Anschließend werden wir das ganze mit einem Spiegel Raid auf die NAS verteilen.

Wieso iSCSI? Eine gehypte Technologie die inzwischen zurecht wieder am sterben ist (persönliche Meinung). Ich würde entweder NFS/CIFS machen (file) oder eben gleich FC (block).

ciao,

vic