Kleinere Projekte starten?

[afo]

Alte PC: Wie gesagt, sobald die einen Core2Duo haben und etwas RAM (3 besser 4 GB) reicht das für so einen Cluster aus. Da ist ja keine Last drauf. Es geht ja um die Konfiguration und Funktion.

Ja, AD ist Active Directory. Und ich meine komplett mit Gruppenrichtlinien, mehreren OUs für Benutzer und Rechner. Eventuell Anmeldeskripten und Softwareverteilung. Da musst du dir halt vorher einen Plan machen wie es am Ende aussehen soll.

Wenn du die Zeit und die Ressourcen hast lässt sich beides übrigens gut kombinieren. Ein AD brauchst du für den Cluster eh.

Bearbeitet 16. August 2011 von afo

[Max_Power]

Zeit habe ich genug, aber Rechner die diesen Anforderungen entsprechen nicht.. Core2Duo sond sie glaube ich, aber niemals haben die 3-4GB RAM.. höchstens 2 (was ich für einen riesen Krankenhausbetrieb eher traurig finde...) Gibts noch ne andere Lösung was ich noch zu dem Aufbau einer AD machen könnte? Und wie meinst du das mit Anmeldeskripten und Softwareverteilung? Soll ich mehrer Clients virtualisieren, damit das realisierbar ist?

Aber die Idee gefällt mir, denke dabei bleibe ich

[flashpixx]

Du kannst z.B. einen Cluster aus einfachen PC aufbauen, siehe Beowulf (Cluster) und wenn man dann mal selbst eine kleine Anwendung darauf programmieren / testen will, empfehle ich Message Passing Interface was man unter C++ als fertige Bibliothek unter Boost MPI verwenden kann.

Bearbeitet 16. August 2011 von flashpixx

[Max_Power]

Das ist ebenfalls eine nette Idee

Wenn ich das richtig verstehe teilt ein Beowulf Cluster unter mehreren Rechnern die anstehenden Prozesse auf, damit die Arbeit schneller verrichtet wird und erzeugt das Ergebnis auf einem Hauptrechner(?) oder gibt s keinen Hauptrechner auf dem das Ergebnis zu sehen ist?

[Max_Power]

Habe ich den Beowulf Cluster falsch verstanden :/ ?

[flashpixx]

Wenn ich das richtig verstehe teilt ein Beowulf Cluster unter mehreren Rechnern die anstehenden Prozesse auf, damit die Arbeit schneller verrichtet wird und erzeugt das Ergebnis auf einem Hauptrechner(?) oder gibt s keinen Hauptrechner auf dem das Ergebnis zu sehen ist?

Nein so ist das nicht. Der Cluster ist erst einmal ein Verbund aus einzelnen physikalischen Systemen, die vernetzt sind (Beowulf ist eine Möglichkeit, eine andere zur Vernetzung wäre z.B. InfiniBand , aber ich denke Du willst ja aus bestehender Hardware etwas zusammen bauen und da würde ein Ethernet reichen, das die Rechner vernetzt).

Auf jedem Knoten läuft dann ein System das sich eben "MPI" nennt, das ist ne Bibliothek, so dass man eben mit jedem Knoten kommunizieren kann. Grade bei Clustersteuerung benötigt man noch diverse andere Operationen (z.b. Kollektivoperationen, die z.B. Daten einsammeln etc).

Mit Hilfe dieser Bibliothek kann man dann ein Programm entwickeln, dass dann parallel arbeitet, das sieht unter Linux real dann so aus

mpiexec -np 5 ./myprogram

Damit würde ich das Programm "myprogram" auf 5 CPUs parallel rechnen lassen. Natürlich muss dann im Programm entsprechend codiert werden, wo und wie gerechnet werden soll und wohin Daten ggf geschickt werden müssen. Bei so einem Aufbau muss man natürlich sich auch überlegen, wie man zentral z.B. Daten hält, denn ggf muss man ja auf jedem Knoten dafür sorgen, dass alle Daten vorhanden sind usw.

Wenn man es richtig plant, dann lässt sich das ganze von der programmtechnischen Seite so entwickeln, dass es sowohl auf unixoxiden oder Windowssystemen läuft, denn der zentrale Punkt ist die MPI Schnittstelle, die von jedem System bereit gestellt wird

[Max_Power]

Sorry, aber was ist denn da der Sinn von dem Cluster? Das Reden miteinander ist ja schön und gut, aber was bringt z.B. das Programm, welches Parallel arbeitet? Ich verstehe den Sinn dahinter noch nicht ganz...

Danke bis dahin :/

[axxis]

Performance, Ausfallsicherheit, Lastverteilung, Verfügbarkeit...

[Max_Power]

Hmm.. Ist dann mein Satz, dass er die Prozesse theoretisch aufteilt vom Sinn hr richtig??

Er teilt doch dann theoretisch Rechenoperationen über die MPI an jedem Knoten an alle Pc's mit, so dass jeder Pc was zu rechnen hat und die "Aufgabe" verteilt wird?

[flashpixx]

Sorry, aber was ist denn da der Sinn von dem Cluster? Das Reden miteinander ist ja schön und gut, aber was bringt z.B. das Programm, welches Parallel arbeitet? Ich verstehe den Sinn dahinter noch nicht ganz...

Im Falle von Beowulrf wäre hier zentral "parallele Verarbeitung", d.h. ein Problem lässt sich parallel auf mehreren Systemen berechnen, womit man einen Zeitgewinn erreicht. Ausfallsicherheit / Verfügbarkeit wäre bei Beowulf primär nicht gegeben

Er teilt doch dann theoretisch Rechenoperationen über die MPI an jedem Knoten an alle Pc's mit, so dass jeder Pc was zu rechnen hat und die "Aufgabe" verteilt wird?

Einzelne Rechenoperationen werden nicht verteilt, sondern ganze Blöcke von Anweisungen. Man arbeitet hier nach dem SIMD oder MIMD nach Flynnsche Klassifikation

Aber im Grunde stimmt das schon, es werden hier teile der Berechnung eben auf mehrere Systeme verteilt, dazu benötigt man dann natürlich Kommunikation zwischen den Systemen, was eben auf physikalischer Ebene ein Netzwerk ist und auf Softwareebene die MPI Bibliothek dann erledigt

Bearbeitet 16. August 2011 von flashpixx

[axxis]

Das würde einem HPC-Cluster entsprechen. Einen groben Überblick dazu findest du unter Rechnerverbund

[Max_Power]

Aber wo ist der Zetgewinn, wenn das selbe Problem in seiner Kompletten Form auf jedem einzelnen Rechner errechnet wird?

Und nicht aufgeteilt?

[flashpixx]

Aber wo ist der Zetgewinn, wenn das selbe Problem in seiner Kompletten Form auf jedem einzelnen Rechner errechnet wird?

Man führt nicht das gesamte Problem auf allen Rechner mehrfach aus, sondern man zerlegt das Problem in Teilprobleme, die man lösen kann. Die Lösung der Teilprobleme inkl. der Daten werden dann auf jedem einzelnen Knoten entsprechend verarbeitet und zum Schluss wieder zusammen gefügt.

Man teilt das Problem auf mehrere Knoten auf, berechnet und fügt die berechneten Ergebnisse später wieder zusammen.

Der Zeitgewinn ergibt sich dann aus der Möglichkeit parallel zu verarbeiten nach Gesetz von Amdahl

[Max_Power]

Das ist doch das, was ich meinte Mensch

Gilt das nur für das Lösen von Problemen oder auf für andere Tätigkeiten ? (doofe Frage )

[flashpixx]

Gilt das nur für das Lösen von Problemen oder auf für andere Tätigkeiten ? (doofe Frage )

Ich gehe mal davon aus, dass Du hier von IT Problemen ausgehst und nicht von menschlichen Tätigkeiten *scnr*

Parallelisierung ist ein sehr weites Feld, die Frage ist eben was möchte man damit erreichen z.B. ein Raid 1 ist auch eine Parallelisierung, aber eben mit einem anderen Zweck. Ebenso wäre ein Loadbalancer der eben Lastenverteilung auf mehrere Knoten macht auch eine Parallelisierung, um eben eine Lastenverteilung zu erreichen. Als weiterer "paralleler Ansatz" wäre z.B. Berkeley Open Infrastructure for Network Computing

Parallelisierung gibt es auf den verschiedenen Ebenen und Technologien

Die Frage bei solchen Systemen ist, was will man damit konkret erreichen

[Max_Power]

Ist es denn irgendwie Möglich mit dem Beowulf Cluster, Rechenoperationen (z.B. Videobearbeitung) aufzuteilen?

Um nicht ans Maximum der ressourcen von einem Rechner zu kommen?

[flashpixx]

Ist es denn irgendwie Möglich mit dem Beowulf Cluster, Rechenoperationen (z.B. Videobearbeitung) aufzuteilen?

Das ist Sache der Software und nicht Sache des Clusters. Anstatt hier irgendwas zu installieren, wäre auch hier der Hinweis, es einmal komplett selbst aufzubauen, damit man einmal sieht was dort alles gemacht werden muss, bis eben so etwas läuft. Ich gehe davon aus, bis ein einfach Hello-World-Programm funktioniert, kannst Du einige Wochen einplanen

Bearbeitet 16. August 2011 von flashpixx

[Max_Power]

Okay, das werde ich dann mal machen

Wenn weitere Fragen aufkommen, werde ich sie einfach hier stellen

Und danke für die Ideen