Projekt: Aufbau eines heimischen BareMetal-Hypervisors

[Adlerauge91]

Hallo Leute,

erstmal ein frohes neues Jahr an alle.

Wie oben stehend, plane ich derzeit den Aufbau eines Servers, welcher mir als Hypervisor dienen soll.

Als OS wird nach vielen Hin und Her Proxmox als OS eingesetzt.

Ich habe eigentlich bereits die ganze Hardware raus gesucht und einen Teil (Gehäuse, AiO, Netzteil] auch schon hier,
doch gibt es ein Thema, wo ich etwas ratlos bin.

In den Server kommen zwei SSDs, welche ich mit RAID 1 spiegeln möchte, darauf sollen dann das OS und openmediavault als VM laufen.

Zusätzlich kommen noch 4 HDDs á 4 TB (Toshiba N300) dazu, welche im RAID 5 laufen sollen und teils als NAS und teils als Speicherplatz der anderen VMs dienen soll.
Eine fünfte HDD habe ich dann immer für den Notfall hier und ein Backup auf verschiedene externe HDDs ist natürlich auch geplant, denn RAID ist ja bekanntlich kein Backup.
Die 12 verfügbaren TB werden so schnell auch nicht voll werden, hoffe ich...

Um die beiden unabhängigen RAIDs zu bilden, würde ich auf die Funktion des Chipsatzes des Motherboards zugreifen.

Die Konfiguration des Servers habe ich folgendermaßen geplant, da leider nur noch Intel RAID5 per Chipset anbietet:

- Intel Core i7 12700k - ( 8 + 4 Kerne, 16+4 Threads)
- MSI Pro Z690 DDR4 (RAID 0, 1, 5 und 10)
- 128 GB DDR4 RAM, CL16 (3200 MHz)
- bequiet! Pure Power 11 500W CM

Die eigentliche Konfiguration war so geplant, bevor ich gemerkt habe, das AMD kein RAID5 mehr anbietet.

- AMD Ryzen 9 3900X (12 Kerne, 24 Threads)
- X570 Motherboard (RAID 0, 1 und 10)
- usw.

Generell würde ich lieber zu den Ryzen greifen, da ich nicht weiß, ob die E- und P-Cores der Intel-CPU auf Dauer die Last der verschiedenen geplanten VMs halten kann.
Meine Befürchtung ist, das ich die E-Cores für den Proxmox-Betrieb UEFI-seitig deaktivieren muss und mir dann nur noch 8 Kerne und 16 Threads habe.
Mit dem Ryzen und seinen 12 Kernen, 24 Threads, bin ich da auf jeden Fall auf der sicheren Seite, habe aber kein RAID5.

Natürlich habe ich auch über einen LSI Logic RAID-Controller nachgedacht, aber ist es das Geld wert? Zumal manche angeblich 80, 160 und dann 500-600 Euro kosten,
vielleicht kann mir hier ja einer, einen empfehlen.?

Jetzt aber zu meiner Unsicherheit, muss es überhaupt ein Hardware-RAID sein,
reicht in der heutigen Zeit nicht auch ein Software-RAID aus? Dieses würde ich dann mit Proxmox und einem anderem Tool innerhalb des OS machen.
Auch hier sind Ratschläge gewünscht, da alles andere als ein Linux Pro bin.

Die Frage ist ja auch, ob das RAID1 für die SSDs sinnvoll ist, dies müsste ich dann ja sowieso über den Chipsatz planen, es sei denn es gibt die Möglichkeit, nach der Proxmox-Installation, das Ganze noch auf die zweite SSD zu spiegeln? Ich denke aber dies wird technisch-logisch nicht möglich sein.

Viel wichtiger ist mir aber das RAID5 der 4 HDDs, das muss laufen. 

Virtualisiert soll ein neues Netzwerk mit zwei Firewalls am PAP-Modell und einem Linux als ALG sein (keine DMZ), welches mein LAN schützt. Dies war damals mein IHK-Abschlussprojekt, und hat mir sehr gut gefallen.

Zudem möchte ich mir einige Windows-Testumgebungen (wie bspw. Citrix, RDS, Exchange, komplexes AD, DFS usw.) aufbauen, an denen ich lernen, analysieren und mit deren Hilfe ich meine zukünftigen Zertifizierungen absolvieren kann. 

Deshalb auch die viele Power. 
Da mein Budget bei ~2000 Euronen liegt, fand ich diese beiden Konfiguration am sinnvollsten, einen Threadripper, EPIC oder Xeon, mit der selben Leistung kann ich mir nicht leisten und ich denke das ist auch heutzutage nicht mehr nötig und wäre auch etwas übertrieben.

Ich wollte das ganze erst alles bei einem Hoster mieten, aber da zahl ich über die Jahre viel mehr für, als für den Eigenbau.
Der Server soll die nächsten 7 - 10 Jahre halten. Da ich von einer Übertaktung absehe und VMs runterfahre, wenn ich sie nicht brauche,
sollte sich der heimische Stromverbrauch auch in Grenzen halten.

Ihr seht ich habe noch viele offene Punkte, ich wünsche Kritik, Ratschläge und Kopfwäschen.

Besten Dank im Voraus

Adlerauge91
 

[Gast Interrupt]

Hallo,

Zitat

Um die beiden unabhängigen RAIDs zu bilden, würde ich auf die Funktion des Chipsatzes des Motherboards zugreifen.

Dann lieber zu einem Software Raid zurückgreifen oder einen Hardware Raid Controller kaufen als auf Fake Raid zu setzen. Ein Fake Raid ist nichts anderes als ein Software Raid - nur eben mit einer starken Abhängigkeit zum Motherboard. Was passiert, wenn das Teil in ein paar Jahren kaputt gehen sollte und es gibt auf dem Markt kein Ersatz mehr? 😉

Zitat

Natürlich habe ich auch über einen LSI Logic RAID-Controller nachgedacht, aber ist es das Geld wert? Zumal manche angeblich 80, 160 und dann 500-600 Euro kosten,

Der Preis hängt natürlich vom Featureset ab. Ein einfacher Raid Controller bekommt man schon für 50 Euro. "Professionelle" Raid Controller mit Batterie und Cache sind dagegen sehr teuer. Dazu kommt noch der Support, denn ähnlich wie bei einem Fake Raid hat man eine starke Abhängigkeit zu dem Hardware Raid Controller. Wenn ein Raid Controller defekt ist, braucht man nämlich in der Regel genau den selben wieder um eine Wiederherstellung durchführen zu können.

Zitat

Jetzt aber zu meiner Unsicherheit, muss es überhaupt ein Hardware-RAID sein,
reicht in der heutigen Zeit nicht auch ein Software-RAID aus?

Das kann man so pauschal nicht sagen. Das hängt immer von den Anforderungen drauf ab. Beides hat Vor- und Nachteile. Da das ganze ja offenbar nur eine Spielekiste werden soll, würde ich da auf jeden Fall auf Software Raid setzen. Das reicht für deine Zwecke vollkommen aus. 

MfG

 

Bearbeitet 2. Januar 2022 von Interrupt

[_n4p_]

Zu dem E-Core Thema kann ich nichts sagen, aber dein Storage Konzept ist etwas umständlich. Proxmox unterstützt zfs, dafür willst du gar kein Hardware Raid haben. Du möchtest lieber einen HBA (Broadcom 92xx-4i reicht hier aus). Ich würde die OS Disk auch nicht spiegeln. Entweder die zweite SSD direkt und ausschließlich für VMs nutzen oder als Cache für ZFS.

vor 6 Stunden schrieb Adlerauge91:

Die Frage ist ja auch, ob das RAID1 für die SSDs sinnvoll ist, dies müsste ich dann ja sowieso über den Chipsatz planen,

Also in den Raid-Controllern die ich kenne, kann man mehrere logische Volumes definieren, aber man kann linux auch von einem software raid booten.

vor 6 Stunden schrieb Adlerauge91:

Deshalb auch die viele Power. 
Da mein Budget bei ~2000 Euronen liegt

warum dann kein gebrauchter DL380 G8 oder ein R730, oder oder .. ebay ist voll mit "alten" Servern.

vor 17 Minuten schrieb Interrupt:

offenbar nur eine Spielekiste werden soll, würde ich da auf jeden Fall auf Software Raid setzen.

auch auf nicht-Spielkisten bietet Software Raid Vorteile. Auch vSAN möchte beispielsweise keine Raid-Volumes aus mehreren Platten zugeordnet bekommen.

Bearbeitet 2. Januar 2022 von _n4p_

[Gast Interrupt]

Zitat

warum dann kein gebrauchter DL380 G8 oder ein R730, oder oder .. ebay ist voll mit "alten" Servern.

Bei alten Servern würde ich sehr vorsichtig sein. Es gibt viele Gründe, weshalb Ebay voll mit solch alten Servern sind, weshalb auch der Preis entsprechend niedrig sind, da die niemand haben möchte. Das sind nicht nur krasse Staubfänger sondern auch massive Strommonster.

Ich spreche da leider aus eigener Erfahrung. Wenn der TO also wirklich die Kiste für die nächsten 7 - 10 Jahre halten möchte, da würde ich ebenfalls eine eigene individuelle Kiste mit neuer Hardware konfigurieren. Wenn man die Kosten auf die Gesamtlaufzeit berechnet, dürfte das definitiv günstiger sein. 

Bearbeitet 2. Januar 2022 von Interrupt

[charmanta]

vor 2 Stunden schrieb Interrupt:

Bei alten Servern würde ich sehr vorsichtig sein. Es gibt viele Gründe, weshalb Ebay voll mit solch alten Servern sind, weshalb auch der Preis entsprechend niedrig sind, da die niemand haben möchte. Das sind nicht nur krasse Staubfänger sondern auch massive Strommonster.

ein gebrauchter Markenrechner ist für einen Profi immer sinnvoller als irgendeine Bastelbüchse. Support, Ersatzteile, TPM Wartung etc ...

vor 2 Stunden schrieb Interrupt:

Ich spreche da leider aus eigener Erfahrung

Ich auch. Sogar gewerblich

vor 2 Stunden schrieb Interrupt:

Wenn der TO also wirklich die Kiste für die nächsten 7 - 10 Jahre halten möchte,

Hm. Selbst im professionellen Bereich rechnet man mit 5 Jahren Lebensdauer ...

Das ist zu den o.g. "refurbished" Servern aber kein Wiederspruch, da diese meistens über Jahre noch hochgerüstet werden können.

Wenn ich die Anforderung des TE für eine "Spielwiese" richtig verstehe dann versteh ich diesen ganzen Hardwarekrieg kaum. Um VMs zum Spielen bzw für Tests aufzubauen braucht man keine 2K Hardware. Ich fahre auf einer X-Serie bzw einem DL bis zu 10 aktive VMs .... Wenn da keine aktiven Daten drauf sind wozu dann RAID ? Selbst SSD sind da nicht zwingend nötig ( ja, ich weiss die sind schnell. Aber für eine Spielwiese ?? )

Zwei Platten für das Proxmos und dann Datenplatten für die VMs. Backup auf irgendein NAS...

Proxmox ist übrigens nicht nur Virtualisierung sondern auch Cluster ... lohnt Proxmox daher auf EINEM Server ?

Ich kenne da eher Konzepte im HA Bereich für.

vor 9 Stunden schrieb Adlerauge91:

Zudem möchte ich mir einige Windows-Testumgebungen (wie bspw. Citrix, RDS, Exchange, komplexes AD, DFS usw.) aufbauen, an denen ich lernen, analysieren und mit deren Hilfe ich meine zukünftigen Zertifizierungen absolvieren kann. 

... da freut sich MS garantiert über die vielen nötigen Lizenzen

 

[Adlerauge91]

Hallo ich danke euch allen für eure Antworten.

Vielleicht habe ich mich heute morgen nicht klar ausgedrückt, das Teil ist primär nicht als Spielewiese vorgesehen.
Der Server soll als NAS, Security (Firewalls + ALG) plus andere Services in meinem physischen LAN dienen, was da alles noch so kommen wird, wird die Zukunft zeigen. Zumindest wird mein ARK-Server (ARK ist ein Game), von dem momentanen Hoster auf die Kiste umziehen.

Die Firewall besteht derzeit aus einem altem Dell Optiplex, welcher zwischen dem LAN-Switch und der Fritz.Box steht, dieser läuft an der absoluten physikalischen Grenze. Als heimisches WLAN nutze ich einen Ubiquiti, welcher durch einen Raspberry Pi 4B verwaltet wird. Die Provider-Fritzbox, ist und bleibt ein Modem

vor 3 Stunden schrieb _n4p_:

Zu dem E-Core Thema kann ich nichts sagen, aber dein Storage Konzept ist etwas umständlich. Proxmox unterstützt zfs, dafür willst du gar kein Hardware Raid haben. Du möchtest lieber einen HBA (Broadcom 92xx-4i reicht hier aus). Ich würde die OS Disk auch nicht spiegeln. Entweder die zweite SSD direkt und ausschließlich für VMs nutzen oder als Cache für ZFS

Zur Thematik RAID, Ähnliches habe ich mir bereits gedacht, also wird es auf einen Software-RAID hinauslaufen und in der Konsequenz dann auch auf den Ryzen 3900X. Was ZFS angeht, muss ich mich dann wohl nochmal belesen. Wie gesagt ich bin eher in der Windows-Welt zu Hause und befasse mich nur passiv mit Linux, so wie auf meinem Raspberry Pi, oder wenn ich dann wirklich mal Ubuntu auf meinem Dual-Boot starte, was selten vorkommt, denn immerhin gibt es ja mittlerweile WSL, was sehr gut unter Windows läuft. 

vor 24 Minuten schrieb charmanta:

... da freut sich MS garantiert über die vielen nötigen Lizenzen

Darüber musst du dir keinen Kopf machen, die meisten Lizenzen kommen direkt vom Hersteller (non-commercial licences), da diese Testumgebungen in Absprache mit meinem Arbeitgeber aufgebaut werden. Was die Server Lizenzen von MS angeht, dafür haben wir auch eine Lösung. Die Testumgebungen sind eigentliche alle in einem abgeschotteten virtuellen Netzbereich, ohne Zugriff zum Internet, die Server die dringend eine WAN-Verbindung brauchen, die werden definitiv registriert sein 😉

 

vor 29 Minuten schrieb charmanta:

Proxmox ist übrigens nicht nur Virtualisierung sondern auch Cluster ... lohnt Proxmox daher auf EINEM Server ?

Ja natürlich kann man Proxmox auch zum Clustering nehmen, so wie bspw. vmWare ESXi und so weiter. Ebenso könnte ich als OS auch einen Ubuntu Installieren und mit der manuellen Installation von KVM und QEMU meine VMs erstellen. Ich könnte auch den Lizenzfreien Hyper-V-Server dafür nutzen. Doch hat Proxmox meiner Meinung nach die schönste Weboberfläche bzw. überhaupt eine. Per privatem VPN möchte ich jederzeit auf die Kiste zugreifen und auch, wenn ich mal 500km entfernt am Hauptstandort meines AG bin, mit Kollegen auf die Umgebung schauen können.

 

vor 2 Stunden schrieb Interrupt:

Bei alten Servern würde ich sehr vorsichtig sein. Es gibt viele Gründe, weshalb Ebay voll mit solch alten Servern sind, weshalb auch der Preis entsprechend niedrig sind, da die niemand haben möchte. Das sind nicht nur krasse Staubfänger sondern auch massive Strommonster.

Ich spreche da leider aus eigener Erfahrung. Wenn der TO also wirklich die Kiste für die nächsten 7 - 10 Jahre halten möchte, da würde ich ebenfalls eine eigene individuelle Kiste mit neuer Hardware konfigurieren. Wenn man die Kosten auf die Gesamtlaufzeit berechnet, dürfte das definitiv günstiger sein. 

Genau das ist der Punkt die Hardware soll halten, ich bestelle Sie neu, baue sie selbst zusammen, weiß genau was drin ist. Ich bin generell für gebrauchte Sachen, aber nicht bei diesem Projekt. Um Staub muss man sich übrigens keine Sorgen machen, ich habe ein gutes staubgeschützten und gedämmtes großes, für Workstation geeignetes Gehäuse dafür 😄 

Im UEFI wird der Prozessor und RAM soweit runter geregelt, das Strom gespart wird, das heißt kein Overclocking, außer XMP/D.O.C.P. Ich rechne bei einer 3/4 Last mit maximal 350 Watt.

Ich danke euch bis hier hin, möchte den Thread aber gerne noch etwas offen halten, um weitere Meinungen zu erhalten.

Beste Grüße

Adlerauge91