Homeserver/Homelab für Proxmox VE

[Hunduster]

Hallo zusammen,

ich spiele gerade mit dem Gedanken mein Hobelab etwas abzuändern.

Aktuell haben wir ein vollbestücktes 16 Bay QNAP auf dem einige Docker Container laufen (diese auf SSDs, nicht Spinnern), 1x Raspi 5 für ioBroker, 1x Raspi 4 für Raspberrymatic und 2x OPNsensen auf gepimpter Sophos Hardware (Core i5, 16GB RAM). Alles im 24/2 Betrieb. Jepp, 300W dauerhaft - deswegen bekomm ich zuhause auch allmählich Haue.

Daher ist meine Überlegung, die o.g. Systeme, abgesehen vom QNAP, komplett zu virtualisieren.

Mein Wunsch wäre ein kleiner Homeserver mit Proxmox VE in dem die Systeme, vor allem die Firewalls, virtualisiert sind - hier vermute ich nämlich die meisten Kosten.

Wicht wäre für mich, dass das System NVMe hat auf dem der Proxmox und die VMs liegen, alles Datenintensive lagere ich auf das QNAP aus. RAM sollten schon 64GB sein, damit ich die Docker Container auf einzelne Linux VMs auslagern kann - ich bin nämlich kein Freund von Docker.

Ich tue mich generell etwas schwer mit Hardwareauswahl, insbesondere wenn es um eine gute Mischung von Leistung und Energieeffizienz geht. Ich hatte mich ein bisschen am Heise/c't Bauvorschlag eines Heimservers orientiert. Ich google die möglichen CPUs schon den halben Tag und offenbar sind die Intel CPUs im idle sparsamer als die AMDs?

Vielleicht habt Ihr ein paar Tipps und Erfahrungen die Ihr mit mir teilen könnt.

 

 

[_n4p_]

 

Minisforum UM690S ..

Aber, was ist denn die Erwartungshaltung? Da ist ein 16 Platten QNAP, allein die Platten brauchen 80-130 Watt. Du kannst die 40 Watt für die Raspis sparen und die virtualisieren. Bei den Sophos Dinger kommts drauf an wie alt die sind, aber irgendwas um nen i5 sollte es wieder werden. Mit RAM und mehreren NVMe biste hier auch schnell wieder bei 50+ Watt. Du kannst also vermutlich irgendwas zwischen 40 und 150 Watt einsparen, also 100 - 400 € aufs Jahr.
Du solltest auf jeden Fall vorher MESSEN was tatsächlich wieviel Strom verbraucht, zur Not mit so ner smarten Steckdose.

 

[Hunduster]

@_n4p_ Danke für deine Antwort.

Aktuell messe den den Strom von meinem gesamten IT Equipment und komme so auf die ~300W. 

Bei der QNAP habe ich 12 Spinner verbaut und 4 SSDs. Die Dontainer die hier laufen liegen alle auf den SSDs, sodass die Spinner eigentlich im Idle sein sollten den halben Tag.

Bei den Sophos handelt es sich um zwei XG 210, nach meinem Umbau eher um die 330er. Mein Gedanke ist, dass die Sophos Dinger nicht nur nicht auf Lautstärke sondern eben auch nicht auf Energieeffizienz hin gebaut worden sind.

Natürlich zweifle ich aktuell, ob ich überhaupt groß was einsparen kann, wenn ich virtualisiere, wenngleich ich Vorteile wie Snapshots etc. hätte. Ich kann es aktuell gar nicht einschätzen.

Den aktuellen Verbrauch wollte ich diese Woche mal messen, indem ich alles peu à peu herunterfahre.

[ErB777]

vor 22 Stunden schrieb Hunduster:

Bei den Sophos handelt es sich um zwei XG 210, nach meinem Umbau eher um die 330er. Mein Gedanke ist, dass die Sophos Dinger nicht nur nicht auf Lautstärke sondern eben auch nicht auf Energieeffizienz hin gebaut worden sind.

Mal rein aus Interesse - Wieso musste es eigentlich von der XG die 200er Serie sein? Das sind Enterprise Hardware Appliances, die entsprechend auch mehr Strom ziehen als die Desktop Varianten. Hier hätte doch sicherlich die 100er Reihe der XG vollkommen ausgereicht.

Unabhängig von deiner Anforderung zur Firewall:

XG 85 verbraucht unter Idle ~3,3W / Stunde
XG 210 verbraucht unter Idle ~19W / Stunde

XGS 88 verbraucht unter Idle ~12,5W / Stunde
XGS 2100 verbraucht unter Idle ~43W / Stunde

und allein nur aus der Statistik, hier sind enorme Sprünge beim Verbrauch. Ich würde daher eher eruieren, ob es wirklich 2 Firewalls sein müssen. Zum Vergleich - Eine mögliche XGS Hardware anzuschaffen, wäre eigentlich ein "heimischer" Selbstmord.

2 Raspi verbrauchen nicht wirklich nennenswertes.

Ich gehe einfach mal davon aus, dass dein QNAP den meisten Stromverbrauch hat, gefolgt von den 2 Firewalls. Ich sehe kaum Einsparpotenzial im Verbrauch, abgesehen die Reduzierung der Firewall von 2 auf 1. 

 

 

Bearbeitet 22. Oktober von ErB777

[Hunduster]

vor 20 Minuten schrieb ErB777:

Mal rein aus Interesse - Wieso musste es eigentlich von der XG die 200er Serie sein? Das sind Enterprise Hardware Appliances, die entsprechend auch mehr Strom ziehen als die Desktop Varianten. Hier hätte doch sicherlich die 100er Reihe der XG vollkommen ausgereicht.

Sind bei uns übrig geblieben 😉 gekauft hab ich mir die nicht.

 

Ich habe es tatsächlich heute mal gemessen.

Eine Appliance verbraucht ~40w im Idle - laut Datenblatt zur 330er von Sophos 38w.

Mein QNAP zieht im Idle um die 130W was mich ein wenig wundert, da das Datenblatt von QNAP bei voller Spinner Bestückung 89W angibt und das Dingen ohnehin den halben Tag schlafen sollte. 

Die zweite FW wird rausfliegen, definitiv. Über die generelle Virtualisierung denke ich nochmal nach. Bringt auch noch ein paar andere Vorteile mit sich.

[Enno]

Ich hab hier ne ähnliche Ausgangslage gehabt:
Synolgy DS1819+ und einiges an Raspis etc.

 

Aktuell läuft die Synology und dazu gekommen is nen Lenovo M70q gekommen. Erst unter ESXi jetzt unter Proxmox.

Der Lenovo is bestückt mit ner NVME 1TB + 4TB SSD + 64GB RAM + 2te Netzwerkkarte, idled zwar viel rum, liegt dementsprechend aktuell bei ca. 20W Aufnahme.

 

Was bei mir viel mehr gebracht hat war sich mal sehr intensiv mit der Synology zu beschäftigen und zu merken das die Platten eben nicht in Idle gingen. Und an der Stellschraube zu drehen.

[ickevondepinguin]

Hier werkte bis vor ein paar Monaten ein alter HP ProLiant Microserver Gen7.

Dieser wurde nun ersetzt durch einen HP ProDesk 400 G5 mit einem i3 (war halt über...) und 32GB Ram. Hier werkt ebenfalls ein Proxmox. Reicht für meine Belange völlig aus, und ist deutlich besser aufgestellt als der alte ProLiant. Und verbraucht nicht mehr. Demnächst kommt für wichtiges noch eine NAS dazu.

[Hunduster]

vor 13 Stunden schrieb Enno:

Was bei mir viel mehr gebracht hat war sich mal sehr intensiv mit der Synology zu beschäftigen und zu merken das die Platten eben nicht in Idle gingen. Und an der Stellschraube zu drehen.

An welchen Stellschrauben hast du denn gedreht?

Ich für meinen Teil hatte damals zu meinen 12 Spinnern extra 4 SSDs reingepackt, damit so Sachen wie Docker eben auf diesen laufen und die Spinner schlafen gehen können.

Mir wurde im Proxmox Thread bei Reddit der Minusforum MS-01 empfohlen der ja von den Specs her ein feuchter Traum fürs Homelab ist. Nach ein paar YouTube Reviews hab ich das Dingen nun bestellt und bin sehr gespannt. Erweitern werde ich ihn noch um eine weitere Dual Port Netzwerkarte. Ziel ist, dass ich meine beiden OPNsense virtualisiere und die zwei Netzwerkkarten als WAN Passthrough durchreiche, Rest dann via VLAN auf den SPF+ Ports. Dann kann ich meine beiden Sophos Appliances abstellen, meine zwei Raspis und einen NUC den ich on Demand einschalte wg. Windows.

So zumindest der Plan 😄

Bezüglich der Raspis bin ich fast schon ein wenig wehmütig, finde die Dinger einfach genial und mit Ubuntu drauf machen sie einen super Job. Jedoch bin ich auch immer am schwitzen, wenn ich was neues ausprobiere und vorher keinen Snapshot machen kann.

[Enno]

vor 15 Minuten schrieb Hunduster:

An welchen Stellschrauben hast du denn gedreht?

Ich für meinen Teil hatte damals zu meinen 12 Spinnern extra 4 SSDs reingepackt, damit so Sachen wie Docker eben auf diesen laufen und die Spinner schlafen gehen können.

Wenn ich das noch alles wüsste.

zumindest folgendes, soweit ich mich recht erinnere:

NVME Cache eingebaut. Damit läuft er nicht mehr jedes mal an wenn man drauf zugreift.

Backuplaufwerk auf 2 dedizierte einzelne Dreher gelegt Raid 1)

Und Softwaretechnisch optimiert. z.B. meinem IOBRoker der das Monitoring macht verboten dauerhaft zuzugreifen. Der holt sich nur noch einmal am Tag die Gesundheits- und Platten Daten und wertet die aus. Mir reicht das als Sicherheit. Vorher hat er alle x Minuten geholt und damit die Platten nie in Idle fallen lassen.

Und wenn ich mich recht erinnere habe ich noch 2 andere Dinge gefunden die auch dafür gesorgt haben das die Platte nicht in Idle gehen. Was man aber so im Normalfall gar nicht gemerkt hatte. Wobei ich nicht mehr genau sagen kann was das war.

 

 

Der MS-01 sieht schon cool aus. Mir reicht der ThinkCenter vollkommen aus von der Leistung. Und damit ist der auch deutlich Verbrauchsärmer. Unter Normallast komme ich grade aktuell auf 13W Durchschnittsverbrauch.

Und es laufen momentan: 1x PIHole, 1x IOBroker, 1x WinHop (damit ich von extern nen Hop ins Netz habe), 1x Pterodactyl auf Linux (Gameserver, vorwiegend Minecraft) und 2 Bastel Linux Büchsen

[Hunduster]

@Enno NVMe Cache habe ich für das Backup Laufwerk auch 🤔

Mit dem ioBroker ist ein guter Hinweis. Meiner fragt den Status des NAS via SNMP ab. Aber ob deswegen die Spinner drehen oder er sich einfach den Status vom System holt? Gute Frage…

Ich hatte gestern noch den Gedanken, ob es am OS selbst liegen kann. QNAP installiert sich selbst immer auf den ersten Platten die eingebaut sind. Dies lässt sich nur durch ein komplettes Neuafsetzen ändern. Die SSDs wurden nachträglich rein geschoben.

vor 6 Minuten schrieb Enno:

Der MS-01 sieht schon cool aus. Mir reicht der ThinkCenter vollkommen aus von der Leistung. Und damit ist der auch deutlich Verbrauchsärmer. Unter Normallast komme ich grade aktuell auf 13W Durchschnittsverbrauch.

Ich bin sehr gespannt. In den Reviews verbraucht der MS-01 um die 20W im Idle. Auch mit 10 gestarteten Linux VMs liegt der Verbrauch um die 28W, wenn die VMs sich dann beruhigt haben und vor sich hin laufen. Ich wäre Happy, wenn ich ein paar Watt weniger Verbrauch und den Vorteil der Virtualisierung habe. Zudem möchte ich mich mit Proxmox VE auseinandersetzen, da kommendes Jahr auch für uns die Frage hochkommen wird, ob wir bei VMware bleiben werden.

[ErB777]

vor 51 Minuten schrieb Hunduster:

Mir wurde im Proxmox Thread bei Reddit der Minusforum MS-01 empfohlen der ja von den Specs her ein feuchter Traum fürs Homelab ist.

Ich habe gerade im Store gesehen, dass dieser SFP+ Module hat. Die Marke war mir sogar unbekannt.
Vielleicht kaufe ich mir einen als Barebone als eigenen Homerouter.

[Enno]

vor 7 Stunden schrieb Hunduster:

 

Zitat

Mit dem ioBroker ist ein guter Hinweis. Meiner fragt den Status des NAS via SNMP ab. Aber ob deswegen die Spinner drehen oder er sich einfach den Status vom System holt? Gute Frage…

Wie gesagt, ich habe ne Synology. Für die gibts nen direkten IOBroker Adapter. der ist so gebaut das die Syno nie einschläft.

Via SNMP hab ich nie getestet.

 

Zitat

Ich hatte gestern noch den Gedanken, ob es am OS selbst liegen kann. QNAP installiert sich selbst immer auf den ersten Platten die eingebaut sind. Dies lässt sich nur durch ein komplettes Neuafsetzen ändern. Die SSDs wurden nachträglich rein geschoben.

Hört sich auf jedenfall danach an, das er die Dreher anwirft sobald jemand aufs OS zugreift.

 

Zitat

Ich bin sehr gespannt. In den Reviews verbraucht der MS-01 um die 20W im Idle. Auch mit 10 gestarteten Linux VMs liegt der Verbrauch um die 28W, wenn die VMs sich dann beruhigt haben und vor sich hin laufen. Ich wäre Happy, wenn ich ein paar Watt weniger Verbrauch und den Vorteil der Virtualisierung habe. Zudem möchte ich mich mit Proxmox VE auseinandersetzen, da kommendes Jahr auch für uns die Frage hochkommen wird, ob wir bei VMware bleiben werden.

20W für das Ding hören sich sehr optimistisch an. Kannst ja mal berichten was bei rumkommt im realbetrieb.

[Hunduster]

Am 23.10.2024 um 16:15 schrieb Enno:

20W für das Ding hören sich sehr optimistisch an. Kannst ja mal berichten was bei rumkommt im realbetrieb.

So, der Umzug ist geglückt, die beiden Sophos Appliances sind aus und alles ist virtualisiert. Ich hatte etwas Stress mit der von mir ausgesuchten Realtek 2.5G Karte - FreeBSD unter OPNsense hat wohl Probleme mit den Realtek Treibern. Mit einer Intel Karte geht es nun einwandfrei.

In Summe habe ich nun 8 VMs laufen. Davon 7x Linux 1x Windows. Ich komme auf einen Stromverbrauch von circa 70W wenn die VMs laufen. Angeschlossen habe ich in Summe nun 4x RJ45 und 2x 10G DAC.

Nicht die erhofften 20W 😁 aber durch die Abschaltung der beiden Sophos XG und zwei Raspis habe ich in Summe nun dennoch ein Gesamtersparnis von 30-50W und habe viel an Flexibilität gewonnen.

Von Proxmox VE bin ich auch echt angetan: alles lief wie geschnitten Brot.