Single point of failure Prävention - ISP

[RealPride]

Guten Tag zusammen,

entschuldigt mich falls ich nur stuss rede, bin bei dieser Thematik noch nicht so fortgeschritten aber mir schwirren da ein paar Gedanken/Ideen bezüglich der Thematik Rendundanz im Bereich Networking. Bei einem Kunden von uns war nämlich der Fall, dass der Hauptrouter abgeschmiert ist und für mehrere Stunden bis einen Tag der komplette Betrieb lahmgelegt war. Da ich den CCNA mache und schon "etwas" darüber herausfinden durfte, habe ich die ungefähre Vorstellung gehabt, dass man zwei ISP bräuchte, im Falle das einer Ausfällt. Wie setzt man das denn um, wenn einer Ausfällt, dass der andere alles Übernehmen kann? Ich hab jetzt neulich ein paar Videos zum Loadbalancer gesehen und mich gefragt ob das denn auch nicht mit einem Loadbalancer möglich wäre (besser 2, falls einer flöten geht). Meine Idee wäre dann diese: Zwei Loadbalancer mit jeweils beiden Routern/ISP-Anschlüssen verbunden. Wenn ein Router oder ISP selbst ausfällt, switcht der Loadbalancer selbstständig auf den anderen noch Verfügbaren ISP. Ergibt das Sinn? Oder wird das komplett anders in KMU oder Enterprise Umgebungen umgesetzt? Bei uns in der Firma ist überall und alles Single Point of Failure. Ich freue mich auf jede Art von Belehrung.

 

LG

[Maniska]

Kommt drauf an.

Für "raus" ist es machbar mit einer _Backup Leitung bei einem andren ISP, spätestens wenn etwas intern gehostetes aus dem Internet erreichbar sein muss bekommst du ein Problem wenn die externe IP des primären ISP nicht erreichbar ist.

Irgendwie muss ja "die Welt" auch mitbekommen wo die Mail hin müssen oder die Homepage jetzt ist. Oder der Webshop, oder...

Klar, alles machbar, aber kostet auch Geld. Da müsste man jetzt die Wahrscheinlichkeit eines Ausfalls, die Kosten eines Ausfalls und die vereinbarte SLA mit dem Provider in einen Topf werfen, kräftig rühren und schauen was da an €€€ rausfallen. Also was kostet ein Ausfall bis der Provider Schadenersatzpflichtig wird, wie wahrscheinlich ist der Ausfall überhaupt und was kostet es, diese Eventualität zusätzlich mit abzufangen.

Das legt man dann der GF vor und die zeigt einem dann den Vogel bei den Kosten entscheidet dann ob es umgesetzt wird oder nicht.

[Funfare1337]

Das wichtigste bei sowas ist immer: Gegen was willst du dich absichern? Wie viel Ausfallzeit wird tolieriert? Was darfs kosten.

Theoretisch kannst du jeden SPoF eleminieren, das wird aber ein riesen Aufwand, dafür dass es vllt mal einen Ausfall alle 2 Jahre gibt.

2. ISP als Backup zu haben ist der einfachste Weg, die meisten Router können auch Multi-WAN, also dass du mehrere Internetverbindungen anstecken kannst. Dann kannst du dort Balancing/Backup etc konfigurieren. Wenn die Leitungen zu den ISPs aber nebeneinander verlaufen, bringts dir auch nix wenn dann die Leitung angebaggert wird. Alternativ geht natürlich auch ein LTE-Backup. Es gibt auch Bonding, dabei wird auf mehreren Leitungen das gleiche Signal geschickt, damit eine Leitung auch ausfallen kann. Es gibt auch SameIP Lösungen, damit du auch beim Leitungswechsel öffentlich noch erreichbar bist (glaube über VPNs gelöst).

Jetzt gehts aber mit dem Router weiter. Du hast zwar zwei ISPs, aber wenn der Router ausfällt, steht trotzdem die Produktion. Also z.B. passendes, fertig konfiguriertes Ersatzgerät vorhalten, dann ist die Ausfallzeit sehr gering, oder ein HA-Cluster mit mehreren Routern bilden. Dann springt der BackupRouter sofort ein, wenn etwas ausfällt. Kostet allerdings wieder mehr Geld und Zeit.

Und so geht es weiter, Core-Switch, USV, Stromversorgung (bringt nix wenn alles auf einer Sicherung läuft etc)., das kannst du praktisch bis ins unendliche treiben.

Einfach mal zu sagen "wir brauchen Hochverfügbarkeit" ist leicht, aber es wird oft nicht bedacht was für Kosten und Aufwand dahinter steckt. Ihr solltet lieber erstmal klären, was an Ausfall verkraftbar ist und dann wie viel die entsprechende Umsetzung kostet.

[Maniska]

Hinzu kommt, zumindest bei produzierenden Betrieben: steht bei einem Stromausfall eh die Produktion weil die großen Maschinen nicht versorgt werden können reicht es, wenn man genug Zeit hat das Zeug sauber runter zu fahren. Da braucht es dann auch keine 3h+ USV und/oder Notstromdiesel etc.

 

[charmanta]

da gibts übrigens auch ein Protokoll welches Dir erlaubt, redundante Netzwerkverbindungen zur Erhöhung der Bandbreite oder der Erhöhung der Verfügbarkeit aufzubauen ....

[RealPride]

vor 3 Stunden schrieb Maniska:

Kommt drauf an.

Für "raus" ist es machbar mit einer _Backup Leitung bei einem andren ISP, spätestens wenn etwas intern gehostetes aus dem Internet erreichbar sein muss bekommst du ein Problem wenn die externe IP des primären ISP nicht erreichbar ist.

Irgendwie muss ja "die Welt" auch mitbekommen wo die Mail hin müssen oder die Homepage jetzt ist. Oder der Webshop, oder...

Klar, alles machbar, aber kostet auch Geld. Da müsste man jetzt die Wahrscheinlichkeit eines Ausfalls, die Kosten eines Ausfalls und die vereinbarte SLA mit dem Provider in einen Topf werfen, kräftig rühren und schauen was da an €€€ rausfallen. Also was kostet ein Ausfall bis der Provider Schadenersatzpflichtig wird, wie wahrscheinlich ist der Ausfall überhaupt und was kostet es, diese Eventualität zusätzlich mit abzufangen.

Das legt man dann der GF vor und die zeigt einem dann den Vogel bei den Kosten entscheidet dann ob es umgesetzt wird oder nicht.

Also ist das ganze Quasi so eine Risikoabschätzung und je nach Wirtschaftlichkeit wird dann entschieden, ist der Aufwand und die Kosten für die Redundanz höher als wenn z.B. der Ausfall nur einen Tag beträge (und sehr selten auftretet), heißt es dass sich also gar nicht lohnen würde, eine Backup Verbindung aufzubauen richtig? Heißt kurzgesagt, bei KMU spielt SPoF keine Rolle je nach Branche. Correct me if i am wrong.

vor 3 Stunden schrieb Funfare1337:

Das wichtigste bei sowas ist immer: Gegen was willst du dich absichern? Wie viel Ausfallzeit wird tolieriert? Was darfs kosten.

Theoretisch kannst du jeden SPoF eleminieren, das wird aber ein riesen Aufwand, dafür dass es vllt mal einen Ausfall alle 2 Jahre gibt.

2. ISP als Backup zu haben ist der einfachste Weg, die meisten Router können auch Multi-WAN, also dass du mehrere Internetverbindungen anstecken kannst. Dann kannst du dort Balancing/Backup etc konfigurieren. Wenn die Leitungen zu den ISPs aber nebeneinander verlaufen, bringts dir auch nix wenn dann die Leitung angebaggert wird. Alternativ geht natürlich auch ein LTE-Backup. Es gibt auch Bonding, dabei wird auf mehreren Leitungen das gleiche Signal geschickt, damit eine Leitung auch ausfallen kann. Es gibt auch SameIP Lösungen, damit du auch beim Leitungswechsel öffentlich noch erreichbar bist (glaube über VPNs gelöst).

Jetzt gehts aber mit dem Router weiter. Du hast zwar zwei ISPs, aber wenn der Router ausfällt, steht trotzdem die Produktion. Also z.B. passendes, fertig konfiguriertes Ersatzgerät vorhalten, dann ist die Ausfallzeit sehr gering, oder ein HA-Cluster mit mehreren Routern bilden. Dann springt der BackupRouter sofort ein, wenn etwas ausfällt. Kostet allerdings wieder mehr Geld und Zeit.

Und so geht es weiter, Core-Switch, USV, Stromversorgung (bringt nix wenn alles auf einer Sicherung läuft etc)., das kannst du praktisch bis ins unendliche treiben.

Einfach mal zu sagen "wir brauchen Hochverfügbarkeit" ist leicht, aber es wird oft nicht bedacht was für Kosten und Aufwand dahinter steckt. Ihr solltet lieber erstmal klären, was an Ausfall verkraftbar ist und dann wie viel die entsprechende Umsetzung kostet.

Verstehe, also ist es sinnvoller einen Router mit 2 WAN Anschlüssen zu nutzen und entsprechend zu konfigurieren? Wie würde das denn mit den side to side VPN Verbindungen aussehen wenn der Haupt ISP ausfällt, und der Tunnel zu einem der Standorte ausfallen würde, muss man die VPN-Verbindung neu Konfigurieren oder gibt es je nach Hersteller die Option das ganze Automatisch umzustellen, wenn der Router erkennt, dass keine Verbindung mehr besteht?

 

vor 28 Minuten schrieb charmanta:

da gibts übrigens auch ein Protokoll welches Dir erlaubt, redundante Netzwerkverbindungen zur Erhöhung der Bandbreite oder der Erhöhung der Verfügbarkeit aufzubauen ....

Die wäre?

Bearbeitet 21. März 2022 von RealPride

[Maniska]

vor 1 Minute schrieb RealPride:

Heißt kurzgesagt, bei KMU spielt SPoF keine Rolle je nach Branche. Correct me if i am wrong.

Definiere KMU. Bei 200MA und einem Umsatz von knapp unter 50 Mio würde ich eine gewisse Redundanz schon als lebensnotwendig erachten. Die Frage ist nur, bis zu welchem Punkt. Dass das RZ eine USV hat, 2 Stromkreise, Ausfallsicherheit bei den ESX Servern, Coreswitchen, Firewall... ist auch dort eher Regel als Ausnahme. Dass die Unterverteiler auch noch eine USV haben nicht mehr. Wartungsverträge können sein, müssen aber nicht, schon gar nicht mit "guten" SLAs...

Problematischer ist es, dass in solchen Betrieben auch schon mal gern der Admin zum SPoF wird, weil Einzelkämpfer.

[charmanta]

vor 37 Minuten schrieb RealPride:

Die wäre?

Trunking .... nach 802.3AD

https://www.thomas-krenn.com/de/wiki/Link_Aggregation_und_LACP_Grundlagen

 

[Funfare1337]

vor 1 Stunde schrieb RealPride:

Also ist das ganze Quasi so eine Risikoabschätzung und je nach Wirtschaftlichkeit wird dann entschieden, ist der Aufwand und die Kosten für die Redundanz höher als wenn z.B. der Ausfall nur einen Tag beträge (und sehr selten auftretet), heißt es dass sich also gar nicht lohnen würde, eine Backup Verbindung aufzubauen richtig? Heißt kurzgesagt, bei KMU spielt SPoF keine Rolle je nach Branche. Correct me if i am wrong.

In etwa. Es kommt halt sehr auf den Betrieb an. Ab einem gewissen Umsatz lohnt sich sicherlich ein gewisses Level an Redundanz. Wenn 1000 Mitarbeiter einen Tag lang nicht arbeiten können, geht das schon sehr ins Geld. Andererseits kannst du auch als 10-Personen-Firma schon in Probleme kommen, wenn 2h das Internet ausfällt, jenachdem was man halt macht als Firma. Es gibt immer darum: Was ist an Ausfall / Wiederherstellungszeit verkraftbar und was ist man bereit zur Sicherung dazu auszugeben. 

 

vor 1 Stunde schrieb RealPride:

Verstehe, also ist es sinnvoller einen Router mit 2 WAN Anschlüssen zu nutzen und entsprechend zu konfigurieren? Wie würde das denn mit den side to side VPN Verbindungen aussehen wenn der Haupt ISP ausfällt, und der Tunnel zu einem der Standorte ausfallen würde, muss man die VPN-Verbindung neu Konfigurieren oder gibt es je nach Hersteller die Option das ganze Automatisch umzustellen, wenn der Router erkennt, dass keine Verbindung mehr besteht?

Sinnvoll ist immer so ne gewagte Aussage. Es kommt halt darauf an wogegen man sich absichern möchte. Von der Konfiguration und Wartung ist aber ein Multi-WAN Router einfacher als mehrere Router. VPN-Verbindungen kannst du auch entsprechend konfigurieren. OpenVPN zum Beispiel unterstützt mehrere Server, ist einer nicht (mehr) verfügbar, wird auf den nächsten gewechselt. Also kann man da dann Haupt- und Backupverbindung angeben und die Verbindung wird wieder automatisch hergestellt.

[awesomenik]

vor 5 Stunden schrieb RealPride:

Wie würde das denn mit den side to side VPN Verbindungen aussehen wenn der Haupt ISP ausfällt, und der Tunnel zu einem der Standorte ausfallen würde,

Hier gibt es wie immer mehrere Möglichkeiten. Man kann hier z.B. full mesh fahren, sodass jedes Gateway mit jedem verbunden ist und über ein Routing-Protokoll oder die Priorisierung der Routen wird dann die beste Verbindung verwendet, wenn eine ausfällt, wird automatisch die nächste verwendet.

Man kann hier auch viel mit SDWAN erschlagen, wenn man das möchte.

[RoS]

Wenn du nur Internet brauchst ist das mit Multi-WAN bzw einem zweiten Router und somit einem zeweiten Uplink / ISP kein Problem. Wenn du aber Server hast die über die festen IP Adressen deines Providers erreichbar sein müssen, dann wird es schon knifflig. In der Regel haben aber (sehr)große Firmen für ihre Diense (Server) etc. ein eigenes Netz (AS) das sie selbst über diverse IX und Transits verbreiten.

[tmp]

- Wie schon gesagt, zuerst brauchst du Ziele: Ich möchte für einen bestimmten Service (z.B. Internetzugang für meine Clients) eine Verfügbarkeit von 99,99%

- Dann brauchst du eine Liste von Abhängigkeiten für den Service bzw. daraus resultierend, eine Liste von potentiellen Fehlerquellen. Das wäre in diesem Fall mindestens:

1. Ein Link oder Knoten in deinem Netzwerk schlägt fehl und das beeinträchtigt den Service

2. Ein Netzwerkdienst schlägt fehl und das beeinträchtigt den Service

3. Deine Internetverbindung über deinen ISP schlägt fehl.

4. Dein Service schlägt fehl.

- Für alle diese Fehlerquellen brauchst du eine Wahrscheinlichkeit. Gute Datenqualität hierzu wirst du nie haben, aber wenn du vergangene Fehlerhäufigkeiten und -dauer gut aufbereitest (was ein Riesenthema ist, du brauchst natürlich eine Mindesthäufigkeit für sinnvolle Aussagen und die hast du oft nicht usw.), bekommst du immerhin eine Vorstellung der Größenordnung und das ist wesentlich besser als nichts.

- Du hast jetzt eine klare Übersicht, an welcher Stelle du anfangen musst. Wenn dein Service einmal die Woche einen halben Tag lang sowieso ausfällt, brauchst du dir keine Gedanken über Multihoming machen.

- Wenn du dann feststellst, dass dein ISP die Hauptfehlerquelle ist und deswegen einen zweiten möchtest, macht es Sinn, sich anzugucken, ob die beiden ISPs nicht möglicherweise denselben physischen Link teilen. Wenn ein Bagger dann die Leitung aufreißt, bringen dir die zwei ISPs nichts.