Teilmigration einer Monitoring-Lösung in Richtung Cloud-Services

[slayxs]

Hallo liebe Community,

ich muss meinen Projektantrag wahrscheinlich erst gegen September einreichen, mache mir aber jetzt schon Gedanken darüber. Da dies bisher noch eine sehr waage Planung ist bitte ich eine Unvollständigkeit der Daten zu entschuldigen. Ich muss nur wissen ob der Ansatz für ein FiSi Projekt in Ordnung ist, damit ich in die weitere Planung gehen kann (ich lerne in einem sehr sehr großen Unternehmen).

Vielen Dank!

1.Thema

Teilmigration der Monitoring-Lösung „Splunk“ in Richtung Amazon Web Services

 

2. Bearbeitungszeitraum

XX.XX.XXXX – XX.XX.XXXX

 

3. Projektbeschreibung

Der Auftraggeber für dieses Projekt ist die Firma  ... . Einzelne Teams der XXXXX betreiben bereitgestellte Applikationen bereits in einer Amazon Web Services Cloud Umgebung. Diese Applikationen sind momentan an eine interne Monitoring-Software „Splunk“ angebunden und schicken beispielsweise Logfiles via HTTPS verschlüsselt an die Plattform. Die Plattform wird bisher ausschließlich hochverfügbar in Musterstadt gehostet, wobei aber die Cloud-Systeme in verteilten Rechenzentren liegen. Nun soll auch ein Teil der Splunk-Plattform in Richtung der Cloud-Umgebung deployed werden. Ziel des Projektes ist es einen „Proof-of-Concept“ für diese Architektur zu planen und durchzuführen und gleichzeitig eine Evaluation verschiedener Unix-Betriebsysteme, für die Teilmigration von Splunk, vorzunehmen. Durch den Prozess der Teilmigration sollen unnöige Datenströme vermieden werden, Bandbreite eingespart und Logfiles direkt dort ausgewertet und aggregiert werden wo die Systeme sie auch erzeugen. Dieser Vorgang erhöht zudem die Sicherheit und Integrität der Daten und denzentralisiert die entstehende Last auf der Plattform, was zur Performancesteigerung beiträgt und letztendlich einen störungsfreien Betrieb unterstützt.

[mapr]

Warum soll migriert werden?
Warum ausgerechnet Amazon Web Service (Datenschutz etc.)?
Du triffst keine Entscheidungen, von daher für mich ungeeignet.

[slayxs]

Gerade eben schrieb mapr:

Warum soll migriert werden?
Warum ausgerechnet Amazon Web Service (Datenschutz etc.)?
Du triffst keine Entscheidungen, von daher für mich ungeeignet.

AWS steht fest weil die Applikationen die nicht in unserer Veranwortung liegen in AWS betrieben werden und es eine Anforderung ist, dass die Daten direkt dort eingesammelt werden.

Migration soll statt finden um die Daten nicht erst wieder von AWS auf unsere internen Server zu schieben um sie dann hier aufzubereiten. Die Daten sollen direkt dort von der Software aufbereitet werden damit keine rohen Logfiles über die Leitung laufen. Meine Entscheidungsfreiheit liegt dann darin wie genau die Konfiguration der einzelnen "VMs" in AWS aussehen soll da es dort auch verschiedene Optionen gibt (Betriebsystem, IP-Adressen, Endpunkte für Applikationen, Anbindung an interne Systeme die außerhalb von AWS sind)

Ich verstehe deine Bedenken deshalb kümmere ich mich auch so früh darum..

[Klebrig]

Wird 100%ig abgelehnt, wenn AWS feststeht.

[mapr]

Wirtschaftlichkeit fehlt mir auch noch.

[slayxs]

vor 9 Minuten schrieb Klebrig:

Wird 100%ig abgelehnt, wenn AWS feststeht.

Ich kann vorher auch einen Vergleich zwischen Inhouse-Hosting und AWS machen - da wären wir dann auch bei dem unteren Punkt.

vor 7 Minuten schrieb mapr:

Wirtschaftlichkeit fehlt mir auch noch.

Die Wirtschaftlichkeit könnte ich einbinden indem ich noch eine Kosten-Nutzen-Analyse über den obigen Punkt mache.

 

Danke euch schon einmal für die Antworten, ihr helft mir ungemein

 

Bearbeitet 26. April 2017 von slayxs

[mapr]

Ein Projekt wird nicht dadurch besser, dass man was "ranflickt".
So wie du es aktuell darstellst, reicht es definitiv nicht.
Aber das sind nur unsere beiden Meinungen.
Bei deinem "richtigen" Antrag hätte ich dann auch noch gerne eine Zeitplanung mit dabei.

[slayxs]

vor 41 Minuten schrieb mapr:

Ein Projekt wird nicht dadurch besser, dass man was "ranflickt".
So wie du es aktuell darstellst, reicht es definitiv nicht.
Aber das sind nur unsere beiden Meinungen.
Bei deinem "richtigen" Antrag hätte ich dann auch noch gerne eine Zeitplanung mit dabei.

An welchen Stellen reicht es denn nicht?

Wenn ich das ganze so auslege: Es gibt eine Kundenanforderung die Monitoring-Infrastruktur von Splunk für Cloud basierte Anwendungen zu optimieren, da es zu teuer und uneffizient ist rohe Logfiles über weite Distanzen zu transferieren (Stichwort: Latenzen, Real-Time Analysis). Dafür mache ich einen Vergleich zwischen Inhouse-Hosting und dem Hosting an den Cloud basierten Diensten in AWS. Dabei kommt raus, dass es aus performance, sicherheitsrelevanten und wirtschaftlichen Gründen Sinn macht das Tool direkt auf die Cloud-Maschinen auszulagern.

Dann setze ich eine Splunk Umgebung (als Virutelle Maschine) inkl. OS Config, IP-Adressvergabe usw. in einem AWS VPC auf und binde die aufbereiteten Daten an das interne Hauptsystem in unserem eigenen RZ an (HTTPS, Firewall-Freischaltungen, Authtokens etc.).

Den gesamten Vorgang kann ich dann prinzipiell auch automatisieren => Infrastructure as code.

Fachlich sollte das doch mehr als genug sein? Ist wesentlich umfangreicher als irgendein Dienst den man im Netzwerk implementiert und zur Verfügung stellt oder der Vergleich von Software und dessen Einführung.

___

Voller Antrag inkl. Zeitplanung folgt dann sobald ich das Thema etwas konkretisieren konnte :-)

LG

[mapr]

vor 12 Stunden schrieb slayxs:

Dabei kommt raus, dass es aus performance, sicherheitsrelevanten und wirtschaftlichen Gründen Sinn macht das Tool direkt auf die Cloud-Maschinen auszulagern.

Sicherheitsrelevante Gründe und Cloud ...

... da beißt sich bei mir was.

Zitat

Fachlich sollte das doch mehr als genug sein? Ist wesentlich umfangreicher als irgendein Dienst den man im Netzwerk implementiert und zur Verfügung stellt oder der Vergleich von Software und dessen Einführung.

Da geb ich dir recht. Mir erscheint dein Projekt dennoch zu dünn.

Du setzt ein OS auf, vergibst IPs in und bindest es, inkl. Firewall-Konfiguration (wie umfangreich ist die)?, in euer RZ ein. Das kann auch ein Azubi und ist für einen FISI, meiner Meinung nach, zu wenig.

[slayxs]

Am 27.4.2017 um 06:03 schrieb mapr:

Sicherheitsrelevante Gründe und Cloud ...

... da beißt sich bei mir was.

Da geb ich dir recht. Mir erscheint dein Projekt dennoch zu dünn.

Du setzt ein OS auf, vergibst IPs in und bindest es, inkl. Firewall-Konfiguration (wie umfangreich ist die)?, in euer RZ ein. Das kann auch ein Azubi und ist für einen FISI, meiner Meinung nach, zu wenig.

Wie ist deine Meinung hierzu?

3. Projektbeschreibung

 

Der Auftraggeber für dieses Projekt ist die Firma XXXXXX. Einzelne Teams des Unternehmens evaluieren zum Zeitpunkt des Projektantrages die Cloud Umgebung Amazon Web Services (kurz AWS) um dort Applikationen und Services (bspw. Webservices) bereitzustellen. Diese Applikationen sind momentan an eine interne Log-Management-, Monitoring- und Reporting-Software „Splunk“ angebunden und liefern Logfiles in Richtung dieser. Die Splunkplattform wird jedoch bisher ausschließlich in Musterstadt betrieben, wobei die Cloud-Applikationen auf virtuellen Maschinen in national verteilten Rechenzentren liegen. Nach der bisherigen Systemarchitektur müssten hohe Datenmengen (unaggregierte Logfiles) über das Netzwerk transportiert und erst an weiteren internen Maschinen aggregiert und ausgewertet werden.

Ziel des Projektes ist es eine Splunk-Instanz, neben den bestehenden Applikationen, innerhalb der Cloud-Umgebung bereitzustellen und an die Hauptinstanzen, im internen Rechenzentrum, anzubinden. Sodass keine zusätzliche eigene Hardware für die Verarbeitung von Logfiles benötigt wird. Gleichzeitig ist eine Evaluation verschiedener Betriebsysteme, für die Teilmigration von Splunk, obligatorisch. Durch den Prozess der Plattformerweiterung sollen überflüssige Datenströme vermieden und Ressourcen eingespart werden. Dieser Vorgang kann zudem die Integrität der Daten erhöhen und die entstehende Last auf der Plattform dezentralisieren. In Folge dessen kann eine Kostensenkung und Performancesteigerung erwartet werden.

 

________________

Bei dem Endteil bin ich mir noch nicht ganz sicher weil das wohl eher in das Ergebnis kommt. Das ganze Projekt hat schon eine Art Proof-of-concept Charakter aber im Endeffekt integriere ich eine Applikation innerhalb eines bestehendes System (extern) und binde dies auch noch an die existierende Infrastruktur an. Gegen den ganzen Kram kann ich dann auch noch super Tests fahren und Daten erzeugen und importieren.

LG