GitLab 100% CPU Load

[RubberDog]

Moin,

ich hab hier ein GitLab CE 10.5.4 in einer VM laufen.
Seit dem Update vor kurzem dreht die Load allerdings völlig ab und beeinträchtigt auch das Host-System ganz ordentlich.

Ein kurzer Blick auf "top" im Anhang.

 

Hat(te) jemand das gleiche Problem, und hat eine Lösung gefunden?

Die üblichen Wege wie Google und der GitLab Bugtracker brachten bisher keine hilfreichen Hinweise.

[RubberDog]

Noch keine endgültige Lösung, aber falls jemand mal ein ähnliches Problem hat - die Quelle habe ich vermutlich gefunden.

Nach längerem, langweiligem Studium der Logfiles mit tail -f fiel im production.log plötzlich folgendes auf, als die User langsam eintrafen und $Dinge taten:

Started POST "/ci/api/v1/builds/register.json" for <client-ip> at 2018-04-04 09:18:40 +0200

ActionController::RoutingError (No route matches [POST] "/ci/api/v1/builds/register.json"):
  lib/gitlab/request_context.rb:18:in `call'
  lib/gitlab/metrics/requests_rack_middleware.rb:27:in `call'
  lib/gitlab/middleware/release_env.rb:10:in `call'

Dazu gibt es Einträge im Bugtracker zu GitLab, es wird zurückgeführt auf veraltete Instanzen von gitlab-runner.

Jetzt kam eine Vermutung auf, die ich mit

tail -10000 production.log | grep <client-ip> | wc -l

prüfen wollte.

Tatsache.
300 Versuche EINES Clients innerhalb von nicht einmal 5 Minuten.
Das ganze für bis zu 50 Clients, wenn alles in Betrieb ist.
Kein Wunder, dass der Server abdreht.

Das Problem ist, dass die gitlab-runner auf Clientseite aktuell sind. Vermutlich also eine config, die ins leere zeigt.

Bearbeitet 4. April 2018 von RubberDog