Indizierungsserver bringt keine Leistung

[Rhasta]

Liebes Forum,

mal wieder bitte ich um euren Rat, wir haben einen neuen Server aufgestellt, welcher Inhalte von Webseiten für einen Suche indizieren soll.

Folgende Hardware wurde verwendet:

Intel® Xeon® Processor E3-1240 v3

32 GB RAM DDR3 1600

Intel® Server Board S1200V3RPO

2 250GB Sandisk SSD im RAID 0 (onboard RAID), auf diesen soll der Index geschrieben werden

1 500GB Sandisk SSD, Hier liegen die Daten, von den der Index erstellt werden soll

1 120GB Sandisk SSD, System (Server 2012 R2) und Anwendungssoftware (Tomcat, Apache Solr).

Die Inizierung erfolgt mittels eines Apache Solr Systems, welches auf einem Apatche Tomcat läuft.

Es handelt sich um ca. 280 GB Daten, welche aus 2-5Kb großen Dateien bestehen.

Die selbe Indizierung läuft auf meinem Rechner in ca. 48 Stunden durch, wobei eine Festplattenuslastung von bis zu ca. 40 MB/s zustande kommt. (auch SSDs). Wenn ich die Indizierung auf dem Server starte bekomme ich nur max. 700KB/s zu stande, was mir absolut unverständlich ist, weiß einer evtl. woran das liegen könnte?

ICh bin mit meinem Latein am ende.

Bis jetzt habe ich durchgeführt:

CPU fest auf die 3,4 GHz gesetzt (intel Speed Step deaktiviert)

Da immer mehr als 200 Files geöffnet wurden habe ich nur noch das parallele öffnen von 8 Files zugelassen. Wenn eines ferig ist, wird sofort das nächste bearbeitet. (das funktioniert auch)

TRIM ist aktiviert

Ich hoffe, jemand hat noch eine Idee, woran das Problem liegen kann.

Auf eine schnelle Antwort hoffend

Mit freundlichen Grüßen

Sven Mayr

[SilentDemise]

Hi Rhasta,

ich habe das RAID 0 im verdacht, was meinst du mit onboard RAID? Software RAID über das Mainboard oder gibt es einen dedizierten Raidcontroller? Sind die Treiber für das system aktuell und vollständig installiert?

[Rhasta]

Ja die Treiber sind alle aktuell, das Raid ist über den Intel Chipsatz realisiert

[SilentDemise]

also ich halte das striping über den chipsatz bei 2-5kb großen Dateien für das Problem. Ich würde an eurer Stelle mal das raid auflösen und direkt auf eine der Platten schreiben. Ich würde darauf tippen, dass die performance steigt.

[Rhasta]

Erstmal danke für deine Schnelle Antwort

Die kleinen Dateien werden von der einzelnen 500GB SSD gelesen, auf dem Stripe wird nur der Index geschrieben, welcher aus Dateien um die 2 GB besteht. Hatte mir aber schon überlegt, ob der Chipsatz allgemein damit überfordert ist, zu lesen und gleichzeitig in nen RAID 0 zu schreiben. Könnte das sein?

[SilentDemise]

durchaus möglich, gerade wenn es um leistung geht würde ich einen dedizierten RAID Controller empfehlen, gute Erfahrungen habe ich z.B. bei Adaptec.

[Rhasta]

Da bin ich ein Fan von LSI , ja ist dann die nächste Überlegung, das Problem ist nur, dass der Kunde wie immer den Rechner am besten schon gestern will ....

[SilentDemise]

ansonsten Firmware upgrade der ssds versucht? Mal einen einzeltest der platte gemacht bei einem größeren File, nicht dass der Controller einfach fritte ist?

[Rhasta]

Die Firmware ist auf dem aktuellen stand. Das raid deaktivieren muss ich heute nacht probieren, derzeit der Kunde probiert, ob sein Code das Problem ist.

Ich melde mich, wenn ich das testen konnte, aber vielen vielen Dank für die Hilfe schon einmal

Grüße

Sven

[Rhasta]

Also der betrieb ohne das RAID brachte auch keine Veränderung, meine Vermutung liegt nahe, dass es an der Indizierungssoftware liegt. Der Kunde (Hersteller dieser Software basierend auf Solr) weißt dies natürlich von sich, allerdings kann ich mir kein Problem seitens der Hardware oder BS vorstellen. Da alle anderen Tätigkeiten, die ich ausgeführt habe rasant laufen und das System gut auslasten.

[paperdoll]

Im zweifel den Durchsatz mit einem Tool we iometer ( Iometer project ) testen um Probleme mit der Hardware auszuschließen.