Textauswertung

[onz]

Hallo zusammen,

ich arbeite gerade an einen Projekt bei dem Daten(Access Datenbank) mittels einer C# Oberfläche visualisiert und verarbeitet werden. Bei den Daten handelt es sich um Zahlen. Soweit so gut, bisher alles machbar.

Aber jetzt kommt mein Problem:

Es soll möglich sein zu einen bestimmten Datensatz Notizen zu schreiben, aus diesen Notizen soll dann eine Art Bewertung erfolgen. z.B.: Ist das Gespräch gut verlaufen, gab es Veränderungen....

Gibt es dafür einen Algorithmus bzw. schon Software welche sowas realisiert.

Meine Idee ist bisher: Bestimmte Schlagwörter definieren und in Gruppen einteilen. Je nach vorkommen dann einen bestimmten Trend anzeigen.

Natürlich müssten sich dann die Benutzer immer an diese Schlagwörter halten und die müsste man ja auch erstmal vermitteln.

Kennt sich jemand auf dem Gebiet aus bzw. hat einen Tipp für mich?

[flashpixx]

Es soll möglich sein zu einen bestimmten Datensatz Notizen zu schreiben, aus diesen Notizen soll dann eine Art Bewertung erfolgen. z.B.: Ist das Gespräch gut verlaufen, gab es Veränderungen....

Du müsstest vielleicht einmal genauer definieren "was" Du konkret an Daten hast, z.B. reelle Zahlen, Texte, Schlagwörter usw.

Gibt es dafür einen Algorithmus bzw. schon Software welche sowas realisiert.

Meine Idee ist bisher: Bestimmte Schlagwörter definieren und in Gruppen einteilen. Je nach vorkommen dann einen bestimmten Trend anzeigen.

Du kannst ggf "term frequency / inverse document frequency" verwenden, dann müsstest Du keine Schlagwörter vorgeben. Wenn Du mit dissimilarties / similarties arbeitest, dann kann man das auch visualisieren oder auch clustern, so dass Du "Gruppen von ähnlichen Daten" bekommst.

Letztendlich kommt das aber darauf was Du für Daten konkret hast und welcher Art die Daten sind

[onz]

Erstmal Danke für die Antwort!

Du müsstest vielleicht einmal genauer definieren "was" Du konkret an Daten hast, z.B. reelle Zahlen, Texte, Schlagwörter usw.

Ein Datensatz besteht aus einen Namen(Varchar) und mehreren natürlichen Zahlen von 1-10. Aus diesen Zahlen ergeben sich später bestimmte Bewertungsfunktionen die den Erfolg oder Misserfolg bestimmen. Das ist aber nicht das Problem. Zu jeden Datensatz soll es dann noch eine Art "Notiz" geben, in dem jeder Benutzer noch einen Kommentar hinterlassen kann. Laut Anwender sollen diese individuellen Kommentare dann ausgewertet werden wie sich das Gespräch entwickelt hat. Nachdem ich jetzt mal eine Nacht drüber geschlafen habe, ist mir in den Sinn gekommen das ich da nicht wirklich weiter komme wenn ich jeden individuellen Text auswerte. Sondern das ich da einen Prozess einführen muss der sich objektiv bewerten lässt. Weil ich glaube es ist nicht sinnvoll jeden individuellen Kommentar auszuwerten und daraus einen Trend abzuleiten.

[flashpixx]

Ein Datensatz besteht aus einen Namen(Varchar) und mehreren natürlichen Zahlen von 1-10. Aus diesen Zahlen ergeben sich später bestimmte Bewertungsfunktionen die den Erfolg oder Misserfolg bestimmen.

Ich denke, dass sollte ja nicht das Problem sein, das auszuwerten, also ....

Das ist aber nicht das Problem. Zu jeden Datensatz soll es dann noch eine Art "Notiz" geben, in dem jeder Benutzer noch einen Kommentar hinterlassen kann. Laut Anwender sollen diese individuellen Kommentare dann ausgewertet werden wie sich das Gespräch entwickelt hat.

Das wäre technisch möglich, letztendlich wäre das so etwas wie eine Textanalyse, wobei es hier relative elegante Verfahren gibt um so etwas auszuwerten ohne, dass man sich um den "realen" Text kümmern muss (z.B. normalized compression distance, ich habe dafür mal einen Artikel geschrieben Normalized Compression Distance | flashpixx.de)

Weil ich glaube es ist nicht sinnvoll jeden individuellen Kommentar auszuwerten und daraus einen Trend abzuleiten.

Das ist korrekt, denn Du gehst hier in die Richtung "collaberative filtering", d.h. Du hast n Items (das wären Deine Bewerbungen) und k Bewerter, nun willst Du letztendlich so etwas haben, wie "würde ein Bewerter" eine noch "unbekannte" Bewerbung bewerten (z.B. Amazon macht so etwas wenn sie unten auf den Webseiten angeben "das könnte sie auch noch interessieren").

Den "Trend" den Du damit gewinnst, wäre eine Aussage für eine neue Bewerbung, ob sie eben den Anforderungen genügt oder nicht. Wobei die Basis eben, der in der Datenbank gehaltene "Wissensstand" ist.

Visualisieren lässt sich das auch, d.h. Du kannst einmal sehen, wo die Bewerbungen sich einordnen und wo die Bewerter sich einordnen, denn es wird Menschen geben, die werden generell etwas schlechter bewerten und manche generell etwas besser.

Generell ist das aber kein einfaches Thema bzw. fertige Toolboxen sind mir auch nicht bekannt, d.h. man muss selbst das Hirnschmalz reinstecken und dann für seine Bedürfnisse das ganze anzupassen.