 |
| ||||||||||
2.3.5.4: Bewertung von Kategorisierungsergebnissen
Für die Bewertung von KDD-Algorithmen verfährt man - wie in Abschnitt 2.3.2 bereits angedeutet - im Prinzip ähnlich wie bei der Bewertung von Information-Retrieval-Verfahren. Man verwendet eine Testmenge, die möglichst repräsentativ für die Verteilung der Beispiele in dem Bereich sein sollte, der mit dem erzeugten Algorithmus bearbeitet werden soll. Aufgrund der richtig bzw. falsch kategorisierten Beispiele der Testmenge kann man wie in Abschnitt 1.3.7.3 Precision- und Recall-Werte für jede Kategorie berechnen. Allerdings heißt die Precision dabei häufig classification accuracy. Recall wird auch Abdeckung oder Coverage genannt.
Formal lässt sich das so formulieren:
Definition 13: Accuracy und Coverage
Man sieht unmittelbar, dass diese Definition eine Verallgemeinerung der Definition von Precision und Recall aus Abschnitt 1.3.7.3 ist: Setzt man als gegebene Kategorisierung K={r-1q({ 0}),r-1 q({1}) } und als berechnete Kategorisierung Q={D\Dq,Dq} ein, hat man die dort gegebenen Definitionen von Precision und Recall. Die Definition zeigt auch, dass in einer symmetrischen Sichtweise, wenn nämlich die vorgegebene Kategorisierung und die berechnete einfach als zwei verschiedene Kategorisierungen mit gleich vielen Kategorien betrachtet werden, die Precision durch Austauschen der Rollen der beiden Kategorisierungen aus dem Recall hervorgeht und umgekehrt.
Um eine Kategorisierung zu bewerten, können mittlere Genauigkeits- bzw. Abdeckungswerte berechnet werden. Dabei lassen sich die Mittelwerte wie in Abschnitt 1.3.7.4 wieder als Mikro- oder Makrobewertungen berechnen.
Im Allgemeinen ist es bei Kategorisierungen nicht sinnvoll, Precision-Recall-Diagramme zu benutzen, da die Algorithmen keine Ähnlichkeitswerte zu einer Anfrage und damit keine Rangfolge liefern, sondern ein binäres Ergebnis: Ein Dokument wird einer Kategorie zugeordnet oder nicht. Werden Kategorien durch Attribute auf höherem Skalenniveau (z.B. Intervallskalenniveau) definiert, kann es sinnvoll sein, Ähnlichkeiten zu berechnen und Precision-Recall-Diagramme zu verwenden.
| Navigation | [ Zurück ] [ Inhalt ] [ Stichwörter ] [ Feedback ] [ Home ] |
| Position im Angebot | Information Retrieval -> Wissensgewinnung mit Data-Mining-Methoden -> Kategorisieren -> Rahmenbedingungen für Lernalgorithmen |
| Dieser Abschnitt und seine Unterabschnitte | ||||||
| Inhalt | Stichwörter in der Reihenfolge ihres Auftretens | Stichwörter alphabetisch sortiert | ||||
|
Testmenge, Precision, Recall, classification accuracy, Abdeckung, Coverage, Accuracy, Coverage, Kategorisierung, Genauigkeit, Abdeckung, Mikrobewertung, Makrobewertung, Skalenniveau | Abdeckung, Abdeckung, Accuracy, classification accuracy, Coverage, Coverage, Genauigkeit, Kategorisierung, Makrobewertung, Mikrobewertung, Precision, Recall, Skalenniveau, Testmenge | ||||