📐 Kurzübersicht der Formeln
Sigmoid- / Logistische Funktion
g(z) = 1 / (1 + e−z), z(i) = b₀ + b₁x₁(i) + ... + bmxm(i)
Binäre Kreuzentropie (Log-Loss)
Loss = −∑ [ y(i)·ln(g(z(i))) + (1−y(i))·ln(1−g(z(i))) ]
Gradient (binär & Mehrklassen)
∂Loss/∂bm = ∑ (g(z(i)) − y(i)) · xm(i) ← Fehler × Merkmal
Kennzahlen der Konfusionsmatrix
Genauigkeit = (TP+TN) / (TP+TN+FP+FN)
Precision = TP / (TP+FP), Recall = TP / (TP+FN)
F1 = 2·P·R / (P+R), Specificity = TN / (TN+FP)
Achsen der ROC-Kurve
TPR = Recall = TP/(TP+FN), FPR = 1−Specificity = FP/(FP+TN)
Optimum T: maximiere (TPR − FPR) [Youden's J]
Softmax (Mehrklassen)
softmax(z)k = ezk / ∑j ezj, ŷ = argmaxk softmax(z)k
Entscheidungsgrenze (2D, T=0,5)
b₀ + b₁·x₁ + b₂·x₂ = 0