bluegreencity-ki

Static Weighting Comparison 2026-04-04

Ziel

Dieses Dokument vergleicht die getesteten statischen Gewichtungsrouten für die Dürre-Risikobewertung. Bewertet wurden zwei Arten von Varianten:

  1. Reine ML-abgeleitete Gewichtungen auf Basis aggregierter Stable-Baseline-Feature-Importances mit Potenz-Exponent p
  2. Hybride Varianten, die ML-Importances mit einem expliziten Fachprior mischen

Multi-Objective in einfachen Worten

Multi-Objective bedeutet hier nicht: “eine perfekte Zauberformel finden”. Es bedeutet nur, dass nicht eine einzige Kennzahl optimiert wird.

Statt nur auf ROC-AUC zu schauen, werden mehrere Ziele gleichzeitig betrachtet:

  1. hohe ROC-AUC
  2. gute F1
  3. möglichst brauchbare Trennung der Extreme über den Lift
  4. keine zu extreme Dominanz von vitality

Praktisch heißt das: Für viele Kandidaten werden alle vier Größen berechnet. Danach wird nicht die Variante mit dem höchsten Einzelwert genommen, sondern die mit dem besten Gesamtkompromiss.

In der Offline-Suche wurde dafür folgende zusammengesetzte Bewertungsfunktion verwendet:

Die so beste Variante wurde danach noch einmal als echter Pipeline-Lauf validiert.

Was p bedeutet

Für die reinen ML-Varianten gilt:

Gewicht eines Kriteriums ist proportional zu (aggregierte ML-Importance)^p.

Danach werden die Gewichte auf Summe 1.0 normalisiert.

Die Wirkung ist:

  1. p = 1.0: rohe aggregierte ML-Importances, nur normalisiert
  2. p < 1.0: Unterschiede werden geglättet, dominante Kriterien verlieren etwas Gewicht
  3. p > 1.0: dominante Kriterien würden noch stärker betont

Fachprior-Variante

Die Fachprior-Varianten mischen zwei Informationsquellen:

  1. ML-Signal aus den aggregierten Stable-Baseline-Importances
  2. fachliche Priorisierung, die Wasserverfügbarkeit, Mikroklima und Standortqualität explizit sichtbar hält

Getestet wurden mehrere Mischungsverhältnisse. Der beste reine Blend-Kandidat war:

Vergleich der getesteten Varianten

Variante Typ ROC-AUC F1 Precision Recall Lift Vitality-Gewicht Kurzfazit
p=0.6 reine ML-Potenz 0.6067 0.3518 0.3199 0.3907 0.81 0.3831 ausgewogener als höhere p, aber schwächere globale Trennschärfe
p=0.7 reine ML-Potenz 0.6117 0.3667 0.3335 0.4073 0.71 0.4952 besser bei ROC-AUC/F1, aber deutlicher Lift-Verlust
p=0.8 reine ML-Potenz 0.6132 0.3697 0.3362 0.4107 0.69 0.5702 beste F1 unter den reinen p-Varianten
p=0.9 reine ML-Potenz 0.6138 0.3695 0.3361 0.4104 0.69 0.6372 beste ROC-AUC unter den reinen p-Varianten, aber sehr starke Vitalitätsdominanz
blend 65/35 Fachprior + ML 0.6152 0.3702 0.3366 0.4111 0.78 0.4627 stärkste Gesamtleistung unter den direkt fachlich gemischten Varianten
blend 55/45 Multi-Objective 0.6148 0.3673 0.3340 0.4079 0.81 0.4128 bester Gesamtkompromiss aus Leistung, Lift und begrenzter Vitalitätsdominanz
blend 55/45 + vitality cap 0.40 capped vitality 0.6142 0.3653 0.3322 0.4057 0.82 0.4000 leicht schwächer global, aber minimal besserer Lift bei kontrollierterer Vitalitätsdominanz

Einordnung

Schneller Vergleich: statische Summe vs. monotone Meta-Variante vs. ML

Die monotone Meta-Variante wurde als separater Test- und Benchmark-Ansatz getestet:

  1. Eingaben sind nur die 20 statischen *_risk-Kriterien.
  2. Modell ist HistGradientBoostingClassifier mit monotonic_cst=[1, ..., 1].
  3. Validierung erfolgt als ehrliche 5-Fold-OOF-Auswertung.
  4. Für die binäre Schwelle wird wie bei der statischen Summe das obere Quartil (q=0.75) der OOF-Scores verwendet, damit der Flagging-Anteil vergleichbar bleibt.

Die aktuell beste getestete Parametersetzung war:

  1. max_depth=4
  2. learning_rate=0.05
  3. min_samples_leaf=30
  4. max_iter=300
  5. l2_regularization=0.0
Modell ROC-AUC F1 Precision Recall Lift top/bottom 5% Top-10%-Prävalenz Top-10%-Capture D1-Prävalenz D10-Prävalenz Interpretation
aktive statische Variante blend 55/45 0.6148 0.3673 0.3340 0.4079 0.81 0.3541 0.1730 0.3541 0.2075 Rangordnung bleibt unscharf; selbst D10 liegt fast auf Basisrate
monotone Meta-Variante 0.7401 0.4571 0.4157 0.5077 24.0 0.5165 0.2524 0.5165 0.0357 klar besserer experimenteller Benchmark, aber kein produktiver Zielpfad
ML-Modell 0.9117 0.6587 0.7879 0.5660 1028.0 0.8738 0.4270 0.8738 0.0019 sehr starke Trennung zwischen geschädigten und ungeschädigten Bäumen 
graph LR
	S[Statische Summe\nROC-AUC 0.6148\nTop-10 35.4%\nD10 20.8%]
	M[Monotone Meta-Variante\nROC-AUC 0.7401\nTop-10 51.7%\nD10 3.6%]
	A[AutoGluon OOF\nROC-AUC 0.9117\nTop-10 87.4%\nD10 0.2%]
	S -->|+0.1253 ROC-AUC| M
	M -->|+0.1716 ROC-AUC| A

Die monotone Meta-Variante schließt als experimenteller Benchmark einen relevanten Teil der Lücke zwischen statischer Summenlogik und vollem ML-Modell:

  1. ROC-AUC steigt gegenüber der aktiven statischen Summe um +0.1253.
  2. F1 steigt um +0.0898.
  3. Die Top-10%-Gruppe enthält 25.24% aller positiven Fälle statt nur 17.30%.
  4. Der unterste Dezilbereich fällt auf 3.57% Prävalenz statt 20.75%, also deutlich näher an eine echte Niedrigrisiko-Zone.

Der ML-Lift bleibt trotzdem extrem höher, weil das volle Modell die positive Klasse in den obersten 5% fast vollständig konzentriert und im untersten Dezil nahezu eliminiert.

Die getesteten Varianten zeigen ein klares Muster:

  1. Mehr ML-Dominanz verbessert ROC-AUC und F1 leicht.
  2. Gleichzeitig sinkt der Lift der Extremgruppen.
  3. Reine p-Erhöhungen treiben vor allem vitality stark nach oben.
  4. Die Fachprior-Mischung kann einen Teil der globalen Leistung halten, ohne die physisch erklärbaren Standortfaktoren fast vollständig zu verlieren.
  5. Ein zusätzliches Vitalitäts-Cap verbessert den Lift nur leicht und kostet dabei etwas ROC-AUC und F1.

Empfehlung

Wenn das Ziel ausschließlich innerhalb der statischen Summenlogik bleibt, ist blend 55/45 weiterhin die sinnvollste Arbeitsvariante:

  1. sie ist unter den getesteten Gewichtungsrouten der beste Gesamtkompromiss,
  2. sie hält die fachliche Lesbarkeit der Einzelkriterien,
  3. und sie vermeidet die stärkste Vitalitätsdominanz der hohen p-Varianten.

Die monotone Meta-Variante bleibt trotzdem in der Dokumentation, weil sie methodisch zeigt, was mit denselben 20 statischen Kriterien unter Monotonie noch erreichbar wäre:

  1. sie nutzt weiterhin nur die statischen Kriterien,
  2. sie erzwingt monotone Wirkungen aller Kriterien,
  3. sie verbessert ROC-AUC von 0.6148 auf 0.7401,
  4. sie ist aber ausdrücklich nur als Offline-Test und nicht als produktive Zielarchitektur gedacht, weil das volle ML-Modell klar besser bleibt.

Die zusätzlich getestete capped-vitality-Variante blend 55/45 + vitality cap 0.40 bleibt plausibel, war aber im produktiven Lauf kein klarer Fortschritt: Der Lift stieg nur von 0.81 auf 0.82, während ROC-AUC von 0.6148 auf 0.6142 und F1 von 0.3673 auf 0.3653 zurückging.

Laufquellen

Laufzeit-Artefakte (Logs und data/output/-Verzeichnisse) liegen nur auf der Projekt-Workstation — die Pfade unten sind Verweise, keine Links.

Die zentralen produktiven Testläufe waren:

  1. p=0.7: logs/pipeline_run_20260404_123146.log
  2. p=0.8: logs/pipeline_run_20260404_133059.log
  3. p=0.9: logs/pipeline_run_20260404_134301.log
  4. blend 65/35: logs/pipeline_run_blend65_20260404_164056.log
  5. blend 55/45 / Multi-Objective: logs/pipeline_run_multiobj_20260404_165234.log
  6. blend 55/45 + vitality cap 0.40: logs/pipeline_run_capped_vitality_20260404_173640.log

Die jeweils letzten validierten Kennzahlen stammen aus den zugehörigen Report-CSV unter data/output/hannover_gesamt/report/validation/static/overall_metrics.csv und data/output/hannover_gesamt/report/validation/static/extreme_group.csv.

Die neuen Ranglisten-Artefakte für aktive statische Variante, monotone Meta-Variante und ML liegen zusätzlich hier:

  1. data/output/hannover_gesamt/report/validation/static/top_k_analysis.csv
  2. data/output/hannover_gesamt/report/validation/static/decile_analysis.csv
  3. data/output/hannover_gesamt/report/validation/ml/top_k_analysis.csv
  4. data/output/hannover_gesamt/report/validation/ml/decile_analysis.csv
  5. data/output/hannover_gesamt/report/validation/monotone_meta/overall_metrics.csv
  6. data/output/hannover_gesamt/report/validation/monotone_meta/top_k_analysis.csv
  7. data/output/hannover_gesamt/report/validation/monotone_meta/decile_analysis.csv
  8. data/output/hannover_gesamt/report/validation/monotone_meta/comparison_to_static.csv
  9. data/output/hannover_gesamt/report/validation/monotone_meta/parameter_search.csv