bluegreencity-ki

ML-Methodik – Der Faden

Stand: 2026-10-11 · Operationelles Modell: 2026_10 (Force-Refit 2026-10-08) · Zielgröße: future_drought_damage_severe_t1

Dieses Dokument ist der durchgehende Erzähl-Faden durch die ML-Methodik – von den Rohdaten bis zum operationellen Produkt. Es beantwortet in einer Reihung und an einem Ort die Fragen, die Partner (LHH), Fördergeber und Prüfer stellen. Jedes Kapitel verweist auf die Stelle, an der die Evidenz sichtbar ist (Grafana-Dashboard, Artefakt, Doku). Wer nur ein Dashboard liest, bekommt Schnipsel; wer diesen Faden kennt, kann die Methodik in 20 Minuten nachvollziehen.

Der Faden in acht Schritten:

Daten → Zielgröße → Features → Modell → Validierung → Kalibrierung → Schwellen → operatives Produkt

---

Kapitel 1 – Daten: Was wissen wir über die Bäume?

• Quelle: Konsolidierter Export des LHH-Baumkatasters (v6). Jede Zeile ist eine Beobachtung eines Baums zu einem Stichtag – kein Querschnitt, sondern ein Längsschnitt (Panel): derselbe Baum erscheint in jedem Jahr mit seinen damaligen Zustands- und Standortmerkmalen.
• Zeitraum: 2018–2024, 141.394 Baum×Jahre im operationellen Trainings-Panel.
• Feature-Familien (Detail: Kapitel 3): Kataster (Art, Krone, Stamm), Raster-Abfragen am Baumpunkt (SVF, Lufttemperatur 14h, Grundwasser, Klima DWD), Pflanzstandort- und CITREE-Merkmale, SWBM-Bodenwasser (Tages-State) und räumliche Features (H3-Zellen, UTM-Koordinaten, Ring-Aggregationen).
• Zeitliche Konsistenz: Alle Features stammen aus dem Snapshot-Jahr t, das Label aus t+1 → kein Lookahead. Mehr-Varianten-Bäume (unbekanntes Alter) gehen per konservativer Envelope in die Features ein.

→ Sichtbar: Dashboard „Datenlage & Feature Explorer” (Abdeckung je Feature-Jahr), Doku: ../data_flow_overview.md

Kapitel 2 – Zielgröße: Was prognostizieren wir?

• Definition B+ (LHH-abgestimmt): Schwerer Trockenstress im Folgejahr (t+1). Composite-Score 2·Wipfeldürre + 1·Belaubung + 1·Vitalitätsveränderung t+1; ab Score ≥ 2 ODER Fällung im Label-Fenster mit Fällgrund „absterbend” gilt ein Baum als schwer trockengeschädigt.
• Totholz ist bewusst ausgeschlossen – es ist kumuliert und kein sauberes Folgejahr-Signal.
• Basisrate: ~16,8 % der Baum×Jahre sind positiv (Dürreschaden konzentriert sich räumlich eher außerhalb des A37-Rings: Umland 21,5 % vs. Innenstadt 13,2 %).
• Warum t+1: Das Modell steuert die Bewässerungsplanung – es muss prognostisch sein, nicht beschreibend.

→ Sichtbar: Lagebild, Textpanel „Modelltraining & Längsschnittdatensatz”; Doku: ml_risk_scoring_guide.md

Kapitel 3 – Features: Was darf das Modell wissen?

• 54 Features aus einer expliziten Allowlist (feature_columns in config.yaml): die 35 Features des 2026_09-Modells plus 19 Kandidaten aus dem 2026-10-Feature-Bundle.
• Räumliche Features (7):
  • h3_res7 / h3_res8: H3-Hexagon-ID des Standorts als Kategorie (res 7: ~5,2 km², 54 belegte Zellen; res 8: ~0,74 km², 276 Zellen, ~323 Bäume/Zelle im aktuellen Inventar). Sie bündeln Standortseffekte, die keine Punkt-Raster abbilden (Boden, Pflegepraxis, Beplanungslogik).
  • Rechtswert / Hochwert: rohe UTM-Koordinaten (EPSG:25832, Meter) – erlauben axis-parallele Splits und extrapolieren bei neuen Standorten besser.
  • ring8_*: Aggregationen über Zelle + 6 Nachbarzellen (Baumzahl, SVF-Mittel, Lufttemperatur-Mittel, self-exkludiert) – räumlicher Kontext als Zahlen.
• SWBM-Bodenwasser (6): strikt aus Snapshot-Jahr t (Trockenfenster 01.05.–31.10. plus Jahresend-State) – der physikalische Trockenstresstiefgang des Standorts.
• spatial_block ist KEIN Feature: ein festes 2×3-Grid (6 Blöcke, datenunabhängig, jahrsstabil) dient nur als Gruppierungs-Schlüssel für räumlich ehrliche Cross-Validation (Kapitel 5).
• A/B-Kandidaten (6): Wiederaufnahme bisher ausgemusterter Features; die Permutations-Importance des Trainingslaufs entscheidet, ob sie bleiben.

→ Sichtbar: Methodik, Panels „Feature-Katalog nach Modellrelevanz” (mit p-Wert und „Einordnung”) und „Korrelationsmatrix”; Doku: automl_features.md

Kapitel 4 – Modell: Was rechnet das?

• AutoGluon-AutoML, Preset best_quality: mehrschichtiges Stacking + Bagging mehrerer Basismodelle (GBM, CatBoost, XGBoost, Random Forest, Extra Trees), automatische Portfolio-Auswahl nach Validierungsgüte. AutoML statt Handtuning: tabulare Daten, kleine Samples, Reproduzierbarkeit und eingebaute Erklärbarkeit.

• Zwei-Modell-Workflow (Kern der Methodik):

  	Validierungsmodell	Operationelles Modell
  Training	2018–2023	2018–2024
  Externer Test	2024 (nie gesehen)	keiner (2024 wäre Trainingsjahr)
  Aufgabe	Nachweisen, dass der Ansatz auf unbekannte Jahre generalisiert	Die laufenden 2026er-Vorhersagen liefern
  Metriken	ehrliche Out-of-time-Werte (Referenz)	keine externen Metriken – bewusst so kommuniziert

  Ein einziges Modell kann beides nicht: Wer auf allen Daten trainiert, hat keinen ehrlichen Test; wer 2024 zurückhält, verschenkt ein Trainingsjahr. Deshalb zwei Modelle, getrennte Kommunikation – jede Zahl muss immer sagen, von welchem Modell sie stammt.

• Monatliches Re-Training mit Drift-Watch: fällt die externe AUC > 0,05 gegenüber dem Vormonat, erzeugt der Metrik-Import eine Warnung.
• Das operationelle 2026_10-Modell wurde am 2026-10-08 per Force-Refit neu trainiert (der automatische Refit hatte das 2026_09-Modell still wiederverwendet – Feature-Fingerprint im Manifest, issue #258).

→ Sichtbar: „Methodik & Validierung”, Panels „Trainings- und Validierungsübersicht”, „AutoGluon-Modellvergleich” und die Drift-Watch-Panels; Doku: dual_validation_operational_workflow.md

Kapitel 5 – Validierung: Wie wissen wir, dass es gut ist?

Die Evidenz-Kette, in der Reihenfolge, in der sie geprüft wurde:

1. Externer 2024-Holdout (Validierungsmodell): ROC-AUC 0,9697 (Baseline 2026_09: 0,9647), Brier 0,041, Precision 0,944 / Recall 0,795 @ Schwelle 0,5.
2. Interne vs. externe Kontrolle: Standard OOF ≈ 0,954 → Gap nur +0,016 (keine nennenswerte Überoptimierung); OOF je Jahr stabil über 2018–2023.
3. Grouped CV (Panel-bewusst, 2026_10):
   • Neue Bäume (objectid): AUC 0,888 (Folds 0,879–0,893) – unbekannte Individuen.
   • Neue Viertel (h3_res8): AUC 0,805 (Folds 0,788–0,820) – gänzlich unbekannte Standorte. Der Abstand (~0,08) ist das gemessene räumliche Transfer-Defizit, nicht ein verstecktes.
4. Zonen-AUC: Innenstadt (≤5 km Rathaus) 0,808 vs. Außenstadt 0,779 – Gap nur −0,029, kein akutes Transferproblem zwischen Stadtteilen.
5. Moran’s I auf OOF-Residuen: 0,011 (p = 0,001, bei n = 141k selbst minuscule Effekte signifikant) – die Vorhersagefehler sind räumlich nicht geclustert.

6. Ablation 2×2 (2026-10-07, Spatial-CV-Entscheidung):

   	ohne H3	mit H3
   Spatial CV aus	0,9647	0,9697 ← konfiguriert
   Spatial CV an	0,8368	0,8866

   Spatial-Groups im Training (LeaveOneGroupOut-Bagging) senken den externen AUC um ~0,105: die interne Modellselektion optimiert räumliche statt zeitliche Generalisierung. Da das Modell nur in Hannover eingesetzt wird (kein räumlicher Transfer nötig), bleibt Spatial-CV aus; räumliche Ehrlichkeit bleibt als Evaluation (Punkte 3–5). Nebenbefund: Bei aktiver Spatial-CV nutzte das Modell rohe UTM-Koordinaten als Top-Feature („Hintertür”-Memorization) – dokumentiert als Grund, Standort-Features unter Beobachtung zu halten.

7. Externe Realitätsprüfung: Treelife-Overlap-Report 2026_10 (issue #257) – Überdeckung der Modell-Prognose mit realen LHH-Behandlungen; weiches Monitoring-Signal, kein Acceptance-Gate.

→ Sichtbar: „Methodik & Validierung”, Panels „Robustheit: ROC-AUC in drei unbekannten Welten”, „Zonen-AUC: Innenstadt vs. Außenstadt”, „Moran’s I auf OOF-Residuen”, „Interne Kontrolle je Jahr (Out-of-Fold)”, externe KPIs (AUC, F1, …), Drift-Watch; Doku: ../validation/validation.md, automl_features.md § Spatiale-CV-Diagnostik

Kapitel 6 – Kalibrierung: Vom Ranking zur ehrlichen Wahrscheinlichkeit

• Problem (2026-10): Der AutoGluon-Rohscore rangierte korrekt (AUC), sagte aber in der Mitte zu niedrig voraus (vorgesagt ~24 % → beobachtet ~10 %). Nur die Stärkeaussage war verzerrt.
• Fix (issue #253): Platt-Kalibrierung (Sigmoid cal = 1/(1+exp(−(a·raw+b)))), bei jedem Monats-Refresh auf dem externen 2024-Holdout neu gefittet (aktuell a = 2,2831, b = 0,6840; n = 25.334, 3.912 positiv). Platt statt Isotonic: 2 Parameter, glatt, stabil zwischen Monatsläufen. AUC bleibt durch Monotonität unangetastet; Brier sinkt von 0,0413 auf 0,0290 auf dem Holdout.
• Konsequenz: Zwei Score-Spalten, zwei Rollen –
  • drought_risk_ml = Rohscore (Modell-Artefakt, SHAP-Forensik),
  • drought_risk_ml_calibrated = kalibrierter Score – darauf laufen alle risikorelevanten Ableitungen: Risiko-Klassen, ml_damage_score_t1, Confidence, reclassify_risk, Lagebild, Bewässerungsplanung.
• Die Kalibrierung verschiebt die Klassenverteilung (Backfill 2026-10-08: low 64,1k → 73,0k, medium 13,0k → 5,5k, high 11,4k → 6,3k, critical 0,7k → 4,4k). Das ist die Absicht (honest probabilities), kein Modellwechsel – und wird so kommuniziert.

→ Sichtbar: „Methodik & Validierung”, Panel „Kalibrierung: Prognose vs. tatsächliche Häufigkeit” (Sektion „Entscheidungsqualität & Kalibrierung”); Doku: automl_features.md § Platt-Kalibrierung

Kapitel 7 – Schwellen: Von der Wahrscheinlichkeit zur Entscheidung

Zwei Schwellen-Regime – nicht verwechseln:

1. Risiko-Klassen auf dem kalibrierten Score (operative Ableitungen, ml.thresholds): low < 0,10 ≤ medium < 0,30 ≤ high < 0,85 ≤ critical. Die Schwellen wurden 2026-10-08 einmalig von (0,15/0,30/0,85) neu ausgerichtet, damit der Medium-Anteil auf der Kalibrier-Skala referenzstabil bleibt.
2. Binäre Schwelle 0,50 für Schaden/keine-Schaden (Metriken wie Precision/Recall, Konfusionsmatrix auf dem Holdout) – ein Bewertungskriterium, kein Handlungs-Schweller.

→ Sichtbar: Lagebild (Karte, Farben = kalibrierte Klassen, „Risikoklassen-Mix”); „Methodik & Validierung” (Panel „Konfusionsmatrix (Entscheidungsschwelle 0,50)”); Doku: ml_risk_scoring_guide.md

Kapitel 8 – Operationelle Produkte: Was LHH bekommt

• Lagebild (operational_tree_product): täglich 04:00 Refresh aus dem aktuell gepinnten GPKG-Run (irrigation_review.inputs.risk_path, Self-Heal-Pointer, issue #231) – Karte + Monitoring-Statistik + Baumprofil.
• Bewässerungsplanung: Vier getrennte operative Produkte in Kaskade (Risikopriorität → Wasserbedarf → Vorschlag → Freigabe/Arbeitsauftrag); der Bewässerungsbedarf kommt aus dem SWBM, die Priorisierung aus dem kalibrierten ML-Score.
• WFS-Kürzlink /ila/bgcki: operative Scores + irrigation_action_priority für Partner-GIS (issue #224, #253).
• Public Expo: öffentliche Kartenansicht (Smart City Expo, issue #219) – nur Lage, Art, Bezirk, Score; EU-AI-Act-Transparenzhinweis (Art. 50) auf dem Panel.
• Die Güte-KPIs (AUC, F1, Precision, Recall, Brier „extern”) im Dashboard „Methodik & Validierung” stammen immer vom Validierungsmodell (jüngster Validierungs-Run, Single-Row-Tabelle) – sie beschreiben die Güte des Ansatzes, nicht die des operationellen Ensembles.

→ Sichtbar: Dashboards „Lagebild”, „Bewässerung” (operative Produkte), „Public Expo”; Doku: ../postgis/wfs_service.md, ../compliance/eu_ai_act_assessment.md

Kapitel 9 – Erklärbarkeit: Drei Ansichten, drei Fragen

Drei Importance-Auswertungen existieren gleichzeitig und sind komplementär – jede beantwortet eine andere Frage. Sie zu vergleichen, ist ein Kategoriefehler; sie zu kennen, ist die Methodik:

#	Ansicht	Modell / Daten	Frage, die sie beantwortet	Top-Features (2026_10)
1	Externe Permutations-Importance (AUC-Prozentpunkte, mit Stddev/p-Wert)	Validierungsmodell, unbekannte 2024-Daten	Was generalisiert auf neue Jahre?	h3_res8 1,10 pp (p = 3,6e-6) · kr_durchm 0,70 pp · citree_krankheiten_schaedlinge 0,60 pp
2	Trainings-Importance (Anteil an Summe)	Operationelles Modell, Trainingsdaten	Worauf konzentriert sich das Modell intern?	kr_durchm 66,1 % · h3_res8 19,0 % · m_air_temp_14h_value 5,0 %
3	Kernel SHAP (Richtung pro Baum)	Validierungsmodell, 200 Bäume klassenstratifiziert (50/klasse); operationell zusätzlich 200 High-Risk-Bäume	Welche Richtung, für welchen Baum?	High-Risk: citree_krankheiten_schaedlinge ≈ h3_res8 (0,14) · kr_durchm 0,07

Warum steht h3_res8 in Ansicht 1 so hoch?

• Dürreschaden kommt Kiez-weise: Die Hexagon-ID (~0,74 km², ~323 Bäume im aktuellen Inventar) bündelt Standortfaktoren, die keine andere Spalte einzeln abbildet (Boden, Verdichtung, Pflegepraxis, Beplanungslogik). Die Basisraten unterscheiden sich je Kiez (Umland 21,5 % vs. Innenstadt 13,2 %) – „wo” ist Information.
• Kein Label-Leak: In der „neue-Viertel”-Grouped-CV (Kapitel 5, Punkt 3) hält das Modell bei gänzlich unbekannten Zellen noch AUC 0,805. Wäre die Zell-ID nur getarntes Label, würde die AUC auf unbekannten Zellen auf Zufallsniveau (~0,5) einschlagen.
• Keine fehlenden Kontextfeatures: Moran’s I ≈ 0,011 → keine räumlich geclusterten Fehler (Kapitel 5, Punkt 5).
• Methodische Einordnung der SHAP-Zahlen (Ansicht 3): Kernel SHAP läuft mit nur 50 Hintergrund-Zeilen (Sampling aus 89.280); für eine 276-Kategorie-Spalte sind Hintergrund-Zellen oft unbesetzt, sodass der komplette Quartier-Effekt dem Feature zugeschrieben wird. Bei hochkardinalen Kategorien ist die SHAP-Rangordnung damit als Größenklasse zu lesen, nicht als exakte Rangstelle.

→ Sichtbar: Methodik, Panels „SHAP-Beeswarm”, „Permutation Importance (ROC-AUC-Prozentpunkte)”, Waterfall-Plots (Artefakte im Modell-Run shap/); Doku: automl_features.md § Erklärbarkeit

Kapitel 10 – Grenzen und offene Fragen

• Hannover-only: Kein Anspruch auf räumlichen Transfer; die „neue-Viertel”-CV (0,805) quantifiziert den Verlust, wenn doch neue Standorte kommen.
• Zwei CV-Welten: Standard-OOF (~0,95) und Grouped-CV (0,89/0,81) sind keine Widersprüche, sondern verschiedene Härten – jede Zahl muss ihre Prüfform nennen. (Die OOF-Zeile 2024 der Grouped-CV ist zudem härter als der externe Holdout, weil 80 % des Jahres 2024 dort im Training sitzen.)
• Spatial-CV im Training ist aus (Ablation, Kapitel 5 Punkt 6): Die interne Modellselektion optimiert zeitliche Generalisierung – eine bewusste, dokumentierte Entscheidung, die bei erweitertem Einsatzgebiet (andere Stadt) Revisionspflicht hat.
• Target B+ ist ein Proxy für „schwerer Trockenstress”, LHH-abgestimmt; Totholz bewusst ausgeschlossen.
• Kalibrierung wirkt auf die Klassenverteilung (Kapitel 6) – bei jedem Monats-Refit können sich Band-Anteile verschieben; Kommunikation vorab einplanen.
• Kernel-SHAP ist eine Approximation (50 Hintergrund-Zeilen, nsamples „auto”).
• Geplante Erweiterungen: artspezifische Importance-Profile (Subgruppen- feature_importance), feinere Zonen-Analysen (vgl. automl_features.md § Erklärbarkeit).

---

Navigation: Kapitel → Grafana → Doku

Kapitel	Grafana (Dashboard / Panel)	Doku
1 Daten	Feature Explorer („Datenabdeckung je Featurejahr”); Baumkatasteranalyse	../data_flow_overview.md
2 Zielgröße	„Methodik & Validierung” (Text „Problem & Daten” – Definition B+)	ml_risk_scoring_guide.md
3 Features	„Methodik & Validierung” („Feature-Katalog”, „Korrelationsmatrix”)	automl_features.md
4 Modell	„Methodik & Validierung” („Trainings- und Validierungsübersicht”, „AutoGluon-Modellvergleich”)	dual_validation_operational_workflow.md
5 Validierung	„Methodik & Validierung” (externe KPIs, „Robustheit: drei unbekannte Welten”, „Zonen-AUC”, „Moran’s I”, „Interne Kontrolle je Jahr”, Drift-Watch)	../validation/validation.md
6 Kalibrierung	„Methodik & Validierung” („Kalibrierung: Prognose vs. tatsächliche Häufigkeit”)	automl_features.md § Platt-Kalibrierung
7 Schwellen	Lagebild (Karte, „Risikoklassen-Mix”); „Methodik & Validierung” („Konfusionsmatrix (Entscheidungsschwelle 0,50)”)	ml_risk_scoring_guide.md
8 Produkte	Lagebild; operative Produkte; Public Expo	../postgis/wfs_service.md, ../compliance/eu_ai_act_assessment.md
9 Erklärbarkeit	„Methodik & Validierung” („SHAP-Beeswarm”, „Permutation Importance”, „Drei Ansichten, drei Fragen”)	automl_features.md § Erklärbarkeit
10 Grenzen	—	dieses Dokument, automl_features.md § Ablation

FAQ in vier Sätzen

1. Warum ist h3_res8 das wichtigste Feature? Weil Dürreschaden Kiez-weise auftritt und die Zell-ID ungemessene Standortfaktoren bündelt – und weil es auf dem unbekannten Jahr 2024 (AUC-Anteil 1,10 Punkte, p = 3,6e-6) sowie auf gänzlich neuen Vierteln (AUC 0,805) funktioniert: Signal, kein Leak.
2. Warum hat das operationelle Modell keine externen Metriken? Weil es auf allen Daten (2018–2024) trainiert; der ehrliche externe Test lebt im Validierungsmodell (2018–2023 → 2024) und wird als Ansatz-Güte kommuniziert.
3. Rohscore oder kalibrierter Score? Alles, was LHH sieht (Karten, Klassen, Planung), läuft auf dem kalibrierten Score; der Rohscore bleibt Artefakt für Forensik/SHAP.
4. Zwei Schwelle-0,5 und Schwellen 0,10/0,30/0,85? Verschiedene Regime: 0,5 bewertet binär Schaden/kein Schaden auf dem Holdout; 0,10/0,30/0,85 definieren die operativen Risiko-Klassen auf dem kalibrierten Score.