bluegreencity-ki

Baseline vs Minimal ML Dashboard Comparison (2026-04-07)

Ziel

Dieser Kurzbericht dokumentiert den Unterschied zwischen dem bestehenden produktiven Dashboard fuer den Hauptlauf und einem neu erzeugten zweiten Superset-Dashboard fuer den Minimal-ML-Lauf.

Verglichen werden:

  1. die Dashboard- und Chart-Struktur in Superset
  2. die zugrunde liegenden PostGIS-Quellen
  3. die Trainingsvalidierung der beiden ML-Modelle
  4. die resultierenden ML-Score-Verteilungen im 2025-Prediction-Output
  5. die verfuegbaren Pipeline-Validierungsartefakte

Dashboard-Status

Lauf Dashboard ID URL
Baseline / Hauptlauf Hannover Tree Drought Risk Atlas 15 https://<workstation-tailscale-hostname>/superset/dashboard/15/
Minimaler Vergleichslauf Hannover Tree Drought Risk Atlas - Minimal ML 16 https://<workstation-tailscale-hostname>/superset/dashboard/16/

Neues Skript fuer das Vergleichsdashboard

Das zweite Dashboard wird mit folgendem neuen Skript erzeugt:

Das Skript erstellt:

  1. dedizierte PostGIS-Views fuer den Minimal-Lauf
  2. separate Superset-Datasets
  3. separate Charts mit derselben Symbolisierung wie Dashboard 15
  4. ein eigenes Dashboard mit derselben Layoutlogik

Wiederverwendete Symbolik aus Dashboard 15:

  1. identische Deck.GL-Polygon-Farbskala von dunkelgruen bis dunkelrot
  2. identische Breakpoints fuer Stadtteile, Stadtbezirke, Pflegebezirke, H3 res10 und A5 res15
  3. identische Scatter-Farbklassen und Radiuslogik auf Basis von risk_ml und Kronendurchmesser
  4. identischer Dashboard-Aufbau mit zwei Kartenreihen, Metadatenreihe und Scatterplot-Reihe

Chart-Struktur

Dashboard 15

Aktive Chart-Familie auf dem bestehenden Dashboard:

  1. Districts - Drought Stress Risk
  2. Boroughs - Drought Stress Risk
  3. Maintenance Districts - Drought Stress Risk
  4. H3 Hexagons (Res 10) - Drought Stress Risk
  5. Individual Trees - ML Drought Stress (Scatterplot)
  6. Trees with critical and high risk
  7. ML Feature Importance

Dashboard 16

Neu erzeugte separate Vergleichscharts:

  1. Districts - Drought Stress Risk (Minimal ML) - Chart 115
  2. Boroughs - Drought Stress Risk (Minimal ML) - Chart 116
  3. Maintenance Districts - Drought Stress Risk (Minimal ML) - Chart 117
  4. H3 Hexagons (Res 10) - Drought Stress Risk (Minimal ML) - Chart 118
  5. A5 Pentagons (Res 15) - Drought Stress Risk (Minimal ML) - Chart 119
  6. Individual Trees - ML Drought Stress (Scatterplot, Minimal ML) - Chart 120
  7. Trees with critical and high risk (Minimal ML) - Chart 121
  8. ML Feature Importance (Minimal ML) - Chart 122

Hinweis:

PostGIS-Quellen

Bereich Baseline / Hauptlauf Minimal-Lauf
Haupttabelle bgcki.analysis_tree_risk_scores bgcki.atrs_ml_min_pred_2025_1824
Stadtteile bgcki.analysis_tree_risk_scores_stadtteile_mean bgcki.atrs_ml_min_pred_2025_1824_stadtteile_mean
Stadtbezirke bgcki.analysis_tree_risk_scores_stadtbezirke_mean bgcki.atrs_ml_min_pred_2025_1824_stadtbezirke_mean
Pflegebezirke bgcki.analysis_tree_risk_scores_pflegebezirke_mean bgcki.atrs_ml_min_pred_2025_1824_pflegebezirke_mean
H3 res10 bgcki.analysis_tree_risk_scores_h3_hex_mean_res10 bgcki.atrs_ml_min_pred_2025_1824_h3_hex_mean_res10
A5 res15 bgcki.analysis_tree_risk_scores_a5_pentagon_mean_res15 bgcki.atrs_ml_min_pred_2025_1824_a5_pentagon_mean_res15
Feature Importance bestehender Hauptlauf-Artifact-Table / CSV bgcki.ml_training_minimal_labels_2018_2024_feature_importance_drought

Trainingsvalidierung der beiden ML-Modelle

Die belastbarste direkte Vergleichsbasis ist hier die gespeicherte AutoGluon-Validierung aus den Leaderboards, nicht die spaetere Pipeline-Ausgabe.

Lauf Bestes Modell ROC-AUC pred_time_val fit_time Modelle
Baseline stable reference WeightedEnsemble_L3 0.9090 7.0913 1560.12 s 20
Minimaler Lauf WeightedEnsemble_L3 0.9087 3.5972 13.98 s 14

Einordnung

  1. Die Modellguete bleibt nahezu gleich: Delta in ROC-AUC nur etwa -0.0003.
  2. Der Minimal-Lauf ist deutlich leichtergewichtig: halbierte Validierungsinferenzzeit und massiv geringere Trainingszeit.
  3. Der Unterschied zwischen beiden Varianten liegt damit weniger in der Trennschaerfe als in Modellkomplexitaet und Merkmalsraum.

Verschiebung der wichtigsten Merkmale

Baseline Top-5 Feature Importance

Rang Merkmal Importance
1 vitality_value 0.01138
2 citree_krankheiten_schaedlinge 0.00361
3 m_svf_value 0.00285
4 groundwater_level_std 0.00164
5 ga_lang 0.00070

Minimal Top-5 Feature Importance

Rang Merkmal Importance
1 ga_lang 0.10669
2 vitality_value 0.04434
3 groundwater_level_std 0.02077
4 m_svf_value 0.01866
5 ndvi_value_2020 0.00752

Interpretation

  1. Im Baseline-Modell dominiert Vitalitaet, waehrend artspezifische Profile und Strahlungs-/Wasserhaushaltsmerkmale nachgelagert wirken.
  2. Im Minimal-Modell wird ga_lang zum dominanten Signal, weil die reicheren Citree-, UHI-, Temperatur- und Landnutzungsinformationen fehlen.
  3. Die Minimalvariante bleibt funktional stark, ist aber fachlich deutlich arten- und standortsignalgesteuerter.

Vergleich der 2025-Prediction-Outputs

Direkter Tabellenvergleich zwischen bgcki.analysis_tree_risk_scores und bgcki.atrs_ml_min_pred_2025_1824 auf identischer Baummenge (objectid):

Kennzahl Baseline Minimal
Baeume mit ML-Score 61.319 61.319
Mittelwert drought_risk_ml 0.1850 0.1694
95. Perzentil drought_risk_ml 0.7063 0.7201
Anteil drought_risk_ml >= 0.6 7.30 % 7.33 %
Anteil drought_risk_ml >= 0.8 3.22 % 3.68 %

Paarweiser Vergleich auf Baumebene:

  1. Korrelation der ML-Scores: 0.9427
  2. Mittlere absolute Differenz: 0.0498
  3. Ueberlappung der Top-10-%-Baeume: 5.312 von 6.132, also rund 86.6 %

Einordnung

  1. Beide Modelle priorisieren weitgehend dieselben Hochrisikobaeume.
  2. Der Minimal-Lauf ist insgesamt leicht konservativer im Mittelwert, produziert aber etwas mehr sehr hohe Scores im oberen Rand.
  3. Fuer die raeumliche Priorisierung bleibt die Rangfolge damit sehr aehnlich, auch wenn einzelne Baumscores sichtbar verschoben sind.

Pipeline-Validierung und Plausibilitaet

Baseline / Hauptlauf

Im bestehenden Hauptlauf liegen vollstaendige Pipeline-Validierungsartefakte vor:

Im Baseline-Run-Report dokumentierte Kennzahlen fuer drought_damage_severe:

Metric Static ML
ROC-AUC 0.6148 0.9117
Brier Score 0.315788 0.086947
F1 0.3673 0.6587
Precision 0.3340 0.7879
Recall 0.4079 0.5660
Accuracy 0.7123 0.8800

Minimal-Lauf

Die vollstaendige Pipeline-Validierung wurde fuer den Minimal-Lauf am 2026-04-07 nachgezogen. Verfuegbar sind jetzt:

Kennzahlen des nachgezogenen Minimal-Run-Reports fuer drought_damage_severe:

Metric Static ML
ROC-AUC 0.6085 0.9087
Brier Score 0.320352 0.088514
F1 0.3620 0.6510
Precision 0.3292 0.7712
Recall 0.4020 0.5633
Accuracy 0.7099 0.8764

Weitere Minimal-Lauf-Befunde:

  1. Validierte Baumanzahl: 21.544 gelabelte Baeume von 61.319 Gesamtbaeumen.
  2. Die ML-Guete im Pipeline-Report bestaetigt die Trainingsvalidierung praktisch unveraendert: OOF ROC-AUC 0.9087.
  3. Die statische Pipeline des Minimal-Laufs ist deutlich schwaecher als im Baseline-Hauptlauf, weil viele fachliche Kriterien im Minimal-Setup bewusst fehlen.
  4. Die Plausibility-Zusammenfassung steht auf warning mit drei Befunden: hohe raeumliche Streuung bei salt, Monotonieverletzung bei vitality, sowie vier stark korrelierte ML-Feature-Paare.

Ergebnisfazit

  1. Das zweite Superset-Dashboard ist jetzt sauber parallel zum Hauptdashboard verfuegbar.
  2. Die Karten- und Scatter-Symbolisierung ist bewusst identisch gehalten, sodass visuelle Unterschiede auf die Daten und nicht auf die Chart-Konfiguration zurueckgehen.
  3. Das Minimalmodell erreicht nahezu dieselbe Trainingsvalidierung wie die stabile Baseline, ist aber erheblich leichtergewichtig.
  4. Die ML-Score-Raeume beider 2025-Laeufe sind hoch korreliert; der Minimal-Lauf veraendert eher die Intensitaet als die grundsaetzliche Priorisierung.
  5. Der groesste verbliebene methodische Unterschied ist damit nicht mehr die fehlende Pipeline-Validation, sondern die bewusst reduzierte statische Kriterienbasis des Minimal-Setups.

Datenquellen

Code und Dashboard-Erzeugung:

  1. scripts/superset/create_risk_maps_stable_baseline_dashboard.py
  2. scripts/superset/create_risk_maps_minimal_dashboard.py

Modellartefakte:

  1. data/models/autogluon/leaderboards_2018to2024_baseline_stable_reference/leaderboard_drought_damage_severe.csv
  2. data/models/autogluon/feature_importances_2018to2024_baseline_stable_reference/feature_importance_drought_damage_severe.csv
  3. data/models/autogluon_ml_minimal_labels_2018_2024/leaderboards/leaderboard_drought_damage_severe.csv
  4. data/models/autogluon_ml_minimal_labels_2018_2024/feature_importances/feature_importance_drought_damage_severe.csv

Outputs und Reports:

  1. data/output/hannover_gesamt/report/trees_at_risk_hannover_gesamt_run_report.md
  2. data/output/hannover_gesamt/report/trees_at_risk_hannover_gesamt_run_stats.json
  3. data/output/archive/cleanup_2026-04-09/ml_minimal_predict_2025_from_2018_2024/hannover_gesamt/report/trees_at_risk_ml_minimal_predict_2025_hannover_gesamt_run_report.md
  4. data/output/archive/cleanup_2026-04-09/ml_minimal_predict_2025_from_2018_2024/hannover_gesamt/report/trees_at_risk_ml_minimal_predict_2025_hannover_gesamt_run_stats.json

PostGIS-Tabellen:

  1. bgcki.analysis_tree_risk_scores
  2. bgcki.atrs_ml_min_pred_2025_1824
  3. bgcki.ml_training_minimal_labels_2018_2024_feature_importance_drought