bluegreencity-ki

Stable AutoGluon Ablation Report (2026-04-03)

Zielsetzung

Ziel dieses Berichts ist der systematische Vergleich von vier stabilen AutoGluon-Trainingslaeufen fuer die Vorhersage des Labels drought_damage_severe im Zeitraum 2018 bis 2024. Untersucht wird, wie stark die Modellguete von drei Merkmalsgruppen abhaengt:

1. Vitalitaetsinformation (vitality_value)
2. Direkte Artidentitaet (ga_lang)
3. Indirekte Artprofile aus Citree-Merkmalen

Die vier verglichenen Varianten sind:

1. baseline_stable_reference
2. no_vitality_stable_reference
3. no_vitality_no_species_label_stable_reference
4. no_vitality_no_species_profile_stable_reference

Methodik

Alle vier Laeufe wurden mit derselben stabilen Modellfamilienauswahl trainiert (best_quality, klassische tabulare Familien: GBM, CAT, XGB, NN_TORCH, RF, XT). Die GPU war dabei nur fuer NN_TORCH freigegeben; baumbasierte Verfahren wurden bewusst auf CPU gehalten, um die Vergleichbarkeit gegenueber den anderen stabilen Referenzlaeufen zu sichern.

Gemeinsame Rahmenbedingungen:

1. Trainingsdatensatz: data/derived/ml/training_dataset.csv
2. Zielvariable: drought_damage_severe
3. Bewertungsmetrik: ROC-AUC
4. Bagging/Stacking: num_bag_folds=5, num_bag_sets=1, num_stack_levels=1
5. Alle Resultate basieren auf den final gespeicherten Leaderboards und Permutations-Feature-Importances der Hauptlaeufe, nicht auf den DyStack-Subfits.

Ergebnisuebersicht

Variante	Bestes Modell	ROC-AUC	Delta zur Baseline	pred_time_val	Modelle
baseline_stable_reference	WeightedEnsemble_L3	0.9090	+0.0000	7.09	20
no_vitality_stable_reference	WeightedEnsemble_L3	0.8960	-0.0130	7.39	20
no_vitality_no_species_label_stable_reference	WeightedEnsemble_L3	0.8952	-0.0139	5.15	20
no_vitality_no_species_profile_stable_reference	WeightedEnsemble_L3	0.8829	-0.0262	4.34	20

Zentrale Befunde

1. Die Baseline bleibt klar die leistungsstaerkste Variante

Die Baseline erreicht mit einer ROC-AUC von 0.9090 den besten Wert aller vier stabilen Laeufe. Daraus folgt, dass die Kombination aus Vitalitaet, direkter Artidentitaet und Citree-Profilen den hoechsten Informationsgehalt fuer die Vorhersage von drought_damage_severe besitzt.

2. Der groesste Einbruch entsteht bereits durch das Entfernen der Vitalitaet

Das Entfernen von vitality_value reduziert die ROC-AUC von 0.9090 auf 0.8960. Der Verlust von etwa 0.013 ROC-AUC ist der deutlichste einzelne Schritt in der Ablationskette und spricht dafuer, dass Vitalitaet weiterhin einen eigenstaendigen und nicht trivial ersetzbaren Signalanteil liefert.

3. Das Entfernen der direkten Art-ID verursacht nur einen kleinen Zusatzverlust

Die Variante no_vitality_no_species_label_stable_reference liegt mit 0.8952 nur knapp unter no_vitality_stable_reference (0.8960). Der Zusatzverlust betraegt lediglich rund 0.0009 ROC-AUC. Das spricht dafuer, dass die direkte Artbezeichnung ga_lang im stabilen Setup nur begrenzt zusaetzliche Information beisteuert, solange indirekte artspezifische Profile aus Citree im Modell verbleiben.

4. Der staerkste weitere Leistungsabfall entsteht erst beim Entfernen der Citree-Profile

Die Variante no_vitality_no_species_profile_stable_reference sinkt auf 0.8829. Gegenueber no_vitality_no_species_label_stable_reference betraegt der Rueckgang etwa 0.0123 ROC-AUC. Daraus folgt, dass die Citree-Profile in diesem Setup deutlich mehr prognostische Information tragen als die direkte Art-ID selbst.

Merkmalsverschiebungen zwischen den Varianten

Baseline

In der Baseline ist vitality_value das mit Abstand staerkste Merkmal. Dahinter folgen citree_krankheiten_schaedlinge, m_svf_value und groundwater_level_std. Bereits diese Rangfolge zeigt, dass das Modell sowohl physiologische als auch standortbezogene sowie artspezifische Information integriert.

Top-Merkmale:

1. vitality_value
2. citree_krankheiten_schaedlinge
3. m_svf_value
4. groundwater_level_std
5. ga_lang

No Vitality

Nach dem Entfernen der Vitalitaet ruecken m_svf_value, citree_krankheiten_schaedlinge und groundwater_level_std an die Spitze. Die direkte Art-ID ga_lang bleibt noch sichtbar, verliert aber klar gegen die standort- und profilbezogenen Merkmale.

Top-Merkmale:

1. m_svf_value
2. citree_krankheiten_schaedlinge
3. groundwater_level_std
4. ga_lang
5. ndvi_value_2020

No Vitality, No Species Label

Nach dem Entfernen von ga_lang steigt citree_krankheiten_schaedlinge zum wichtigsten Einzelmerkmal auf. Zusammen mit m_svf_value und groundwater_level_std zeigt sich ein stabiles Dreieck aus artspezifischer Profilinformation, Strahlungs-/Himmelsraumstruktur und Wasserhaushaltsvariabilitaet.

Top-Merkmale:

1. citree_krankheiten_schaedlinge
2. m_svf_value
3. groundwater_level_std
4. ndvi_value_2020
5. kr_durchm

No Vitality, No Species Profile

Nach dem Entfernen saemtlicher Citree-Profile bleiben fast ausschliesslich standort- und strukturbezogene Signale uebrig. m_svf_value und groundwater_level_std dominieren deutlich; danach folgen vor allem morphologische und Vegetationsmerkmale. Genau in diesem Schritt tritt auch der groesste zusaetzliche Qualitaetsverlust auf.

Top-Merkmale:

1. m_svf_value
2. groundwater_level_std
3. kr_durchm
4. ndvi_value_2020
5. ndvi_change_2020to2024

Modellverhalten und Effizienz

Alle vier Varianten waehlen WeightedEnsemble_L3 als bestes Modell. Das deutet darauf hin, dass die Leistungsveraenderungen nicht primaer aus einem Wechsel des besten Lernverfahrens resultieren, sondern aus dem veraenderten Informationsgehalt des Merkmalsraums.

Gleichzeitig sinkt die Validierungsinferenzzeit mit jeder weiteren Ablation:

1. Baseline: 7.09
2. No Vitality: 7.39
3. No Vitality, No Species Label: 5.15
4. No Vitality, No Species Profile: 4.34

Damit entsteht ein klares Genauigkeit-Effizienz-Spannungsfeld. Die Informationsreduktion fuehrt nicht nur zu etwas geringerer Modellguete, sondern auch zu schnelleren, einfacheren Ensembles.

Interpretation

Die Ergebnisse sprechen fuer drei zentrale Schlussfolgerungen:

1. Vitalitaet ist im stabilen Setup der wichtigste einzelne Praediktor. Ihr Wegfall kostet unmittelbar den groessten Teil der Leistungsdifferenz zur Baseline.
2. Die direkte Art-ID ist fuer die Vorhersageleistung deutlich weniger entscheidend als die profilbasierten Citree-Merkmale. Das Modell kann den Wegfall von ga_lang nahezu kompensieren, solange indirekte artspezifische Informationen erhalten bleiben.
3. Die Citree-Profile enthalten substanziellen zusaetzlichen Informationsgehalt. Erst ihr Wegfall verschiebt das Modell in Richtung eines rein standort- und strukturgetriebenen Systems mit deutlich niedrigerer ROC-AUC.

Fachlich bedeutet das: Wenn ein produktionsnahes Modell auf direkte Artnamen verzichten soll, ist dies wahrscheinlich vertretbar, solange robuste artspezifische Profilmerkmale erhalten bleiben. Ein vollstaendig artagnostisches Modell ohne Vitalitaet und ohne Citree-Profilinformation ist zwar noch funktionsfaehig, verliert aber klar an Trennschaerfe.

Limitationen

1. Der Vergleich basiert auf einem einzelnen Zielkriterium (drought_damage_severe) und einer einzelnen Metrik (ROC-AUC).
2. Es wurden keine Konfidenzintervalle oder wiederholten Resampling-Experimente berechnet.
3. Die Feature-Importance-Werte sind Permutations-Importances und daher als robuste Ranghinweise, nicht als kausale Effektgroessen zu interpretieren.
4. Die Logs enthalten zusaetzlich DyStack-Subfits; fuer die Bewertung wurde ausschliesslich der Hauptlauf herangezogen.

Schlussfolgerung

Unter den vier stabilen Referenzlaeufen ergibt sich folgende wissenschaftlich belastbare Rangfolge:

1. baseline_stable_reference – beste Gesamtguete
2. no_vitality_stable_reference – moderater Verlust ohne Vitalitaet
3. no_vitality_no_species_label_stable_reference – nahezu gleich gut wie no_vitality, aber ohne direkte Art-ID
4. no_vitality_no_species_profile_stable_reference – deutlich schwaecher, aber noch funktional

Der wichtigste methodische Befund lautet damit: Die direkte Art-ID kann im stabilen Setup weitgehend durch Citree-Profilmerkmale ersetzt werden, waehrend Vitalitaet und Citree-Profilinformation den eigentlichen Kern des prognostischen Signals tragen.

Datenquellen

Leaderboards:

1. data/models/autogluon/leaderboards_2018to2024_baseline_stable_reference/leaderboard_drought_damage_severe.csv
2. data/models/autogluon/leaderboards_2018to2024_no_vitality_stable_reference/leaderboard_drought_damage_severe.csv
3. data/models/autogluon/leaderboards_2018to2024_no_vitality_no_species_label_stable_reference/leaderboard_drought_damage_severe.csv
4. data/models/autogluon/leaderboards_2018to2024_no_vitality_no_species_profile_stable_reference/leaderboard_drought_damage_severe.csv

Feature Importances:

1. data/models/autogluon/feature_importances_2018to2024_baseline_stable_reference/feature_importance_drought_damage_severe.csv
2. data/models/autogluon/feature_importances_2018to2024_no_vitality_stable_reference/feature_importance_drought_damage_severe.csv
3. data/models/autogluon/feature_importances_2018to2024_no_vitality_no_species_label_stable_reference/feature_importance_drought_damage_severe.csv
4. data/models/autogluon/feature_importances_2018to2024_no_vitality_no_species_profile_stable_reference/feature_importance_drought_damage_severe.csv