Was die Modelle nachweislich können — gemessen, nicht behauptet
Alle Werte stammen aus Prüfdaten, die das jeweilige Modell beim Training nicht gesehen hat. Grundlage sind öffentlich zugängliche Echtzeitdaten des VVO für Straßenbahn und Stadtbus Dresden, die wir für diese Demo gesammelt haben. Jede Prognose wird gegen einfache Vergleichsverfahren gestellt. Wo ein Vergleichsverfahren besser ist, steht das hier ebenfalls.
Kann das Modell Fahrzeiten auf Straßen schätzen, auf denen die Linie nie fährt?
Das ist der Kern einer Umleitung. Prüfverfahren: fünffache Kreuzvalidierung, gruppiert nach Straßen- bzw. Gleisabschnitt (beide Richtungen bleiben gemeinsam außen vor). Das Modell kennt für den Prüfabschnitt weder Fahrplan noch Historie, nur OSM-Merkmale (Länge, LSA, Knoten, Abbiegungen, Tempolimit, Straßenklasse) und die Tageszeit.
| Verfahren | MAE | MAPE |
|---|---|---|
| KI-Modell | 36 s | 35,7 % |
| Regelwerk | 49 s | 56,0 % |
| Mittl. Geschwindigkeit | 37 s | 36,9 % |
| Fahrplan (Referenz) | 16 s | 10,9 % |
Je Abschnitt gegenüber dem besten Vergleichsverfahren ohne Fahrplan: 4 % geringerer Fehler. Über ganze Fahrten: 22 % geringerer Fehler. Abdeckung des P10–P90-Intervalls: 73,0 % (Soll 80 %). n = 1.484 Abschnittsfahrten. MAPE nur für Abschnitte ab 60 s.
Straßenbahn: Modell 35 s gegenüber Regelwerk 54 s, n = 1.045.
Bus: Modell 37 s gegenüber Regelwerk 36 s, n = 439.
Ist die Lageprognose besser als Fahrplan und historischer Mittelwert?
Die DVB verlangt Prognosen, die nicht nur auf Fahrplan oder Durchschnitt beruhen. Prüfverfahren: zeitliche Trennung. Training auf den ersten 70 % des Beobachtungszeitraums, Prüfung auf den letzten 30 %. Das Modell nutzt zusätzlich die Abweichung der letzten 30 Minuten auf demselben Abschnitt (in Produktion aus den 15-Sekunden-Ortungen).
| Verfahren | MAE | MAPE |
|---|---|---|
| KI-Modell | 24 s | 18,8 % |
| Historischer Median | 22 s | 17,4 % |
| Fahrplan | 19 s | 12,0 % |
Gegenüber dem Fahrplan: 26 % höherer Fehler; gegenüber dem historischen Median: 6 % höherer Fehler. Intervallabdeckung P10–P90: 72,9 %. Prüfsatz n = 468.
Wie entwickelt sich eine Verspätung an den Folgehalten?
Basis für Fahrplanlage und Folgeverspätung nach einer Umleitung. Zu einem Zeitpunkt t kennt das Modell nur die aktuelle Verspätung und den Fahrplan; verglichen wird mit der später tatsächlich gemeldeten Verspätung am Folgehalt. Vergleichsverfahren: Verspätung bleibt konstant (Persistenz) und die zum selben Zeitpunkt veröffentlichte VVO-Prognose. Zeitliche Trennung 70/30.
| Vorhersagehorizont | n | KI-Modell | VVO-Prognose | Persistenz |
|---|---|---|---|---|
| 0–10 min | 103 | 127 s | 93 s | 95 s |
| 10–20 min | 57 | 117 s | 78 s | 92 s |
Gegenüber Persistenz: 31 % höherer Fehler. Gegenüber der VVO-Prognose: 40 % höherer Fehler – die VVO-Prognose ist hier besser.
Intervallabdeckung P10–P90: 63,4 %. Prüfsatz 164 Halt-Prognosen aus 19 Fahrten.
Erkennt das Nachfragemodell volle Fahrzeuge?
Offene Ein- und Aussteigerzahlen gibt es nicht. Der VVO veröffentlicht jedoch je Abfahrt eine Auslastungsklasse (viele Plätze frei / Stehplätze). Das ist der einzige offene Messwert, gegen den wir das Nachfragemodell prüfen können. Prüfverfahren: zeitliche Trennung 70/30. Das Ergebnis belegt die Erkennung voller Fahrzeuge, nicht die Genauigkeit von Fahrgastzahlen.
| Verfahren | Trefferquote | Volle Fahrzeuge erkannt | davon richtig |
|---|---|---|---|
| KI-Modell (Nachfrageproxy + Lage) | 93,6 % | 45,8 % | 55,0 % |
| Nur räumlicher Nachfrageproxy | 76,8 % | 41,7 % | 13,2 % |
| Tabelle Linie × Tageszeit | 92,5 % | 0,0 % | 0,0 % |
| Häufigste Klasse | 93,0 % | 0,0 % | – % |
Rangkorrelation zwischen Nachfrageproxy und gemeldeter Auslastung: 0,20. Anteil voller Fahrzeuge im Prüfsatz: 7.0 %.
Die Trefferquote allein ist bei seltenen vollen Fahrzeugen wenig aussagekräftig (die häufigste Klasse erreicht sie ohne jede Erkennung). Maßgeblich sind die beiden rechten Spalten. Prüfsatz n = 345.
Was diese Messung nicht belegt
- Die offenen VVO-Zeiten haben Minutenauflösung. Einzelne Abschnittsfahrzeiten tragen deshalb ±30 s Rundungsrauschen; über ganze Fahrten mittelt es sich heraus. Mit den 15-Sekunden-Ortungen der DVB entfällt diese Grenze.
- Der Beobachtungszeitraum umfasst nur wenige Tage im Oktober 2026. Saisonale Effekte, Ferien, Großereignisse und Witterung sind nicht geprüft.
- Echte Umleitungsfahrten sind nicht beobachtet. Abschnitt 1 prüft die Übertragbarkeit auf unbekannte Abschnitte; eine Abnahme braucht künftig protokollierte Störungsfälle (siehe Antwort 2.4.10).
- Fahrgastzahlen, Ströme und Abwanderung sind Modellannahmen. Gemessen ist nur die Erkennung voller Fahrzeuge an der offenen Auslastungsklasse.
- Rechenzeit: gemessen je Bewertung auf dem Demo-Server und im Leitstand angezeigt; Ziel der DVB ca. 5 s im Leitsystem einschließlich Übertragung.
Berechnet in 70.9 s auf höchstens 3 CPU-Kernen. Code: pipeline/train.py. Rohdaten: VVO WebAPI (öffentlich), Fahrplan gtfs.de/DELFI (CC BY 4.0), Netz OpenStreetMap (ODbL).