ARCTA — Automated Radio Communication Transcription & Analysis

Beschreibung

ARCTA ist eine Anwendung zur automatisierten Transkription, Strukturierung und Analyse von Feuerwehr- und BOS-Sprechfunk. Aus dialektbehafteten Audioaufnahmen wird ein normiertes, hochdeutsches Einsatzprotokoll erzeugt. Die Verarbeitung erfolgt in zwei Stufen: Zunächst wandelt ein Spracherkenner (Speech-to-Text, STT) das Audio in Rohtext um; anschließend korrigiert und strukturiert ein großes Sprachmodell (LLM) diesen Text — Dialektkorrektur, Erkennung von Sender und Empfänger, Klassifikation.

Für den Funkverkehr ist nicht nur die allgemeine Texttreue wichtig, sondern besonders die korrekte Erkennung von Zahlen, Koordinaten und Rufnamen. Die Evaluierung sollte daher beantworten, welches Korrektur-LLM die rohe STT-Ausgabe am stärksten verbessert, wie zuverlässig Zahlen erkannt werden und in welchem Verhältnis die erreichte Genauigkeit zu Kosten und Verarbeitungsgeschwindigkeit steht.

Evaluierungswerkzeug — EvalARCTA

Die Auswertung erfolgte mit dem eigens entwickelten Werkzeug EvalARCTA. Es vergleicht jede Transkription (Hypothese) mit einer manuell erstellten, korrekten Referenz (Truth) auf Wortebene und berechnet daraus standardisierte Fehlerkennzahlen. Verglichen wird ausschließlich der Wortinhalt — Groß-/Kleinschreibung, Satzzeichen und Zeitstempel haben keinen Einfluss auf das Ergebnis. Die Berechnung stützt sich auf die etablierte Bibliothek jiwer und läuft vollständig lokal auf der CPU.

Ergebnisse

Der größte Qualitätssprung entsteht durch die LLM-Korrektur: Die rohe STT-Ausgabe liegt im radio-Modus bei 18,5 % WER, während das beste Modell die Fehlerrate auf 4,8 % senkt — eine Reduktion um rund drei Viertel. Selbst das schwächste Korrektur-LLM (deepseek-v4-flash, 11,9 %) verbessert die Rohausgabe noch spürbar.

Zusätzlich zeigt der Vergleich der Modi, dass die radio-Normalisierung die gemessene WER durchgängig senkt, da unterschiedliche Sprechweisen derselben Zahl als inhaltlich gleich gewertet werden. Die höchste Genauigkeit ist dabei nicht automatisch die teuerste Option: gemini-3.5-flash:nitro verbindet die beste WER mit einem mittleren Preis von 0,575 USD und bietet damit insgesamt das beste Gesamtverhältnis aus Genauigkeit, Tempo und Kosten.

Kennzahlen

• WER (Word Error Rate) = (S + D + I) / N — Standardmetrik der Spracherkennung, niedriger ist besser. Kann theoretisch über 100 % steigen, wenn sehr viel zusätzlicher Text erzeugt wird.
• CER (Character Error Rate) = Zeichen-Editierdistanz / Referenzzeichen — feiner als WER und robuster bei deutschen Wortendungen und Komposita.
• Zahlen-Accuracy = korrekt erkannte Ziffern-Token / Ziffern-Token gesamt — missionskritisch für Koordinaten, nur im radio-Modus aussagekräftig.
• RTF (Real-Time-Factor) = Gesamtlaufzeit / Audiodauer — Werte unter 1 bedeuten schneller als Echtzeit.
• Kosten = STT-Kosten und LLM-Kosten in US-Dollar.

Fazit

Für die automatische Transkription des untersuchten BOS-Sprechfunks empfiehlt sich auf Basis dieser ersten Evaluierung die Kombination aus dem STT-Modell microsoft/mai-transcribe-1.5 und dem Korrektur-LLM gemini-3.5-flash:nitro. Diese Kombination erreicht die niedrigste Wortfehlerrate (4,8 %), erkennt alle Zahlen-Token korrekt (100 % Zahlen-Accuracy) und arbeitet dabei zu moderaten Kosten schneller als Echtzeit.

Zwei grundsätzliche Erkenntnisse lassen sich festhalten: Die nachgelagerte LLM-Korrektur ist für eine brauchbare Transkriptionsqualität unverzichtbar, und für die Bewertung von Funktexten ist die radio-Normalisierung notwendig, um die fachlich entscheidende Zahlentreue korrekt zu messen. Der nächste sinnvolle Schritt ist die Ausweitung der Evaluierung auf einen größeren Korpus, um die gefundene Rangfolge statistisch abzusichern.

• TypMasterstudiengang — Projekt 2
• Zeitraum03.2026 — 06.2026
• BereichSpeech-to-Text, Large Language Models, BOS-/Feuerwehrfunk
• WerkzeugeEvalARCTA (auf Basis von jiwer)
• Empfehlungmicrosoft/mai-transcribe-1.5 + gemini-3.5-flash:nitro
• StatusAbgeschlossen
• Zuletzt aktualisiert24.08.2026