Multimodalität
Fähigkeit eines KI-Modells, mehrere Datentypen wie Text, Bilder, Audio und Video zu verarbeiten und teilweise auch zu erzeugen — statt nur reinen Text zu verstehen.
Eine Modalität ist ein Datentyp: Text, Bild (Vision), Audio oder Video. Ein multimodales Modell beherrscht mehr als eine dieser Modalitäten gleichzeitig — die heute mit Abstand häufigste Kombination ist Text und Vision. Ein solches Modell kann also nicht nur geschriebene Sprache verstehen, sondern auch ein hochgeladenes Bild, einen Screenshot oder ein eingescanntes Dokument direkt interpretieren, ohne dass der Inhalt vorher in Text umgewandelt werden muss.
Welche Modalitäten ein konkretes Modell unterstützt, ist auf den Steckbrief-Karten im KI-Modelle-Vergleich im Feld „Modalitäten“ vermerkt.
Eingabe- und Ausgabe-Multimodalität
Wichtig ist die Unterscheidung zwischen Eingabe und Ausgabe. Eingabe-Multimodalität bedeutet, dass ein Modell verschiedene Datentypen verstehen kann — es liest ein Diagramm, wertet ein Formular aus oder erkennt Text in einem Foto. Ausgabe-Multimodalität bedeutet, dass ein Modell selbst andere Datentypen erzeugt, etwa Bilder oder Audio generiert. Für den typischen Geschäftseinsatz ist zunächst die Eingabeseite relevant: Die meisten Unternehmensfälle drehen sich darum, gemischte Dokumente zu verstehen, nicht darum, Bilder zu erzeugen.
Die folgende Übersicht zeigt gängige Modalitäten und ihre praktische Rolle:
| Modalität | Eingabe (verstehen) | Ausgabe (erzeugen) |
|---|---|---|
| Text | Fragen, Dokumente, Code | Antworten, Zusammenfassungen |
| Vision (Bild) | Screenshots, Scans, Diagramme, Tabellen in PDFs | Bildgenerierung (Sonderfall) |
| Audio | Sprachaufnahmen, Diktate | Sprachausgabe / Vorlesen |
| Video | Bewegtbild-Analyse | selten, spezialisierte Modelle |
Warum das in der Praxis zählt
Viele geschäftskritische Dokumente sind kein sauberer Text. Wir finden in Projekten regelmäßig eingescannte Formulare, abfotografierte Belege, Screenshots aus Fachanwendungen sowie Tabellen und Diagramme, die in PDFs eingebettet sind. Ein rein textbasiertes Modell scheitert daran oder benötigt einen vorgelagerten OCR-Schritt, der eine zusätzliche Fehlerquelle darstellt. Ein Vision-fähiges Modell liest solche Vorlagen direkt und versteht dabei auch das Layout — also welche Zahl zu welchem Feld gehört.
Typische Einsatzfälle im Unternehmen sind die Formularauswertung, die Analyse von Diagrammen und Screenshots sowie die Verarbeitung gemischter Dokumentvorlagen, in denen Text, Tabellen und Grafik nebeneinander stehen. Für dokumentlastige Wissensbasen lässt sich Multimodalität mit RAG kombinieren: Das Modell erschließt gescannte Inhalte, die anschließend als durchsuchbares Unternehmenswissen zur Verfügung stehen.
Multimodale Embeddings und Kosten
Multimodalität wirkt auch auf die Suche. Klassische Embedding-Verfahren wandeln Text in Vektoren um; multimodale Embeddings bilden Bild und Text im selben Vektorraum ab und ermöglichen so eine gemeinsame Bild- und Textsuche — man kann etwa mit einer Textbeschreibung passende Diagramme finden.
Dieser Mehrwert hat einen Preis: Bilder verbrauchen deutlich mehr Token als eine kurze Textzeile und belegen entsprechend mehr Kontext. Wer viele oder hochauflösende Bilder verarbeitet, sollte diesen Verbrauch bei der Kostenplanung berücksichtigen.
Nicht jedes Modell kann Bilder
Im KI-Modelle-Vergleich sind die meisten aktuellen Modelle als Text und Vision gekennzeichnet, doch das gilt nicht durchgängig. Einige besonders günstige oder auf hohen Durchsatz ausgelegte Varianten sind reine Text-Modelle. Bevor ein Arbeitsablauf fest auf Bildverarbeitung ausgelegt wird, lohnt daher ein Blick auf die Modalitäten des konkret geplanten Modells — sonst läuft ein Prozess ins Leere, sobald das erste eingescannte Dokument eintrifft.
Relevanz für KMUs
Für den Mittelstand erschließt Multimodalität Anwendungsfälle, die reine Text-Modelle nicht abdecken können — allen voran das Auslesen eingescannter Rechnungen, Lieferscheine und Formulare ohne separaten OCR-Aufwand. Gerade in Branchen mit vielen Papier- oder PDF-Dokumenten ist das ein spürbarer Hebel. In Kombination mit RAG entsteht daraus eine Wissensbasis, die auch gescannte und grafische Inhalte versteht. Entscheidend bleibt eine nüchterne Auswahl: das passende Modell mit den benötigten Modalitäten, verankert in einem Souveränen KI-Arbeitsplatz mit Kostenkontrolle.