Inferenz
Die Anwendung eines bereits trainierten KI-Modells, um aus einer Eingabe eine Antwort zu berechnen. Inferenz ist der laufende Betrieb eines Modells — im Gegensatz zum einmaligen, rechenintensiven Training.
Inferenz (englisch inference) bezeichnet die Anwendung eines fertig trainierten KI-Modells auf eine neue Eingabe: Das Large Language Model erhält einen Prompt und berechnet daraus Wort für Wort seine Antwort. Jeder einzelne Rechenschritt, in dem das Modell den nächsten Token vorhersagt, ist ein Inferenzschritt. Man unterscheidet damit zwei grundverschiedene Phasen im Leben eines Modells: das Training, bei dem das Modell aus riesigen Datenmengen seine Gewichte lernt, und die Inferenz, den laufenden Betrieb, bei dem diese gelernten Gewichte genutzt werden, um konkrete Aufgaben zu lösen.
Training und Inferenz im Vergleich
Das Training eines großen Modells ist ein einmaliger, extrem rechenintensiver Vorgang, der Wochen auf tausenden spezialisierten GPUs dauern kann. Die Inferenz dagegen findet millionenfach statt — jedes Mal, wenn ein Nutzer eine Frage stellt. Für Unternehmen ist fast immer nur die Inferenz relevant: Das Modell existiert bereits, es geht allein um seinen Betrieb.
| Merkmal | Training | Inferenz |
|---|---|---|
| Häufigkeit | einmalig (bzw. selten) | pro Anfrage, laufend |
| Rechenaufwand | sehr hoch, über Wochen | pro Anfrage überschaubar |
| Wer macht es | Modellhersteller | Betreiber / Anwender |
| Ergebnis | trainierte Gewichte | konkrete Antwort |
Wo Inferenz stattfindet
Entscheidend für Datenschutz und Souveränität ist die Frage, wo die Inferenz läuft. Ruft ein Unternehmen ein Modell über die API eines US-Anbieters ab, verlassen die Prompts das Haus. Wird dasselbe Open-Weights-Modell dagegen im eigenen Rechenzentrum betrieben (Self-Hosting) oder bei einem europäischen Inference-Anbieter, bleiben die Daten in kontrollierter Umgebung. Gerade bei chinesischen oder US-amerikanischen offenen Modellen ist ein europäischer Inference-Betreiber oft der entscheidende Hebel, um die Datenresidenz in der EU sicherzustellen — das Modell stammt aus dem Ausland, die Verarbeitung findet aber in Europa statt.
Die Kosten der Inferenz hängen unmittelbar von der Modellgröße ab. Wie viele Parameter pro Schritt aktiv sind, bestimmt Rechenbedarf und Antwortzeit; Quantisierung senkt beides, indem sie die Gewichte kompakter ablegt.
Relevanz für KMUs
Für den Mittelstand ist Inferenz der Posten, der im laufenden Betrieb tatsächlich Geld kostet — nicht das Training, das der Hersteller übernommen hat. Bei API-Modellen wird meist pro Token abgerechnet, beim Self-Hosting fallen stattdessen Hardware- und Stromkosten an. Die eigentliche strategische Weichenstellung liegt aber im Ort der Inferenz: Wer sensible Daten verarbeitet, sollte früh klären, ob die Verarbeitung in der EU oder unter der Kontrolle eines Drittstaats stattfindet. Einen laufend gepflegten Überblick über Modelle, Hosting- und Inference-Optionen bietet unser KI-Modelle-Vergleich.