Parameter (KI-Modell)
Die während des Trainings gelernten Zahlenwerte, aus denen ein KI-Modell besteht. Ihre Anzahl — meist in Milliarden angegeben — ist das gängigste Maß für die Größe eines Modells und bestimmt maßgeblich seinen Speicher- und Rechenbedarf.
Die Parameter eines KI-Modells sind die Zahlenwerte — meist als Gewichte bezeichnet —, die das Modell während des Trainings gelernt hat. Sie kodieren alles, was das Modell „weiß" und „kann". Ihre Anzahl ist das gebräuchlichste Größenmaß und wird üblicherweise in Milliarden (englisch billion, abgekürzt B) angegeben: Ein „7B-Modell" besitzt rund sieben Milliarden Parameter, ein „70B-Modell" das Zehnfache. Als grobe Faustregel gilt, dass mehr Parameter mehr Wissen und Leistungsfähigkeit ermöglichen — allerdings auf Kosten von Speicherbedarf, Rechenzeit und Betriebskosten.
Aktive vs. gesamte Parameter
Bei modernen Mixture-of-Experts-Modellen genügt die Gesamtzahl der Parameter nicht mehr zur Einschätzung. Hier unterscheidet man zwei Werte, die in Steckbriefen oft nebeneinanderstehen — etwa „230 Mrd. gesamt / 10 Mrd. aktiv":
| Angabe | Bedeutung | Bestimmt vor allem |
|---|---|---|
| Gesamtparameter | alle im Modell gespeicherten Gewichte | Speicherbedarf (VRAM/RAM), Wissensbreite |
| Aktive Parameter | die pro Token tatsächlich rechnenden Gewichte | Geschwindigkeit, Rechenkosten pro Anfrage |
Der entscheidende und leicht übersehene Punkt: Für die Hardwareplanung zählen die gesamten Parameter, denn das vollständige Modell muss im Speicher liegen. Für die Antwortgeschwindigkeit und die laufenden Kosten der Inferenz zählen dagegen die aktiven Parameter. Ein MoE-Modell mit 230 Milliarden Parametern, von denen nur 10 Milliarden aktiv sind, braucht also viel Speicher, antwortet aber so schnell und günstig wie ein deutlich kleineres Modell.
Parameter und Hardwarebedarf
Wie viel Speicher die Parameter belegen, hängt zusätzlich von ihrer Präzision ab. In voller 16-Bit-Präzision benötigt jedes Milliarden-Paket rund zwei Gigabyte Speicher; per Quantisierung auf 4 Bit sinkt das auf etwa ein Viertel. Erst diese Kombination macht große Modelle im Self-Hosting auf bezahlbarer Hardware realistisch. Die reine Parameterzahl sagt außerdem nichts über die Qualität aus: Trainingsdaten, Architektur und Feinabstimmung beeinflussen die tatsächliche Leistung oft stärker als ein paar Milliarden Parameter mehr oder weniger.
Relevanz für KMUs
Für den Mittelstand ist die Parameterzahl vor allem ein Planungswert für die Hardware, kein Qualitätssiegel. Wer ein Modell selbst betreiben will, sollte den Speicherbedarf aus den gesamten Parametern und der geplanten Präzision ableiten — nicht aus den aktiven. Und statt reflexartig zum größten Modell zu greifen, lohnt der Test, ob ein kleineres Modell die konkrete Aufgabe — Zusammenfassungen, Übersetzungen, Wissensfragen — nicht ebenso gut und deutlich günstiger löst. Einen laufend gepflegten Überblick über Modellgrößen und ihren Hardwarebedarf bietet unser KI-Modelle-Vergleich.