Mixture of Experts
Modellarchitektur, bei der ein Router pro Token nur wenige spezialisierte Experten-Teilnetze aktiviert. So kann ein sehr großes Modell mit deutlich geringerem aktivem Rechenaufwand arbeiten.
Mixture of Experts (MoE) ist eine Bauweise für große Sprachmodelle, bei der das Modell nicht als ein einziger, immer vollständig aktiver Block arbeitet, sondern in viele spezialisierte Teilnetze — die sogenannten Experten — aufgeteilt ist. Für jedes einzelne Wort (genauer: jeden Token) entscheidet ein leichtgewichtiges Steuernetz, der Router, welche wenigen Experten diese Eingabe verarbeiten. Der Vorteil: Ein MoE-Modell kann insgesamt sehr viele Parameter besitzen — und damit breites Wissen abdecken — während pro Anfrage nur ein Bruchteil davon tatsächlich rechnet. Das macht die Antworten schneller und günstiger als bei einem klassischen Modell gleicher Gesamtgröße.
Dense-Modell vs. MoE-Modell
Zum Verständnis hilft der Vergleich mit einem klassischen „Dense"-Modell. Dort durchläuft jede Eingabe sämtliche Parameter des Modells — jede Anfrage kostet die volle Rechenleistung. Ein MoE-Modell aktiviert dagegen nur die vom Router ausgewählten Experten. Die Gesamtzahl der Parameter (und damit das gespeicherte Wissen) bleibt hoch, der Rechenaufwand pro Anfrage sinkt.
| Merkmal | Dense-Modell | MoE-Modell |
|---|---|---|
| Gesamtparameter | alle aktiv | sehr hoch, breites Wissen |
| Aktive Parameter pro Anfrage | alle | nur ein Bruchteil |
| Rechenkosten / Latenz | hoch | deutlich niedriger |
| Speicherbedarf (VRAM/RAM) | Gesamtmodell | Gesamtmodell — bleibt hoch |
Entscheidend ist die letzte Zeile: Auch wenn pro Token nur wenige Experten rechnen, muss das gesamte Modell im Speicher liegen, weil der Router bei jedem Token andere Experten anfordern kann. MoE spart also Rechenzeit, nicht Speicher.
Warum MoE in der Praxis zählt
MoE ist der Hauptgrund, warum leistungsfähige KI-Modelle in den letzten Jahren erheblich günstiger und schneller im Betrieb geworden sind. Ein Unternehmen erhält damit die Antwortqualität eines sehr großen Modells, zahlt beim Betrieb aber näher an den Kosten eines kleineren. Diese Bauweise findet sich heute in vielen aktuellen Open-Weights-Modellen — etwa von DeepSeek, Qwen, Mistral oder GLM —, die für Genauigkeit und breites Wissen bekannt sind.
Wichtig ist, MoE nicht mit anderen Modelleigenschaften zu verwechseln: Ob ein Modell schrittweise „nachdenkt" (Reasoning), ist unabhängig von der MoE-Architektur. Beides kann kombiniert vorkommen, das eine bedingt aber nicht das andere. MoE beschreibt allein, wie die Rechenlast im Inneren verteilt wird.
Der hohe Speicherbedarf ist die praktische Kehrseite. Wer ein MoE-Modell selbst betreiben will (Self-Hosting), muss genügend VRAM oder RAM für das vollständige Modell bereitstellen. Genau hier setzt Quantisierung an: Sie verkleinert den Speicherbedarf, indem die Parameter mit geringerer Präzision abgelegt werden — oft der entscheidende Hebel, damit ein starkes MoE-Modell auf bezahlbarer Hardware läuft.
Relevanz für KMUs
Für den Mittelstand ist MoE vor allem indirekt relevant: Es ist der technische Grund, warum viele der heute frei verfügbaren, leistungsstarken Modelle überhaupt wirtschaftlich selbst betreibbar sind. Wer über einen souveränen KI-Betrieb im eigenen Haus nachdenkt, trifft bei der Modellauswahl fast zwangsläufig auf MoE-Architekturen. Für die Hardwareplanung gilt dann die Faustregel: Nicht die aktiven, sondern die gesamten Parameter bestimmen den Speicherbedarf — ein Punkt, der bei der Kostenschätzung leicht übersehen wird. Einen laufend gepflegten Überblick über Modellfamilien, Lizenzen und Hosting-Optionen bietet unser KI-Modelle-Vergleich.