Neural Processing Unit

Eine Neural Processing Unit (NPU) ist ein spezialisierter Coprozessor, der für die effiziente Ausführung neuronaler Netzwerk-Inferenz — und in begrenztem Umfang auch für Training — direkt auf dem Endgerät entwickelt wurde. Während CPUs auf sequentielle Logik und GPUs auf hochparallele Fließkomma-Berechnungen ausgelegt sind, sind NPUs auf einen sehr engen, aber für KI typischen Workload zugeschnitten: Matrix-Multiplikationen mit niedriger Präzision, hoher Parallelität und festen Datenflüssen.

Funktionsweise und Architektur

Im Kern bestehen NPUs aus Arrays von Multiply-Accumulate-Einheiten (MAC), die auf Integer-Operationen mit reduzierter Bitbreite optimiert sind — typischerweise INT8 oder INT4. Diese Quantisierung kostet bei den meisten Inferenz-Workloads nur wenig Modellqualität, reduziert aber den Energie- und Speicherbedarf gegenüber FP32 um eine Größenordnung. Das Ergebnis: NPUs liefern KI-Inferenz deutlich energieeffizienter als CPU oder GPU, was vor allem im mobilen Betrieb spürbar ist.

Die Leistung wird in TOPS (Trillion Operations Per Second) angegeben. TOPS-Werte sind allerdings nur eingeschränkt vergleichbar, weil sie Architektur, Präzision und nutzbare Modellklassen ausblenden. Microsoft hat mit der Copilot+ PC-Spezifikation eine Schwelle gesetzt: Geräte benötigen mindestens 40 TOPS NPU-Leistung, um die Vollausstattung der Windows-KI-Funktionen zu erhalten.

Marktüberblick

Als Vergleichsmaßstab — wenn auch auf anderer Plattform — dient die Apple Neural Engine der M-Serie, die seit mehreren Generationen lokale KI-Inferenz auf macOS und iPadOS treibt.

Anwendungsfelder unter Windows 11

NPUs sind die technische Voraussetzung für eine Reihe von Windows-Funktionen, die nur auf Copilot+ PCs verfügbar sind. Dazu zählen Recall mit der lokalen semantischen Indexierung von Bildschirminhalten, Click to Do für kontextbezogene Aktionen auf erkannten Objekten, Cocreator in Paint und Studio Effects für Kamera- und Mikrofonbearbeitung in Echtzeit. Live Captions mit Übersetzung in mehrere Sprachen läuft ebenfalls vollständig lokal über die NPU.

Darüber hinaus bildet die NPU die Hardware-Basis für die Windows AI Foundry — Microsofts Laufzeit für Drittanbieter-Modelle, die Entwicklern erlaubt, eigene Sprach- und Vision-Modelle direkt auf dem Endgerät auszuführen, ohne Cloud-Backend.

Datenschutzrechtliche Bedeutung

Lokale Inferenz auf der NPU reduziert die Datenflüsse Richtung Cloud erheblich: Eingabedaten verlassen das Endgerät nicht, Modelle werden vorab geladen und vor Ort ausgeführt. Für Verantwortliche nach DSGVO bedeutet das zunächst zwei Dinge — weniger Drittlandübermittlungen in die USA und einen kleineren Kreis an Empfängern, die in Verarbeitungsverzeichnis und Datenschutzerklärung dokumentiert werden müssen.

Die Pflicht zur Datenschutz-Folgenabschätzung bleibt davon unberührt. Lokale Modelle können besondere Kategorien personenbezogener Daten verarbeiten — etwa biometrische Merkmale in Studio Effects oder Gesundheitsdaten, die durch indexierte Screenshots erfasst werden — und lösen damit dieselben Schwellenwerte aus wie ein vergleichbarer Cloud-Dienst. Auch die Pflichten zu technischen und organisatorischen Maßnahmen, Löschkonzepten und Betroffenenrechten ändern sich durch die Verlagerung in die Hardware nicht.

Bedeutung für die Systemhärtung

Aus Sicht der Systemhärtung bringt die NPU einen neuen, dauerhaft aktiven Beschleuniger ins Gerät, der über Treiber, Compiler-Stacks und Modell-Laufzeiten angesprochen wird. Wer NPU-gestützte Funktionen wie Recall nicht benötigt, sollte deren Aktivierung über Gruppenrichtlinien oder MDM gezielt unterbinden — sowohl aus Datenschutz- als auch aus Angriffsflächen-Perspektive. Die NPU selbst bleibt dabei als Hardware-Komponente bestehen, wird aber nicht mehr automatisch von KI-Workloads genutzt. Die konkreten Steuerungspfade für NPU-gestützte Funktionen in einer verwalteten Flotte beschreibt Kapitel 5 unseres Leitfadens zur datenschutzkonformen Windows-11-Konfiguration.