Aleph Alpha TFree-HAT

TFree-HAT-Pretrained-7B-Base ist das aktuelle offene Flaggschiff von Aleph Alpha und markiert die Umbenennung der offenen Modelllinie von "Pharia" zu "TFree-HAT". Es handelt sich um ein rund 7-Milliarden-Parameter-Modell, das am 20. August 2025 vorgestellt und von Grund auf neu auf englischen und deutschen Daten trainiert wurde. Die Besonderheit liegt in der Architektur: Der Hierarchical Autoregressive Transformer (HAT) arbeitet tokenizer-frei und verbindet eine zeichenweise Kodierung und Dekodierung mit einem wortbasierten Backbone. Damit entfällt der klassische feste Token-Vokabular-Schritt, was laut Aleph Alpha eine bessere Textkompression, höhere Robustheit gegenüber Eingabevariationen und eine leichtere Anpassung an neue Sprachen und Fachdomänen über Fine-Tuning ermöglicht.

Das Modell verarbeitet reinen Text und wurde auf ein Kontextfenster von rund 32.000 Token angepasst — ein deutlicher Sprung gegenüber den 8.192 Token der Pharia-1-Generation. Die Trainingsdaten wurden nach eigenen Angaben unter Berücksichtigung von EU- und nationalen Vorschriften einschließlich Urheber- und Datenschutzrecht kuratiert, was die Ausrichtung auf KI-Souveränität und regulierte Branchen unterstreicht. Die Gewichte stehen als open-weights unter der Open Aleph License bereit — ausdrücklich für nicht-kommerzielle Forschungs- und Bildungszwecke; kommerzieller Einsatz erfordert eine gesonderte Vereinbarung. Für den produktiven Betrieb setzt Aleph Alpha auf Self-Hosting im eigenen Rechenzentrum oder in der souveränen STACKIT-Cloud. Ergänzend existiert mit Llama-TFree-HAT-Pretrained-7B-DPO eine nachtrainierte DPO-Variante aus derselben Ankündigung.