Aleph Alpha Kolibri: Deutsches KI-Modell als Open Weights

Aleph Alpha hat zum Tag der Deutschen Einheit sein Sprachmodell Kolibri als Open Weights veröffentlicht. Das MoE-Modell mit 78 Milliarden Parametern ist auf Deutsch spezialisiert und für Verwaltung und Industrie gedacht – für den Heim-PC ist es aber zu groß.

Aleph Alpha hat am 3. Oktober 2026, dem Tag der Deutschen Einheit, sein neues Sprachmodell Kolibri veröffentlicht. Das Heidelberger Unternehmen stellt die Gewichte unter der Apache-2.0-Lizenz frei auf Hugging Face bereit. Kolibri ist auf Deutsch und Englisch spezialisiert und zielt auf Verwaltung und Industrie, die KI auf eigener Hardware betreiben wollen.

78 Milliarden Parameter, aber nur 3,46 Milliarden aktiv

Kolibri ist ein sogenanntes Mixture-of-Experts-Modell (MoE). Laut Modellkarte umfasst es insgesamt rund 78 Milliarden Parameter, pro Token rechnen aber nur etwa 3,46 Milliarden davon. Jede der 50 Schichten besteht aus 384 kleinen „Experten“, von denen pro Token sechs plus ein gemeinsam genutzter Experte zum Einsatz kommen. Das senkt den Rechenaufwand deutlich. Der Speicherbedarf bleibt aber hoch, weil das komplette Modell im Speicher liegen muss.

Nativ trainiert ist ein Kontextfenster von 262.144 Tokens. Aleph Alpha gibt an, die Qualität bis zu rund einer Million Tokens geprüft zu haben, empfiehlt für den Betrieb aber höchstens 256k. Dazu kommen Tool-Aufrufe und ein Reasoning-Modus mit den Stufen none, low, medium und high.

Deutsch von Anfang an statt nur übersetzt

Der eigentliche Unterschied zu vielen offenen Modellen liegt im Training. Kolibri lernte aus rund 20 Billionen Tokens, davon mehr als ein Fünftel auf Deutsch: Der Aleph-Alpha-Blog nennt 21,3 Prozent der Pre-Training-Tokens, die Modellkarte rund 24 Prozent des Korpus. Statt in großem Stil englische Texte zu übersetzen, hat das Team deutsche Webtexte selbst kuratiert und vorhandene deutsche Dokumente von einem Sprachmodell umformulieren lassen. Übersetzungen würden die kulturelle Prägung der Ausgangssprache mitschleppen, argumentiert das Unternehmen.

Hinzu kommt ein eigener Tokenizer, der deutsche Komposita entlang ihrer Wortbestandteile zerlegt. Als Beispiel nennt Aleph Alpha „Bundessozialgerichtes“, das Kolibri in „Bundes“, „sozial“, „gericht“ und „es“ trennt. Weniger und sinnvollere Tokens bedeuten schnellere und günstigere Antworten.

Wie gut ist Kolibri?

Alle Benchmarks stammen vom Hersteller selbst und sind entsprechend vorsichtig zu lesen. Im Mathe-Test AIME 2026 erreicht Kolibri laut Aleph Alpha 96,0 Prozent auf Englisch und 90,0 Prozent auf Deutsch, beim Wissenschaftstest GPQA Diamond 84,3 beziehungsweise 81,3 Prozent. Damit liegt das Modell in mehreren Disziplinen auf Augenhöhe mit deutlich größeren offenen Modellen wie Nvidias Nemotron 3 Super oder Mistral Small 4. Bei anderen Tests, etwa Humanity’s Last Exam auf Deutsch, landet es aber klar hinter Nemotron 3 Super.

Besonders betont Aleph Alpha das Thema Halluzinationen: Kolibri sei darauf trainiert, „Ich weiß es nicht“ zu sagen, wenn die Antwort nicht im bereitgestellten Kontext steht. Unabhängige Tests dazu stehen noch aus.

Was das für Österreich bedeutet

Für den Gaming-PC zu Hause ist Kolibri nichts: Die FP8-Gewichte belegen laut Modellkarte rund 78 GB, als Minimum nennt Aleph Alpha zwei Nvidia A100 mit je 80 GB oder eine einzelne H200 beziehungsweise B200. Interessant ist das Modell für Behörden, Industriebetriebe und Rechenzentren im deutschsprachigen Raum, die sensible Daten nicht an US-Clouddienste schicken wollen. Die Apache-2.0-Lizenz erlaubt auch den kommerziellen Einsatz.

Entwickelt wurde Kolibri laut Aleph Alpha in Deutschland, trainiert auf Infrastruktur in Deutschland und Finnland. Die Wirtschaftswoche erinnert allerdings daran, dass Aleph Alpha und der kanadische KI-Anbieter Cohere Ende April eine Fusion angekündigt haben, die de facto einer Übernahme durch Cohere gleichkommt. Wie sich das auf künftige Kolibri-Versionen auswirkt, ist offen.

Quellen

Hinweis: Dieser Artikel wurde mit KI-Unterstützung erstellt und redaktionell geprüft.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert