Einstieg
Stell dir vor, du willst ein KI-Modell auf deinem eigenen Rechner laufen lassen. Keine Cloud, kein Abo, keine Daten, die irgendwo in einem Rechenzentrum landen. Bisher hieß das meistens: Du nimmst ein kleines Modell und akzeptierst, dass es spürbar dümmer ist als die großen Brüder. Oder du kaufst dir eine Grafikkarte, die so viel kostet wie ein Gebrauchtwagen.
Diese Woche hat ein junges Unternehmen namens PrismML versucht, genau diesen Kompromiss aufzuweichen. Am 17. September haben sie Ternary Bonsai 2 27B veröffentlicht. Das Modell ist nur 5,9 Gigabyte groß und soll trotzdem rund 98 Prozent der Leistung des Originals behalten. Ich habe mir das genauer angesehen, weil ich solche Versprechen erst mal skeptisch lese. Aber hier steckt eine Idee dahinter, die ich wirklich spannend finde.
Was ist das überhaupt?
Bonsai 2 ist kein komplett neues Modell. PrismML nimmt Qwen3.8 27B von Alibaba (seit dem 14. August 2026 unter der freizügigen Apache-2.0-Lizenz veröffentlicht) und komprimiert es stark. Das Ergebnis ist ein Modell mit 27 Milliarden Parametern, einem Kontextfenster von 262.000 Token, Bildverständnis und der Fähigkeit, mehrstufige Aufgaben als Agent abzuarbeiten.
Kurz zu den Begriffen, falls du die noch nicht kennst:
- Parameter sind die Stellschrauben im Modell. Je mehr davon, desto mehr kann das Modell in der Regel. Stell dir ein riesiges Mischpult mit Milliarden Reglern vor.
- Kontextfenster ist das Kurzzeitgedächtnis. 262.000 Token entsprechen grob einem dicken Buch, das du dem Modell auf einmal vorlegen kannst.
- Quantisierung heißt: Man speichert die Reglerstellungen weniger genau. Das ist wie bei einem Foto, das du als JPEG mit niedrigerer Qualität speicherst. Die Datei wird kleiner, das Bild fast gleich.
PrismML kommt übrigens aus der Forschung am Caltech in Kalifornien. Zu den Geldgebern zählen laut Pressemitteilung unter anderem Khosla Ventures, Google und Samsung. Das ist also kein Hobbyprojekt aus dem Keller, auch wenn das Modell “Bonsai” heißt.
Wie funktioniert das?
Normalerweise speichert ein Modell jeden seiner Regler als Zahl mit 16 Bit. Das ist sehr fein abgestuft, wie ein Dimmer mit tausenden Zwischenstufen. Bei Bonsai gibt es pro Regler nur noch drei mögliche Werte: minus eins, null oder plus eins. Daher der Name “ternär” (dreiwertig).
Das ist wie ein Lichtschalter mit drei Stellungen statt eines Dimmers: aus, an, oder “gegenteilig”. Klingt brutal grob, oder? Damit es trotzdem funktioniert, kommen zwei Tricks dazu. Erstens bekommt jede Gruppe von 128 Reglern einen gemeinsamen Skalierungsfaktor, der sagt, wie “laut” die Gruppe insgesamt sein soll. Zweitens rechnet PrismML vor dem Runden die Zahlen mit einer mathematischen Drehung (Hadamard-Transformation) so um, dass sich Ausreißer gleichmäßiger verteilen und beim Runden weniger kaputtgehen.
Unterm Strich landet man bei ungefähr 1,7 Bit pro Regler. Die Modellkarte nennt 1,72, die Dokumentation für das Dateiformat 1,76. Ich bleibe deshalb bei “rund 1,7”. Zum Vergleich: Das Original hat 16 Bit. Daher der Faktor neun bei der Dateigröße.
Die Zahlen, die PrismML nennt:
- Größe: 5,9 GB statt etwa neunmal so viel im Original.
- Leistung: Im Durchschnitt über 20 Tests kommt Bonsai auf 83,9 Punkte, das Original auf 85,4. Das sind die 98,2 Prozent.
- Mathe: 96,57 zu 97,06. Fast kein Unterschied.
- Coding: 81,58 zu 82,17. Auch hier kaum was.
- Bilder verstehen: 78,59 zu 81,64, also gut 96 Prozent. Hier sieht man den Preis der Kompression schon.
- Geschwindigkeit: Bis zu 143 Token pro Sekunde auf einer RTX 5090, rund 47 auf einem Apple M5 Max.
Zum Laufen brauchst du aktuell allerdings einen speziellen Fork von llama.cpp von PrismML. Das normale llama.cpp startet diese Dateien nicht. Auf Apple-Rechnern gibt es alternativ eine MLX-Version mit 8,5 GB, die ohne Sonderbauten läuft.
Warum ist das relevant?
Ich habe in den letzten Monaten mehrfach über lokale KI geschrieben, unter anderem im Praxisguide zu Ollama und LM Studio. Das Hauptproblem war immer dasselbe: Die wirklich guten Modelle sind zu groß für normale Hardware. Wenn ein 27B-Modell in unter 6 GB passt, verschiebt sich diese Grenze deutlich.
Drei Gründe, warum mich das interessiert:
- Datenschutz: Was lokal bleibt, verlässt nie deinen Rechner. Für Firmendaten, Kundendaten oder einfach private Notizen ist das ein Argument, das kein Preisschild ersetzt.
- Kosten: Keine API-Rechnung, keine Nutzungslimits. Nach dem Download kostet dich das Modell nur Strom.
- Offline-Fähigkeit: Zug, Flugzeug, schlechtes WLAN. Das Modell läuft trotzdem.
Für mich als jemand, der Flutter-Apps baut und nebenbei mit KI-Agenten experimentiert, ist das vor allem interessant, weil ich Tests und Entwürfe lokal laufen lassen könnte, ohne bei jedem Versuch Token zu bezahlen.
Was sollte ich beachten?
Jetzt kommt der Teil, in dem ich die Euphorie bremse.
Die Benchmarks kommen vom Hersteller. Die 98,2 Prozent stammen von PrismML selbst, nicht aus einem unabhängigen Test. Das heißt nicht, dass sie falsch sind. Aber ich würde abwarten, bis andere das nachmessen. Gerade bei Kompression gilt: Im Durchschnitt sieht alles gut aus, in einzelnen Spezialfällen kann es kippen.
Der Abstand ist nicht überall gleich. Bei Mathe und Coding ist er winzig. Bei Bildern schon größer. Bei langen Agenten-Aufgaben (Terminal-Bench) nennt MarktechPost sogar nur etwa 75 Prozent. Diese Zahl habe ich nur aus einer Quelle, nimm sie also als vorläufig.
Die Hardware ist nicht kostenlos. Laut MarktechPost brauchst du einen Laptop mit 16 GB Speicher oder eine Grafikkarte mit 24 GB. Auch diese Angabe habe ich nicht doppelt belegt. Ein alter Büro-Laptop wird das eher nicht schaffen.
Die Einrichtung ist nicht Plug-and-play. Solange die Sonderfunktionen nicht im normalen llama.cpp stecken, bist du auf PrismMLs Fork angewiesen. Das heißt: Fremder Code, den du selbst bauen musst, und keine Garantie, dass er langfristig gepflegt wird.
Niedriger Denkaufwand geht nicht. Laut Doku unterstützt das Modell den Modus “low reasoning effort” nicht, nur mittel, hoch und maximal. Für einfache Aufgaben kann es also träger sein als nötig.
Fazit & Ausblick
Ich finde Bonsai 2 aus einem einfachen Grund spannend: Es zeigt, dass “kleiner machen” nicht automatisch “dümmer machen” heißen muss. Wenn sich die Zahlen in unabhängigen Tests bestätigen, ist das ein echter Schritt für lokale KI. Nicht, weil das Modell besser wäre als die großen Cloud-Modelle. Sondern weil es für viele Alltagsaufgaben gut genug sein könnte, und zwar auf Hardware, die ich schon habe.
Mein Plan: Ich warte ein bis zwei Wochen auf unabhängige Messungen und Erfahrungsberichte, und probiere es dann selbst aus. Wenn es klappt, gibt es dazu einen Praxisbericht. Wenn nicht, schreibe ich das genauso.
Kein Bullshit, nur Signal: Vielversprechend, aber noch nicht bewiesen.
Deine Gedanken dazu:
Würdest du ein Modell lokal laufen lassen, wenn es 95 bis 98 Prozent der Cloud-Qualität liefert, aber dafür deine Daten bei dir bleiben?
Welche Aufgaben würdest du einem lokalen Modell überlassen, und welche lieber nicht?
Wie viel Bastelaufwand (Fork bauen, Kommandozeile) ist für dich okay, bevor es keinen Spaß mehr macht?
Traust du Benchmarks, die der Hersteller selbst veröffentlicht?