Lokale KI-Tools bestimmen die Woche: Jevstiller, TalkScribe und ein Rückzug in die Cloud bei Anthropic

Jevstiller ist ein Open-Source-Proxy, der vor Jev von TypeSafe sitzt. Das GitHub-Repository und ein Artikel im Register datieren beide auf den 30. September.

Beide beschreiben denselben Mechanismus. Zunächst geht jede Anfrage an Jev, und die Antworten trainieren ein kleines lokales Modell. Sobald genug Beispiele vorliegen, werden die bekannten auf der eigenen Hardware beantwortet. Jev ist günstig, aber nicht kostenlos. The Register nennt für Jev einen Preis von 42 US-Dollar pro Milliarde Eingabe-Token und eine Latenz von etwa 300 ms. Laut README von Jevstiller dauert eine lokale Antwort auf der CPU etwa 15 ms, also rund 20-mal schneller. Die Projektdokumentation beschreibt das Ganze als Cache: "Eine Anfrage wird nur dann lokal beantwortet, wenn jede Frage darin lokal beantwortet werden kann; andernfalls geht die gesamte Anfrage mit dem eigenen Schlüssel des Aufrufers an Jev."

Die Zahlen hinter dieser Behauptung sind enger, als die Schlagzeile vermuten lässt. Banking77 ist ein Satz von 77 Absichten aus dem Kundensupport, der gegen aufgezeichnete Jev-Antworten abgespielt wird. Mit den Standardeinstellungen wurden darauf 61,7 % der zurückgehaltenen Nachrichten beantwortet, bei 99,40 % Übereinstimmung mit Jev und einem erklärten Ziel von 98 %. Das README nennt außerdem eine Genauigkeit von 78,8 % für das lokale Modell gegenüber 78,5 % für Jev auf den Labels des Datensatzes. Ein Live-Lauf am 25. September ergab 70,7 % bei 99,45 % Übereinstimmung, mit einer Einstellung, die laut README nicht mehr die Standardeinstellung ist.

Lokale Modelle ziehen auf den Laptop um

In derselben Woche kamen mehrere Tools zusammen, die auf einer Annahme beruhen: Inferenz gehört auf die Maschine, die direkt vor einem steht. TalkScribe, eine am 30. September veröffentlichte Diktier-App für macOS, führt Spracherkennung und einen Überarbeitungslauf auf Apples Neural Engine aus, ohne Übertragung in die Cloud. Eine lebenslange Lizenz kostet 14 US-Dollar, und für die Politur ist ein Qwen3-Modell mit 1,7 Milliarden Parametern an Bord. Die Website behauptet, Menschen tippen etwa 40 Wörter pro Minute und sprechen 130 bis 160. Das ist das Argument in einem Satz.

Ollama hat laut seiner Bibliotheksseite in Version 0.35 einen Endpunkt für Entscheidungsmodelle hinzugefügt. Der Endpunkt bedient Nimble, ein Modell mit 9 Milliarden Parametern von Bespoke Labs, das aus Qwen3.5-9B feinabgestimmt wurde. Die Seite nennt für Nimble Antworten in unter 100 ms auf einem MacBook Pro mit M5 Max und bis zu 64 Fragen pro Anfrage. Der Endpunkt folgt der Jev-API von TypeSafe, sodass dieselbe Form der Anfrage sowohl gegen ein gehostetes Jev als auch gegen eine lokale Datei funktioniert.

"We're open sourcing AA-AgentPerf-Local, which replays real agent trajectories on laptop & workstation hardware to test inference performance," schrieb Artificial Analysis am 30. September.

Dieser Benchmark gibt dem lokalen Vorstoß einen Maßstab. Artificial Analysis nennt als Standardlast 8 aufgezeichnete agentische Aufgaben über 168 Modellschritte, wobei der Kontext auf etwa 56.000 Token wächst. Erste Ergebnisse veröffentlichte das Team für NVIDIA DGX Spark mit 128 GB, AMD Ryzen AI Halo mit 128 GB, ein MacBook Pro M5 Pro mit 64 GB und eine NVIDIA GeForce RTX 5090 mit 32 GB. Getestet wurden Qwen3.5-9B, Qwen3.8-27B mit 27 Milliarden Parametern, Qwen3.6-35B-A3B mit 35 Milliarden Parametern und Ling 3.0 Flash mit 4-Bit-Quantisierung.

Zwei weitere Projekte runden das Muster ab. OpenResearch von alphaXiv ist ein lokal ausgerichteter Arbeitsbereich für Forschungsagenten, der Experimente in einer lokalen SQL-Datenbank hält. Laut Projektangaben werden weder Code noch Agentenspuren gesammelt, allerdings senden die Release-Builds eine abwählbare Analyse, die an eine zufällige Installations-ID gebunden ist. LocalThings, eine Integration für Home Assistant, spricht über das lokale Netzwerk mit Samsung-Geräten, und zwar mit CoAP über DTLS nach der OCF-Spezifikation. Das README versichert, dass nach der Einrichtung nie Samsungs Server kontaktiert werden.

Das Gegenbeispiel: Anthropic zieht den lokalen Modus zurück

Nicht jeder Anbieter bewegt sich in diese Richtung. Das Hilfezentrum von Anthropic erklärt, dass am 6. Oktober 2026 neue Cowork-Aufgaben in den Tarifen Pro, Max und Ultra in der Cloud liefen und die Option "Only on your computer" in den Einstellungen entfernt wurde. Nutzer, die noch lokal eingestellt waren, wurden beim nächsten Öffnen der Desktop-App in die Cloud verschoben, ohne Möglichkeit, zurückzuschalten. Aufgaben, die vor diesem Datum begonnen wurden, bleiben auf dem Rechner.

Setzt man beide Hälften zusammen, liest sich die Woche als Spaltung, nicht als Trend. Die oben genannten Tools sind klein, auf einen Zweck beschränkt und meist kostenlos oder billig: eine Lizenz für 14 US-Dollar, ein Container-Image, ein GitHub-Repository. Die Änderung bei Anthropic betrifft bezahlte Tarife und verschiebt die Arbeit in die andere Richtung. Welche Seite gewinnt, hängt von den Arbeitslasten ab und davon, ob die Übereinstimmungswerte außerhalb eines Datensatzes mit 77 Absichten halten.