Kitsuno testet offenes Laya-Modell im Schattenbetrieb neben geschlossener Jev-API
Kitsuno hat begonnen, das Entscheidungsmodell Laya mit offenen Gewichten im Produktivbetrieb als Schattenmodell zu testen. Es soll den eigenen geschlossenen Stack ersetzen. Als Gründe nennt das Unternehmen Souveränität und Kostenkontrolle.

Am 3. Oktober veröffentlichte Kitsuno einen Engineering-Beitrag über die Entscheidung, ein Open-Source-Modell parallel zur bestehenden geschlossenen Infrastruktur laufen zu lassen. Das Unternehmen prüft Laya, ein Modell mit offenen Gewichten von Nandakishor Mukkunnoth und ConvAI Innovations, gegen das bisherige geschlossene Werkzeug Jev. Der Doppelbetrieb ist ein gezieltes Experiment zur architektonischen Souveränität, kein einfacher Upgrade-Pfad. Das Team will wissen, ob ein offenes Modell die Eigenheiten europäischer Arbeitsmarktdaten bewältigen kann, ohne sensible Informationen an externe Server zu geben. Es steht viel auf dem Spiel, denn das aktuelle System funktioniert, liegt aber in einer Rechtsordnung, die die Compliance erschwert. Weil beide Systeme parallel laufen, können die Ingenieure die Lücke in Echtzeit messen. Der laufende Dienst, der täglich Anfragen zur Jobvermittlung bearbeitet, wird dabei nicht gestört.
Der Schritt folgt einem strengen internen Grundsatz: Daten müssen in europäischen Rechenzentren bleiben.
Jev läuft in den Vereinigten Staaten und ist Closed Source. Laya steht unter der Apache-2.0-Lizenz und lässt sich lokal hosten. Das entspricht Kitsunos neuntem Grundsatz, der vorschreibt, dass Daten in Europa bleiben. Die rechtlichen und betrieblichen Folgen dieses Unterschieds sind erheblich für ein Unternehmen, das personenbezogene Daten in der EU verarbeitet. Wer Abfragen an eine US-API schickt, schafft eine Abhängigkeit, die die Führung beseitigen will. Lokales Hosting stellt sicher, dass die Modellgewichte und die verarbeiteten Daten nie eine Grenze überschreiten. In regulierten Branchen wird diese Anforderung immer häufiger gestellt. Der Wechsel bedeutet: Intelligenz nicht mehr mieten, sondern die Infrastruktur besitzen, die sie erzeugt.
Die Leistungslücke ist deutlich, aber beherrschbar. In einem kleinen Staging-Test erkannte das untrainierte Laya bei 26 Prozent der Stellenanzeigen das richtige Land. Den richtigen Arbeitsmodus traf es bei 50 Prozent. Jev erreichte auf denselben Kennzahlen 89 Prozent Genauigkeit. In einem breiteren Testsatz beantwortete Laya 44 Prozent der Fragen richtig, Jev 94 Prozent.
Der Schattenmodus-Ansatz
Kitsuno ersetzt Jev nicht sofort. Stattdessen läuft Laya in einer Schattenkonfiguration. Das offene Modell bearbeitet dieselben realen Anfragen wie Jev, seine Ausgaben fließen aber nicht in endgültige Entscheidungen ein. So kann das Team die Leistung in einer Live-Umgebung messen, ohne die Produktionsstabilität zu gefährden. Ziel ist, Laya gezielt auf Kitsunos eigene Daten zu trainieren, bis es die Leistung des geschlossenen Modells erreicht oder übertrifft.
Eine zentrale Einschränkung dabei ist das Verbot, Jevs Ausgaben als Trainingslabels zu verwenden. Der Kundenvertrag von TypeSafe, aktualisiert am 23. September, untersagt ausdrücklich, Jevs Ausgabe für Modelldestillation zu nutzen oder ein Modell zu trainieren, das den Dienst nachahmt. Kitsuno legte das streng aus. Die Datenbankrolle für den Laya-Worker darf Jevs Antworten nicht einmal lesen. Deshalb musste das Team eine neue Labeling-Pipeline von Grund auf bauen. Das verlangsamte die Arbeit, sicherte aber die Compliance.
Der aktuelle Jev-Stack ist kosteneffizient. Seit dem 23. September bearbeitete er 35.812 protokollierte Aufrufe mit 76.000.000 Eingabe-Tokens zu Gesamtkosten von 3,68 USD.
Hauptmotiv für den Wechsel sind bei diesem Volumen nicht die Einsparungen, sondern architektonische Souveränität und die Möglichkeit, das Modell an spezifische Geschäftsanforderungen anzupassen. Die Kosten pro Aufruf sind vernachlässigbar, die Geschäftsgrundlage ruht also ganz auf Kontrolle. Wenn das Team das offene Modell genau genug macht, gewinnt es die Freiheit, die Logik zu ändern, ohne auf ein Anbieter-Update zu warten. Diese Unabhängigkeit ist der Kern des Projekts. Sie verwandelt die KI-Komponente von einer Dienstabhängigkeit in einen internen Vermögenswert, den das Engineering-Team direkt weiterentwickeln kann.
Kontext aus der Branche
Der Trend, geschlossene APIs durch offene Gewichte zu ersetzen, gewinnt an Boden. Aleph Alpha veröffentlichte am 3. Oktober Kolibri, ein souveränes Modell mit offenen Gewichten, 78.000.000.000 Gesamtparameter und 3.000.000.000 aktive Parameter. Es ist für regulierte Branchen gedacht und unterstützt Kontextlängen bis 1.000.000 Tokens. Wie Laya steht Kolibri unter der Apache-2.0-Lizenz, sodass Unternehmen es vor Ort betreiben können, ohne interne Daten an Dritte zu geben.
Meta AI Research hob ebenfalls den Nutzen offener Modelle für komplexe Aufgaben hervor. Das Team arbeitete mit Mathematikern zusammen, um offene Forschungsprobleme mit Muse Spark 1.1 und 1.2 zu lösen. Die Papers kennzeichneten klar, welche Passagen von KI und welche von Forschern stammten. Das zeigt einen transparenten Arbeitsablauf, den offene Modelle ermöglichen.
Für viele Entwickler geht es bei der Wahl zwischen geschlossenen und offenen Modellen längst nicht mehr nur um Genauigkeit. Es geht um Kontrolle, Compliance und die Möglichkeit, iterativ zu arbeiten. Wie Kitsuno anmerkt, ist das Training das Produkt. Ein offenes Modell ist ein Ausgangspunkt, dem man bestimmte Fragen beibringen kann, während eine geschlossene API eine Blackbox ist, die sich nicht für den eigenen Anwendungsfall ändern lässt.
Die Branche bewegt sich auf einen hybriden Ansatz zu, bei dem deterministische Prüfungen und agentische KI zusammenwirken. Die Open-Source-Community liefert die Werkzeuge, um solche Stacks lokal zu bauen. Das verringert die Abhängigkeit von externen Anbietern und stellt sicher, dass sensible Daten die Infrastruktur der Organisation nie verlassen.
Quellen
10- 01Training an open decision model to replace a closed one, in shadow on prodEN
- 02Kolibri: A Sovereign Open-Weight ModelEN
- 03Solving Open Research Problems TogetherEN
- 04AI Experts Want to Do High-Stakes Research Out in the OpenEN
- 05Open source SDK to build Muse gadgetsEN
- 06Open 10-player CS:GO dataset for multiplayer world modelsEN
- 07E2E: The open source AI testing frameworkEN
- 08Cloudflare opens more Enterprise-only features to all customersEN
- 09A modern open-source Amiga CDFileSystem replacementEN
- 10ThreeJS Port of OpenDLSS-NREN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.