Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Kitsuno testuje otwarty model Laya w trybie cienia obok zamkniętego API Jev

Kitsuno zaczęło testować otwarty model decyzyjny Laya w produkcyjnym trybie cienia, żeby zastąpić nim zamknięty stos własnościowy. Firma podaje dwa powody: suwerenność danych i kontrolę kosztów.

AI i modeleNewsMarta ZielińskaOpublikowano: 3 października 20264 min czytaniaŹródła 10
Kitsuno testuje otwarty model Laya w trybie cienia obok zamkniętego API Jev

Trzeciego października Kitsuno opublikowało wpis inżynierski o tym, że uruchamia model otwartoźródłowy obok obecnej infrastruktury zamkniętej. Firma sprawdza Layę, model z otwartymi wagami od Nandakishora Mukkunnotha i ConvAI Innovations, na tle dotychczasowego narzędzia Jev. To nie jest zwykłe uaktualnienie, ale świadomy eksperyment z suwerennością architektury. Zespół chce się przekonać, czy otwarty model poradzi sobie ze specyfiką europejskich danych o rynku pracy i nie wyśle przy tym wrażliwych informacji na zewnętrzne serwery. Stawka jest wysoka, bo obecny system działa, ale działa w jurysdykcji, która komplikuje zgodność z przepisami. Dzięki równoległej pracy obu systemów inżynierowie mierzą różnicę na bieżąco i nie zakłócają usługi, która codziennie obsługuje zapytania o dopasowanie ofert pracy.

Decyzją kieruje sztywna zasada wewnętrzna: dane muszą zostać w europejskich centrach danych.

Jev działa w Stanach Zjednoczonych i jest zamknięty. Laya jest dostępna na licencji Apache 2.0 i można ją hostować lokalnie. To zgadza się z dziewiątą zasadą Kitsuno, która nakazuje trzymanie danych w Europie. Skutki prawne i operacyjne tej różnicy są dla firmy przetwarzającej dane osobowe w UE poważne. Wysyłanie zapytań do API w USA tworzy zależność, której kierownictwo chce się pozbyć. Lokalny hosting sprawia, że wagi modelu i przetwarzane przez nie dane nie przekraczają granic. W branżach regulowanych takie wymaganie staje się normą. Zamiast wynajmować inteligencję, firma zaczyna mieć infrastrukturę, która ją wytwarza.

Różnica w wynikach jest duża, ale do opanowania. W małym teście na środowisku stagingowym nietrenowana Laya poprawnie wskazała właściwy kraj w 26 procentach ogłoszeń o pracę. Właściwy tryb pracy rozpoznała w 50 procentach. Jev osiągnął na tych samych wskaźnikach 89 procent skuteczności. W szerszym zestawie testowym Laya odpowiedziała poprawnie na 44 procent pytań, a Jev na 94 procent.

Podejście przez tryb cienia

Kitsuno nie zastępuje Jeva od razu. Zamiast tego uruchomiło Layę w konfiguracji cienia. Otwarty model przetwarza te same rzeczywiste zapytania co Jev, ale jego odpowiedzi nie trafiają do ostatecznych decyzji. Dzięki temu zespół mierzy skuteczność w warunkach produkcyjnych i nie ryzykuje stabilności usługi. Celem jest dotrenowanie Layi na danych Kitsuno aż dorówna modelowi zamkniętemu albo go przewyższy.

Kluczowym ograniczeniem jest zakaz używania odpowiedzi Jeva jako etykiet treningowych. Umowa klienta TypeSafe, zaktualizowana 23 września, wprost zabrania wykorzystywania wyników Jeva do destylacji modelu lub trenowania modelu, który naśladuje usługę. Kitsuno potraktowało to surowo. Rola bazy danych dla procesu Layi nie ma nawet prawa odczytać odpowiedzi Jeva. Zespół musiał więc zbudować nowy potok etykietowania od zera. Praca przez to zwolniła, ale zgodność z umową została zachowana.

Obecny stos Jev jest oszczędny. Od 23 września obsłużył 35 812 zalogowanych wywołań i zużył 76 000 000 tokenów wejściowych. Całkowity koszt wyniósł 3,68 USD.

Głównym powodem zmiany nie są oszczędności przy takiej skali, ale suwerenność architektury i możliwość dostosowania modelu do konkretnych potrzeb firmy. Koszt jednego wywołania jest znikomy, więc uzasadnienie biznesowe opiera się wyłącznie na kontroli. Jeśli zespół doprowadzi otwarty model do wystarczającej dokładności, zyska swobodę zmiany logiki bez czekania na aktualizację od dostawcy. Ta niezależność jest sednem projektu. Zamienia komponent AI z zależności od usługi w wewnętrzny zasób, nad którym zespół inżynierów może pracować bezpośrednio.

Kontekst branżowy

Zastępowanie zamkniętych API otwartymi wagami zyskuje na popularności. Trzeciego października Aleph Alpha udostępniła Kolibri, suwerenny model z otwartymi wagami, który ma 78 000 000 000 parametrów łącznie i 3 000 000 000 aktywnych. Powstał z myślą o branżach regulowanych i obsługuje kontekst o długości do 1 000 000 tokenów. Podobnie jak Laya jest dostępny na licencji Apache 2.0, więc firmy mogą uruchamiać go u siebie i nie wysyłać danych wewnętrznych do podmiotów trzecich.

Meta AI Research także zwróciło uwagę na użyteczność otwartych modeli w złożonych zadaniach. Zespół współpracował z matematykami przy otwartych problemach badawczych, używając Muse Spark 1.1 i 1.2. W publikacjach wyraźnie oznaczono, które fragmenty napisało AI, a które badacze. To pokazuje przejrzysty sposób pracy, który ułatwiają modele otwarte.

Dla wielu programistów wybór między modelem zamkniętym a otwartym przestał dotyczyć tylko dokładności. Chodzi o kontrolę, zgodność z przepisami i możliwość iterowania. Jak zauważa Kitsuno, trening jest produktem. Otwarty model to punkt wyjścia, którego można nauczyć konkretnych pytań, natomiast zamknięte API jest czarną skrzynką, której nie da się zmienić pod własny przypadek użycia.

Branża idzie w stronę podejścia hybrydowego, w którym deterministyczne sprawdzenia współpracują z agentowym AI. Społeczność open source dostarcza narzędzi do budowania takich stosów lokalnie. Zmniejsza to zależność od zewnętrznych dostawców i sprawia, że wrażliwe dane nie opuszczają infrastruktury organizacji.

Komentarze 0

Źródła

10
  1. 01Training an open decision model to replace a closed one, in shadow on prodEN
  2. 02Kolibri: A Sovereign Open-Weight ModelEN
  3. 03Solving Open Research Problems TogetherEN
  4. 04AI Experts Want to Do High-Stakes Research Out in the OpenEN
  5. 05Open source SDK to build Muse gadgetsEN
  6. 06Open 10-player CS:GO dataset for multiplayer world modelsEN
  7. 07E2E: The open source AI testing frameworkEN
  8. 08Cloudflare opens more Enterprise-only features to all customersEN
  9. 09A modern open-source Amiga CDFileSystem replacementEN
  10. 10ThreeJS Port of OpenDLSS-NREN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.