Sarvam AI rilascia Prism, un modello decisionale open-weight con una risposta mediana di 44 ms

Sarvam AI ha rilasciato Sarvam Prism il 3 novembre 2026, un modello decisionale open-weight che assegna un punteggio a un elenco fisso di opzioni invece di scrivere testo. L'azienda di Bengaluru ha scritto in un post sul blog che il modello ha un tempo di risposta mediano di 44 millisecondi su una GPU NVIDIA B200 e ha totalizzato 71,8 in media su tre indici.

Un modello decisionale, non un chatbot

Sarvam afferma che Prism assegna un punteggio a un elenco fisso di opzioni e restituisce probabilità.

Ogni richiesta contiene uno stato, una domanda e un numero qualsiasi di opzioni. Prism elabora l'input in un singolo passaggio in avanti. Una piccola testa di scoring assegna una probabilità a ogni opzione, e una maschera di attenzione personalizzata tiene le opzioni isolate. Sarvam ha realizzato il modello applicando un fine-tuning LoRA a Sarvam 105.000.000.000.

Sarvam elenca tra gli usi testati anche il routing tra modelli.

Precisione e velocità

Sarvam Prism ha totalizzato 71,8 in media su tre indici: 67,0 sul Jev Decision Index, 65,9 sulla riproduzione di Sarvam dell'Artificial Analysis Decision Index e 82,5 su un benchmark interno per le lingue indiane.

Sarvam ha dichiarato che si tratta della media più alta tra i 25 modelli decisionali della sua valutazione che rispondono in meno di 100 ms, un insieme che comprende Prism e 24 concorrenti. I test sono stati eseguiti sullo stesso tipo di chip, anche se per due sistemi disponibili solo via API, Jev 1.14 e Microsoft-Decision-1, sono state usate tempistiche riportate pubblicamente invece di misurazioni locali.

Non è il modello più preciso della tabella. Mammoth-1 ha totalizzato 75,2 ma aveva una risposta mediana di 284 ms. Sarvam ha dichiarato che la sua configurazione iniziale girava a una mediana di 664 ms in precisione a 16 bit su due GPU B200; convertire i pesi in FP8 ha permesso al modello di stare su una sola GPU.

Calibrazione e test linguistici

Con una confidenza di almeno il 90% in inglese, Sarvam prevedeva il 3,3% di errori. Ne ha commessi il 2,2%, su 226.088 domande tratte da 37 benchmark pubblici.

Su 20.108 domande in 10 lingue indiane e Hinglish, prevedeva il 5,4% di errori e ne ha commessi il 4,4%. In un test separato da 2.000 domande, Prism ha cambiato il 4,0% delle risposte quando le opzioni sono state mescolate in quattro ordini e valutate così come presentate. Sarvam ha dichiarato che disporre le opzioni in un ordine interno fisso prima dello scoring, per poi restituire ogni probabilità sotto la sua etichetta originale, ha eliminato questi cambiamenti.

Sul benchmark interno per le lingue indiane di Sarvam, Sarvam Prism ha totalizzato 82,5. Perplexity Decider v1.2 ha totalizzato 75 e Jev 1.14 ha totalizzato 70,8. Su un benchmark interno di cybersicurezza da 5.517 domande su nove attività, ha registrato un'accuratezza dell'89%. Clef ha totalizzato l'84,5% e Jev 1.14 il 78,6%.

Pesi aperti, una GPU

Sarvam ha rilasciato i pesi su Hugging Face con licenza Apache 2.0, con accesso ospitato tramite l'API Sarvam su Sarvam Indus. L'azienda ha dichiarato che il deployment richiede una GPU con almeno 120 GB di memoria.

Sarvam ha dichiarato che Prism gestisce fino a 131.072 token per domanda. È abbastanza per valutare una lunga traccia di un agente in un solo passaggio. Sarvam ha dichiarato che le aziende possono addestrare il modello sui propri dati. Ha indicato il routing per l'assistenza clienti, la document intelligence, i controlli di sicurezza e la valutazione delle prestazioni degli agenti AI come prime applicazioni.

Cosa resta aperto

Sarvam ha eseguito il confronto in prima persona. La media combina tre indici: il Jev Decision Index, la riproduzione di Sarvam dell'Artificial Analysis Decision Index e un benchmark interno per le lingue indiane.