Sarvam AI veröffentlicht Prism, ein offenes Entscheidungsmodell mit 44 ms mittlerer Antwortzeit

Sarvam AI hat Sarvam Prism am 3. November 2026 veröffentlicht. Das Modell mit offenen Gewichten bewertet eine feste Liste von Optionen, statt Text zu schreiben. In einem Blogbeitrag schreibt das Unternehmen aus Bengaluru, die mittlere Antwortzeit liege bei 44 Millisekunden auf einer NVIDIA B200 GPU, über drei Indizes hinweg erreichte das Modell im Schnitt 71,8.

Ein Entscheidungsmodell, kein Chatbot

Laut Sarvam bewertet Prism eine feste Liste von Optionen und gibt Wahrscheinlichkeiten zurück.

Jede Anfrage enthält einen Zustand, eine Frage und beliebig viele Optionen. Prism verarbeitet diese Eingabe in einem einzigen Vorwärtsdurchlauf. Ein kleiner Scoring-Kopf weist jeder Option eine Wahrscheinlichkeit zu, eine eigene Attention-Maske hält die Optionen getrennt. Entstanden ist das Modell, indem Sarvam LoRA-Fine-Tuning auf Sarvam 105.000.000.000 anwendete.

Sarvam nennt außerdem Modell-Routing als getesteten Anwendungsfall.

Genauigkeit und Geschwindigkeit

Sarvam Prism erreichte im Schnitt 71,8 über drei Indizes: 67,0 im Jev Decision Index, 65,9 in der Nachbildung des Artificial Analysis Decision Index durch Sarvam und 82,5 in einem internen Benchmark für indische Sprachen.

Nach Angaben von Sarvam war das der höchste Durchschnitt unter den 25 Entscheidungsmodellen der eigenen Auswertung, die in unter 100 ms antworteten. Zu diesem Set gehören Prism und 24 Wettbewerber. Die Tests liefen auf demselben Chiptyp, allerdings stützten sich zwei reine API-Systeme, Jev 1.14 und Microsoft-Decision-1, auf öffentlich berichtete Zeiten statt auf eigene Messungen.

Das genaueste Modell der Tabelle ist es nicht. Mammoth-1 erreichte 75,2, brauchte aber eine mittlere Antwortzeit von 284 ms. Die Startkonfiguration von Sarvam lief nach Unternehmensangaben in 16-Bit-Präzision auf zwei B200 GPUs bei median 664 ms. Erst die Umwandlung der Gewichte in FP8 brachte das Modell auf eine GPU.

Kalibrierung und Sprachtests

Bei einer Konfidenz von mindestens 90% erwartete Sarvam im Englischen 3,3% Fehler. Tatsächlich waren es 2,2%, über 226.088 Fragen aus 37 öffentlichen Benchmarks.

Für 20.108 Fragen in 10 indischen Sprachen und Hinglish lag die Erwartung bei 5,4% Fehlern, gemessen wurden 4,4%. In einem separaten Test mit 2.000 Fragen änderte Prism 4,0% der Antworten, wenn die Optionen in vier Reihenfolgen gemischt und in der erhaltenen Reihenfolge bewertet wurden. Legt Sarvam die Optionen vor der Bewertung in eine feste interne Reihenfolge und gibt jede Wahrscheinlichkeit wieder unter ihrem ursprünglichen Label aus, verschwanden diese Abweichungen.

Im internen Benchmark für indische Sprachen erreichte Sarvam Prism 82,5. Perplexity Decider v1.2 kam auf 75 und Jev 1.14 auf 70,8. In einem internen Cybersecurity-Benchmark mit 5.517 Fragen aus neun Aufgaben erzielte es 89% Genauigkeit. Clef erreichte 84,5% und Jev 1.14 78,6%.

Offene Gewichte, eine GPU

Sarvam hat die Gewichte auf Hugging Face unter Apache 2.0 veröffentlicht, gehostet erreichbar über die Sarvam API auf Sarvam Indus. Für den Betrieb braucht es laut Unternehmen eine GPU mit mindestens 120 GB Speicher.

Prism verarbeitet bis zu 131.072 Tokens pro Frage. Das reicht, um einen langen Agenten-Trace in einem Durchlauf auszuwerten. Unternehmen können das Modell nach Angaben von Sarvam auf eigenen Daten trainieren. Als erste Anwendungen nennt Sarvam Routing im Kundensupport, Dokumentenanalyse, Sicherheitsprüfungen und die Bewertung der Leistung von KI-Agenten.

Was offen bleibt

Den Vergleich hat Sarvam selbst durchgeführt. Der Durchschnitt mischt drei Indizes: den Jev Decision Index, die Sarvam-Nachbildung des Artificial Analysis Decision Index und einen internen Benchmark für indische Sprachen.