IA e modelli

I pesi aperti salgono di livello: chip design, voce e modelli tabellari nella stessa settimana

OpenAI e Synopsys hanno firmato il 30 settembre un accordo pluriennale per costruire GPT-Synopsys, un modello specializzato per il chip design. È uno dei almeno cinque rilasci o accordi su modelli aperti o descritti apertamente arrivati negli ultimi giorni di settembre.

I costi dell'inferenza si dividono in due: meno per token, più per GPU

Magnitude, startup di Y Combinator S25, ha pubblicato il 30 settembre un motore di inferenza open source che, secondo l'azienda, fa girare i modelli aperti fino a 2 volte più velocemente di llama.cpp su Apple Silicon, NVIDIA, AMD o una semplice CPU, senza costi per token. Lo stesso giorno un indice dei prezzi basato su 81 record pubblici ha fissato a 6 dollari per 1M di token il prezzo mediano di listino dell'output, contro 1,32 dollari per l'input.

Quail e Magnitude attaccano i costi di inferenza dai due estremi dello stack

Due progetti open source pubblicati il 30 settembre rivendicano lo stesso premio partendo da direzioni opposte: Quail dichiara oltre un miliardo di token elaborati al minuto su una singola H100 pianificando query SQL contro il motore di inferenza, mentre Magnitude sostiene di eseguire modelli aperti fino a 2 volte più velocemente di llama.cpp compilando i kernel sull'hardware dell'utente.