IronBee costruisce un agente browser che salta l'LLM e verifica l'ordine da solo

La demo è piccola e precisa. Secondo il post sul blog di IronBee, Express ha effettuato l'accesso, aggiunto un prodotto, inserito un indirizzo e una carta e atteso che la pagina dell'ordine mostrasse COMPLETED: nove azioni, 6,7 secondi.

Il motore decisionale che sta dietro si chiama Jev, un modello di TypeSafe che risponde a domande a scelta multipla tipizzate. IronBee sostiene che non c'è alcun LLM nel ciclo. Ogni passo è una chiamata a Jev, che restituisce l'opzione scelta, una probabilità per ciascuna opzione e un punteggio di confidenza. Non viene generato testo e non vengono lette schermate. Una decisione richiede circa 300 ms dalla Turchia, e la maggior parte di quel tempo è il viaggio verso il server. Il dato sul costo è quello che l'azienda sta vendendo. L'input costa $0,042 per milione di token e l'output è gratuito. IronBee dice che questo ha portato un checkout completo rigiocato, giudizio e revisione inclusi, a $0,00054. La risposta può essere solo una chiave dell'elenco inviato dall'harness, quindi l'output del modello non diventa mai un selettore, una coordinata o uno script. Un'esecuzione può cliccare solo ciò che era già sullo schermo.

È una scommessa più stretta rispetto agli agenti guidati dagli screenshot che arrivano altrove. Vale la pena osservare se l'approccio regge su pagine che non offrono un bell'elenco numerato di controlli.

Il fallimento che ha venduto il progetto

La velocità è facile da filmare. L'esecuzione più utile nel post è un checkout andato storto. La pagina mostrava "Order placed successfully!", e l'API dell'ordine restituiva 200, ma il payload dentro quella risposta diceva FAILED. L'agente di IronBee ha segnalato l'esecuzione come fallita in 7,57 secondi, su 8 azioni e 9 decisioni. Ha indicato la risposta dell'API e poi la riga di log del backend: notification-service, Order #131 Could Not Be Processed, Reason: Insufficient inventory.

La pagina diceva "Order placed successfully!". L'API dell'ordine rispondeva 200, ma l'ordine dentro diceva FAILED.

Nessuno ha scritto un'asserzione per niente di tutto questo, dice il post. Il passo di giudizio è a sua volta una domanda a Jev: l'obiettivo è stato raggiunto, e quali prove lo sostengono. Tutti i numeri nel resoconto vengono dalle esecuzioni di IronBee tra il 21 settembre e il 1 ottobre 2026. La prima versione è stata eseguita il 24 settembre. Ha effettuato l'accesso e aggiunto un prodotto al carrello 3 volte su 3, in 2,85-3,05 secondi.

Quella cautela conta, perché gran parte del materiale sugli agenti browser pubblicato questa settimana non è un benchmark neutrale. Una implementazione di riferimento di 400 righe di xhluca mostra l'architettura opposta. Dà a Gemini 3.8 Flash screenshot e controlli del browser in 394 righe di Python, inclusa un'esecuzione registrata che prenota un workshop e verifica la conferma. Entrambi gli approcci dicono di controllare il risultato. Solo uno dei due paga per screenshot.

La verifica è il tema della settimana

Lo stesso argomento compare negli strumenti di programmazione. Dotpals, un compagno desktop open source per Claude Code, Codex e Cursor, legge i risultati dei test dall'output dei comandi invece che dalle parole dell'agente. Rimanda indietro l'agente quando i test falliscono, e intercetta anche un test modificato solo per farlo passare. Il resoconto di Ian Maurer cita il team di OpenClaw che ha eliminato circa 400.000 righe dei propri test con pochi cambiamenti nella copertura. Sostiene test outside-in che descrivono il comportamento dell'utente invece di una pila crescente di unit test. Threadnote ha condotto un piccolo studio appaiato su cinque repository pubblici. Riporta il 65,62% in meno di token di ciclo di vita per completamento verificato e il 46,14% in meno di tempo con un handoff memorizzato, superando la verifica su 5 compiti su 5 contro 4 su 5 con i soli file. L'azienda è esplicita: è il proprio studio su un singolo modello, sulla build 5.1.0-beta.2, non una valutazione indipendente.

La sua frase sul problema è netta: "Done" è una frase che un agente può generare, e non è un risultato di test.

Anche la durabilità sta ricevendo attenzione. Pi Durable, un framework sperimentale di Arendelle rilasciato insieme a Pi 1.0, salva checkpoint delle conversazioni così un nuovo processo può riprenderle. Ripete una chiamata a uno strumento interrotta solo se lo strumento dichiara la ripetizione sicura, perché inviare due volte un pagamento non è come rieseguire una ricerca. Ostoyae, un graph runner per agenti di programmazione, esegue ogni lavoro nel proprio git worktree. Conta il lavoro solo quando un comando di verifica passa su un checkout pulito.

Perché le imprese si bloccano

Il divario tra demo e distribuzione è misurato. Un sondaggio di MIT Technology Review Insights su 300 dirigenti dei dati e della tecnologia ha rilevato che in media solo circa il 34% dei progetti di AI agentica delle organizzazioni arriva in produzione. Il sondaggio è stato prodotto dalla sua divisione di contenuti personalizzati, non dalla redazione editoriale. La frammentazione dei dati è stato l'ostacolo più citato all'ampliamento dell'accesso degli agenti alla conoscenza, al 55%.

Sul fronte della ricerca, un articolo rivisto il 1 ottobre presenta StructMemEval, un benchmark che misura se gli agenti organizzano la memoria a lungo termine invece di limitarsi a richiamare fatti. Gli autori riportano che gli LLM con retrieval aumentato faticano su compiti come registri di transazioni e liste di cose da fare. Aggiungono che i modelli moderni non sempre riconoscono la struttura richiesta senza un prompt.

Niente di tutto questo rende un checkout da 6,7 secondi la parte difficile. Il post di IronBee dedica la maggior parte della sua lunghezza alle cose che si sono rotte. La sua tesi centrale è ristretta: scegli da un elenco, controlla la scelta e giudica l'esecuzione sulle prove invece che sul banner di successo della pagina. È una promessa più piccola di un agente che legge il web, e più verificabile.