Claude Haiku 5.5 obniża ceny API o 90 procent, koszty wnioskowania się zmieniają

Anthropic wydało Claude Haiku 5.5 8 października. To najszybszy i najtańszy mały model firmy. Premiera celuje w zadania o dużej skali, takie jak zapytania do danych i obsługa klienta.

Jak podaje The Decoder, model kosztuje około 75 procent mniej niż poprzednik, Haiku 4.5. Anthropic twierdzi, że prompty do 100 000 tokenów odpowiadają mniej więcej 90 procentom wcześniejszych zapytań do Haiku. Dla tych zapytań ceny spadają nawet o 90 procent. Tokeny wejściowe kosztują teraz 0,10 dolara za milion, wcześniej 1,00 dolara. Tokeny wyjściowe tanieją do 0,50 dolara za milion z 5,00 dolara.

Obniżka trafia na rynek, na którym reszta stosu drożeje. Pavan Davuluri, szef działu Windows w Microsofcie, przyznał w podcaście Inside Windows, że rosnące koszty pamięci zmuszają firmę do tego, by Windows 11 zużywało mniej RAM-u. Davuluri nazwał pamięć sprawą "najwyższej wagi" dla branży. Zauważył, że producenci OEM wracają na rynek z laptopami 8 GB. Microsoft uczynił "optymalizację pamięci dla 8 GB i więcej" oficjalnym priorytetem na resztę 2026 roku, podaje Windows Latest.

Niższe ceny za token nie zawsze oznaczają niższe rachunki. Artificial Analysis stawia Haiku 5.5 na czele modeli małej klasy z wynikiem 43 w swoim Intelligence Index. Platforma zwraca jednak uwagę na znacznie wyższe zużycie tokenów. Przy najwyższym poziomie wysiłku Haiku 5.5 zużywa około 162 000 tokenów wyjściowych na zadanie. To mniej więcej trzy razy więcej niż 50 000 tokenów, których potrzebuje GPT-6 Luna od OpenAI.

Kompromis w wydajności

Nawet przy zbliżonym poziomie działania różnica zostaje. Na ustawieniu "high" Haiku 5.5 dostaje 38 punktów przy około 55 000 tokenów na zadanie. GPT-6 Luna osiąga ten sam wynik przy około 50 000. Pod względem efektywności Pareto, czyli stosunku wyniku do zużycia zasobów, model OpenAI wypada lepiej. Przejście z "xhigh" na "max" w GPT-6 Luna dodaje tylko dwa punkty, a zwiększa zużycie tokenów 1,8 razy.

Anthropic wskazuje, że Haiku 5.5 korzysta ze zaktualizowanego tokenizera, który zużywa nieco więcej tokenów na zadanie niż poprzednik. To samo stało się z modelami Opus 4.x, gdzie zużycie tokenów wzrosło o około 30 procent tylko z powodu zmiany tokenizera. Realne oszczędności są więc prawdopodobnie mniejsze, niż sugerują ceny za token. Ten niuans komplikuje opowieść o czystej wojnie cenowej.

Presja sprzętowa i infrastrukturalna

Dostawcy API konkurują ceną, ale fizyczna infrastruktura potrzebna do obsługi tych modeli wciąż jest wąskim gardłem. HPCwire zauważa, że systemy wnioskowania AI zawodzą inaczej niż tradycyjne usługi webowe. Średnie opóźnienie może wyglądać dobrze, gdy użytkownicy są już niezadowoleni, bo zapytania czekają w kolejkach na uformowanie partii. Osobny problem to zachowanie przy zimnym starcie. Uruchomienie procesu wnioskowania oznacza pobranie modeli, wczytanie wag do pamięci i zainicjowanie stanu akceleratora. Kubernetes może pokazywać pod jako działający, ale to nie znaczy, że system ma już realną zdolność obsługi.

Ta złożoność napędza popyt na wyspecjalizowany sprzęt i optymalizacje oprogramowania. Magnitude, silnik wnioskowania o otwartym kodzie źródłowym wydany we wrześniu, deklaruje optymalizację kerneli pod konkretny sprzęt, dzięki czemu otwarte modele działają do 2 razy szybciej niż na llama.cpp. Narzędzie kompiluje i dostraja kernele na urządzeniu użytkownika, celując w Apple Silicon, NVIDIA, AMD albo środowiska z samym procesorem. Ma zmniejszyć zużycie pamięci o 27 procent na agenta, co jest kluczowe, gdy ceny RAM-u rosną.

Znaczenie ma też lokalizacja. Data Center Knowledge opisuje proponowany 20-piętrowy ośrodek danych w centrum Kansas City, zaprojektowany tak, by wykorzystać gęstą łączność operatorów do wnioskowania z niskim opóźnieniem. Steve Austin, założyciel Revitalization Unlimited, przekonuje, że wnioskowanie musi odbywać się blisko użytkownika, bo opóźnienie ma znaczenie. Projekt wiąże się z wyższymi kosztami budowy, szacowanymi na 183 mln dolarów, czyli około 1 300 dolarów za stopę kwadratową, w porównaniu z obiektami na przedmieściach. Ta dopłata ma sens tylko dla konkretnych zadań, takich jak transakcje finansowe czy interakcje AI w czasie rzeczywistym.

Zaostrza się też nadzór regulacyjny nad praktykami cenowymi. FTC wysłała 5 października pisma do 24 dużych firm świadczących usługi zdrowotne, ostrzegając je przed wprowadzającymi w błąd cenami. To nie dotyczy bezpośrednio AI, ale sygnalizuje szersze zainteresowanie rządu przejrzystością cen. Podobnie McDonald's został pozwany 2 października za rzekome używanie narzędzia AI do ustalania cen w franczyzach. Powodowie twierdzą, że narusza to prawo antymonopolowe, bo ułatwia algorytmiczne ustalanie cen.

Szerszy kontekst rynkowy

Dążenie do tańszego wnioskowania nie ogranicza się do Anthropic. Badacze na arXiv publikują prace o ograniczaniu nadmiernego zaufania do wnioskowania i o efektywnej ocenie polityk. Praca zgłoszona 7 października proponuje ramy oceny polityk Best-of-N wyłącznie na podstawie próbek. Pomaga wybrać najskuteczniejsze budżety próbkowania bez pełnego dostępu do prawdopodobieństw. Ta praca akademicka leży u podstaw wysiłków inżynierskich, żeby wnioskowanie było tańsze i bardziej niezawodne.

Dostawcy chmur też zmieniają strategie. AWS podniósł podobno ceny mocy GPU o 15 procent pod koniec września, co kontrastuje z cięciami API Anthropic. Ta rozbieżność sugeruje, że choć surowe koszty obliczeń rosną, konkurencja na warstwie aplikacji zmusza dostawców do szukania oszczędności gdzie indziej. Efektem jest rynek, na którym koszt inteligencji odrywa się od kosztu krzemu, który ją napędza.

Dla programistów wniosek jest prosty: najtańszy token nie zawsze jest najtańszym rozwiązaniem. Całkowity koszt posiadania zależy teraz od efektywności tokenów, wykorzystania sprzętu i konkretnych wymagań opóźnienia dla danego zadania. Wnioskowanie staje się głównym polem walki w AI, więc uwaga przenosi się z samych możliwości modelu na ekonomikę jego dostarczania.