Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Koszty inferencji się rozjeżdżają: abonament ChatGPT za 500 dolarów, dwa razy szybsze otwarte silniki, 6 centów za miliard tokenów

OpenAI otworzyło 29 września abonament ChatGPT Pro za 500 dolarów miesięcznie, najdroższy w swojej ofercie i o 300 dolarów droższy od poprzedniego najwyższego planu, podaje Business Insider. Tańsze otwarte stosy inferencyjne próbują je przebić ceną.

AI i modeleNewsAnna KaczmarekOpublikowano: 30 września 20265 min czytaniaŹródła 9
Koszty inferencji się rozjeżdżają: abonament ChatGPT za 500 dolarów, dwa razy szybsze otwarte silniki, 6 centów za miliard tokenów

Nowy plan ogłoszono na wtorkowym DevDay firmy. Obejmuje dostęp do moc obliczeniowych „Ultrafast” dla GPT-6 Astra w ChatGPT Work i Codex. Business Insider podał, że w tym trybie Codex ma działać 8 razy szybciej. Ten sam materiał mówi, że OpenAI przywraca plan Pro za 200 dolarów miesięcznie, zawieszony 10 września. Limit obliczeń jest jednak o połowę mniejszy: 10 razy więcej niż w planie Plus za 20 dolarów, a nie 20 razy. Liczba wiadomości w czacie GPT-6 Pro spada ze 200 do 100 na tydzień.

Thibault Sottiaux, inżynier kierujący pracami nad Codex, napisał w poniedziałkowym wpisie na X, że zmiany dają o połowę mniejsze wydatki na API w dolarach niż poprzedni plan, podaje Business Insider.

„Chciałem podzielić się tą zmianą z wyprzedzeniem, żebyście mogli ją zrozumieć, zanim zasypiemy was dobrymi wiadomościami” - napisał.

To szczyt rynku. Dół porusza się szybciej.

Otwarte silniki i samodostrajające się jądra

30 września wspierana przez YC firma Magnitude opublikowała otwarty silnik inferencyjny. Kompiluje i dostraja jądra na sprzęcie użytkownika, zanim model ruszy. Firma twierdzi, że otwarte modele działają do 2 razy szybciej niż llama.cpp. W README na GitHubie podano 92% szybsze dekodowanie na backendzie Metal w Apple Silicon i 19% na CUDA. Wymienia też o 27% mniejsze zużycie pamięci na agenta oraz współdzielone pamięci podręczne prefiksów dla równoległych sesji.

Silnik trafia do użytkowników jako aplikacja desktopowa na licencji Apache 2.0 i obsługuje Apple Silicon, NVIDIA, AMD albo sam procesor. Łączy się z Pi, OpenCode, Hermes, Codex i innymi agentami. Dwie godziny wcześniej Modal i Full Stack Data Lab opublikowały wspólny silnik SQL i inferencji o nazwie Quail. W tekście Modala czytamy, że Quail przetwarza ponad miliard tokenów na minutę na jednym GPU H100 przy zapytaniu z wieloma złączeniami. To ponad 10 razy więcej niż bazowy vLLM na tym samym sprzęcie, przy koszcie poniżej 6 centów za miliard tokenów w Modal. W nowym benchmarku AI-SQL zespołu średnia geometryczna przyspieszenia względem vLLM wynosi 1,84 razy. Wpis wymienia dwa zapytania, które mają pokazać, gdzie podejście wciąż nie wystarcza.

Autorzy mówią wprost, że ogólne silniki mają zły kształt dla tego obciążenia. W poście Full Stack Data Lab Shreya Shankar, Charles Frye, Fergus Finn, Arnav Dhariya, Joseph Barrow i Meryem Arik piszą, że wysyłanie milionów powiązanych wywołań modelu do silnika takiego jak vLLM jako osobnych żądań dużo kosztuje. Ich przykładowe zapytanie, BIO-4 w benchmarku QUAIL-B, filtruje 5 000 długich raportów medycznych względem 4 144 terminów reakcji użytych dwukrotnie. Naiwne wykonanie zamienia jedno polecenie SQL w bardzo dużą liczbę wywołań modelu.

Dolna cena jest publikowana i nie jest płaska

Wrześniowy indeks cenowy AICostBudget, zamrożony na 2026-09-30 UTC, obejmuje 81 publicznych rekordów od 11 dostawców. Mediana ceny wejścia wynosi 1,32 dolara za milion tokenów, a mediana ceny wyjścia 6 dolarów. Wyjście kosztuje 5,0 razy więcej niż wejście przy medianie z 69 rekordów, które mają obie liczby. Zaobserwowane zakresy sięgają od 0,10 do 30 dolarów za milion tokenów wejścia i od 0,10 do 180 dolarów za milion tokenów wyjścia.

Ten sam zbiór danych podaje mediany na poziomie dostawców. OpenAI ma 2 dolary na wejściu i 11 dolarów na wyjściu w 18 rekordach, Google Gemini 0,75 i 4 125 dolarów w 14, Anthropic 5 i 25 dolarów w 13, xAI 1,25 i 2,5 dolara w dziewięciu, Mistral AI 0,20 i 0,60 dolara w siedmiu, DeepSeek 0,30 i 1,2 dolara w trzech, a Moonshot AI 0,95 i 4 dolary w trzech. W 58 porównywalnych rekordach z cache wejścia mediana rabatu wynosi 90%. W 44 rekordach z ceną batchową mediana rabatu batchowego to 50%. Porównanie, które pomija którykolwiek z tych trybów, zestawia cenniki, a nie rachunki.

Sprzęt to miejsce, gdzie spór trudniej rozstrzygnąć. EnerTune, artykuł Prasoona Sinhy, Dimitriosa Liakopoulosa, Nathana Lemmy i Neerei J. Yadwadkar z SOSP '26 z 28 września, przekonuje, że multipleksowanie GPU wyłącznie po to, by podnieść wykorzystanie, może zwiększyć zużycie energii. Autorzy podają, że ich system pakowania z uwzględnieniem energii spełnia SLO wydajności. Obniża też zużycie energii od 1,4 do 2,3 razy i pobór mocy od 1,3 do 2,6 razy względem najlepszych dostępnych rozwiązań.

Nie wszystkie wieści o kosztach z tego tygodnia dotyczą centrów danych. Dane Transport & Environment analizowane 29 września pokazują, że koszt jazdy samochodem elektrycznym to mniej niż połowa kosztu diesla na kilometr. Wyliczenia opierają się na 6,9 litra na 100 km dla diesla i 20,2 kWh na 100 km dla bateryjnego auta elektrycznego przy cenie prądu 0,343 euro za kWh. Kierowcy diesli płacą 32 euro więcej za 50-litrowy bak niż na początku roku. Około 16 euro z tej kwoty to dodatkowa marża rafineryjna, według szacunków EBC cytowanych przez CleanTechnica.

Dwie lekcje z tego tygodnia leżą całkiem poza AI. Pinecone usunął kalkulator cen ze strony z cennikiem po teście A/B. Odwiedzający, którzy go nie widzieli, o 16% częściej się rejestrowali i o 90% częściej kontaktowali się z firmą. Liczba zgłoszeń do pomocy technicznej dotyczących cen nie wzrosła, twierdzi założyciel Greg Kogan. A w telekomunikacji Light Reading podał 30 września, że singapurskie StarHub i M1 rozmawiają o fuzji. Nowozelandzkie 2degrees i OneNZ zaproponowały połączenie swoich sieci dostępu radiowego.

Wspólny wątek: kiedy jednostka pracy staje się wystarczająco tania, kupujący przestają czytać kalkulator i zaczynają mierzyć rachunek.

Komentarze 0

Źródła

9
  1. 01ChatGPT's new plan costs $500 a monthEN
  2. 02Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
  3. 03Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  4. 04Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  5. 05AI API pricing index - September 2026EN
  6. 06Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  7. 07Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
  8. 08The pricing calculator made people more confused about pricingEN
  9. 09Singapore, New Zealand operators seek partnerships to cut costsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.