Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Koszty wnioskowania spadają z dwóch stron: otwarte silniki same się stroją, producenci układów tną sprzęt

Silnik wnioskowania open source, opublikowany na GitHubie 30 września, twierdzi, że modele otwarte działają do 2 razy szybciej niż na llama.cpp, bo kompiluje i stroi swoje jądra na urządzeniu użytkownika. MaxLinear mówi, że nowy układ DOCSIS Puma 9 może obniżyć koszt sprzętu u klienta o 30% do 50%.

AI i modeleAnalizaAnna KaczmarekOpublikowano: 1 października 20265 min czytaniaŹródła 11
Koszty wnioskowania spadają z dwóch stron: otwarte silniki same się stroją, producenci układów tną sprzęt

Magnitude, spółka z akceleratora Y Combinator S25, opublikowała swoje repozytorium 30 września na licencji Apache 2.0. Aplikacja desktopowa stroi jądra na Apple Silicon, NVIDIA, AMD albo zwykłych procesorach, zanim model ruszy. MaxLinear podczas briefingu 29 września przekonywał, że układ Puma 9 tnie koszt modemów i bram o 30% do 50% względem poprzednika, Pumy 8 wprowadzonej w 2023 roku.

Liczby Magnitude są konkretne. README obiecuje dekodowanie szybsze o 92% na Metal i o 19% na CUDA względem llama.cpp. Do tego 27% mniej pamięci na agenta, zwalnianej, gdy agenci kończą pracę, oraz współdzielone cache prefiksów między równoległymi sesjami. Silnik łączy się z Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi i Cline. Wszystko inne przechodzi przez API zgodne z OpenAI. Firma zapewnia, że prompty, pliki i modele zostają na maszynie, a po pobraniu modelu internet nie jest potrzebny. To jest oferta. Czy wytrzyma na twoim sprzęcie, to inna sprawa. Benchmark pochodzi od dostawcy, a repozytorium nie publikuje niezależnej replikacji.

Twierdzenie MaxLinear opiera się na innym rodzaju strojenia. Puma 9 obsługuje DOCSIS 4.0, DOCSIS 3.1+ i DOCSIS 3.1. Dochodzi obsługa Wi-Fi 8 i pierwsze w historii linii Puma przejście na architekturę ARM. MaxLinear przejął tę linię wraz z zakupem jednostki Home Gateway Platform od Intela w 2020 roku.

Źródło branżowe znające układ powiedziało Light Reading, że zmiana na ARM pomaga zmniejszyć pobór mocy i część kosztów licencji. MaxLinear zapowiada dalsze wsparcie produktów x86. Twierdzi też, że platforma RDK sprawia, iż architektura procesora jest dla klientów w dużej mierze niewidoczna. Wobec niedoborów DDR4 Puma 9 obsługuje także DDR5. Puneet Sethi, SVP i GM jednostki infrastruktury sieciowej i biznesu operatorskiego MaxLinear, powiedział, że firma sądzi, iż ekosystem, ceny i podaż DDR5 będą luźniejsze niż przy obecnym napięciu wokół DDR4. Jeff Heynen z Dell'Oro Group powiedział Light Reading, że większość dostawców przejdzie na DDR5 przy bardziej zaawansowanych urządzeniach Wi-Fi 8. Wskazał na dodatkową pamięć, której mogą wymagać aplikacje i diagnostyka.

MaxLinear mówi o kilku zobowiązaniach na Pumę 9. Jako partnerów CPE wymienia Askey, Fritz! GmbH i Gemtek, a wsparcie deklaruje australijski operator NBN Co. Modemy i bramy na tym układzie mają pojawić się w 2027 roku.

Presja kosztowa nie ogranicza się do modemów. W ochronie zdrowia Endpoints News zapytał 1 października, czy AI podnosi koszty, zamiast je obniżać. Pytanie postawił na tle fali finansowania. Parakeet Health zebrał 10 mln dolarów na automatyzację kontaktu z pacjentami, a Devoted Health 1,2 mld dolarów, oba przypadki opisano 1 października. CleanTechnica podała 29 września, że analiza Transport & Environment wycenia koszt jazdy elektrykiem na mniej niż połowę kosztu diesla na kilometr. Kierowcy diesli płacą za bak o 32 euro więcej niż na początku roku, z czego około 16 euro to dodatkowa marża rafineryjna. Ten sam portal pisał 28 września o operatorach centrów danych, którzy sięgają po przenośne generatory na metan. Opisywał też starszą batalię o spaliny diesla, która wybuchła po tym, jak Światowa Organizacja Zdrowia w 2012 roku uznała spaliny diesla za rakotwórcze.

Producenci sprzętu próbują też wyciąć koszty z baterii. Electrek podał 29 września, że Ultium Cells, spółka joint venture General Motors z LG Energy Solution, uruchomi masową produkcję pryzmatycznych ogniw LMR w Spring Hill w Tennessee. Deklaruje o 33% wyższą gęstość energii niż LFP przy porównywalnym koszcie. Kurt Kelty, wiceprezes GM, powiedział, że dodanie LMR stawia firmę w pozycji do przeskoczenia tańszych dziś chemii. Modernizacje ruszą pod koniec tego roku i mają się zakończyć do 2028 roku, dodając 500 miejsc pracy do załogi liczącej 1700 osób. Pierwszy samochód z bateriami LMR ma pojawić się w 2028 roku.

Taniej w eksploatacji, drożej w budowie

Wzorzec jest taki: wnioskowanie i eksploatacja tanieją, a aktywa pod spodem pozostają drogie. Xpeng połączył cztery linie produktowe w dwie, żeby skupić prace badawczo-rozwojowe i ciąć koszty, podał 36Kr w poniedziałek za CnEVPost. Liczby za tą decyzją: dostawy spadły o 10,49% do 243 111 pojazdów w pierwszych ośmiu miesiącach 2026 roku. Wydatki na B+R wzrosły rok do roku o 32,1% do 2,91 mld juanów w drugim kwartale. Kwartalna strata netto powiększyła się do 1,34 mld juanów z 480 mln juanów rok wcześniej. Operatorzy telekomunikacyjni idą tą samą drogą. Light Reading podało 30 września, że StarHub i M1 rozmawiają o fuzji w Singapurze. Singtel miał w czerwcu według doniesień 43% udziału w rynku komórkowym, M1 22%, StarHub 21%, a Simba 14%. W Nowej Zelandii 2degrees i OneNZ zaproponowały połączenie swoich sieci dostępu radiowego w spółkę współwłasną. Urząd antymonopolowy Commerce Commission ma zdecydować w przyszłym roku. Porozumienie 5G China Telecom i China Unicom, największe tego typu partnerstwo, obejmuje 1 500 000 stacji bazowych i przyniosło według deklaracji 56 mld dolarów oszczędności capeksowych.

Badania odgryzają też kawałek po stronie oprogramowania. Praca przesłana do arXiv 29 września, Demographic Pluralism, opisuje zmniejszenie odległości Jensena-Shannona o 8,4% do 26,4% względem Modular Pluralism. Dokonano tego na czterech szkieletach modeli na zbiorach GlobalOpinionQA i VITAL, bez danych treningowych o rozkładzie opinii i bez dostrajania pod zadanie. Druga praca, przyjęta na NeurIPS 2026, FluxLite, opisuje poprawę względem standardowych punktów odniesienia sekwencyjnego Monte Carlo Feynmana-Kaca. Osiąga do dwóch rzędów wielkości w końcowym KL na benchmarku CTMC o skończonym stanie. Opisuje też spadek MSE korelacji wierszy przy próbkowaniu 2D Ising o 5-7 razy w średniej geometrycznej i do 55 razy w szczycie.

Microsoft Research przekonywał 23 września, że uruchamianie wnioskowania fizycznej AI wyłącznie na pokładowych GPU ogranicza wydajność robotów, czas pracy na baterii i skalę. Przeniesienie obliczeń na GPU brzegowe lub w chmurze poprawiało odsetek udanych zadań i czas działania w zadaniach manipulacji mobilnej. Firma przedstawiła też narzędzia oparte na Kubernetesie do konteneryzacji i orkiestracji obciążeń robotycznych na robotach, na brzegu sieci i w chmurze.

Przez całość przewija się jedno zastrzeżenie. Wyniki wydajności od Magnitude, Ultium Cells i MaxLinear pochodzą od samych dostawców. Zyski efektywności z dwóch prac na arXiv mierzono na akademickich benchmarkach, a nie na ruchu produkcyjnym.

Komentarze 0

Źródła

11
  1. 01Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  2. 02MaxLinear claims new 'Puma 9' DOCSIS chip is a big cost-cutterEN
  3. 03Is AI jacking up healthcare costs?EN
  4. 04Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
  5. 05The Human Cost Of Data Center PollutionEN
  6. 06GM's new EV battery tech will cut costs without sacrificing rangeEN
  7. 07Xpeng reportedly consolidates product lines to cut R&D costsEN
  8. 08Singapore, New Zealand operators seek partnerships to cut costsEN
  9. 09Demographic Pluralism: Inference-Time Modeling of Pluralistic Human Preference DistributionsEN
  10. 10FluxLite: Inference-Time Proposal Control for Discrete Diffusion ModelsEN
  11. 11Offloaded inference for real-world physical AI roboticsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.