Inferenzkosten sinken auf zwei Wegen: offene Engines justieren sich selbst, Chiphersteller kürzen die Hardware
Eine Open-Source-Inferenz-Engine, die am 30. September auf GitHub erschien, soll offene Modelle bis zu zweimal schneller laufen lassen als llama.cpp, weil sie ihre Kernel auf dem Gerät des Nutzers kompiliert und abstimmt. MaxLinear wiederum sagt, sein neuer DOCSIS-Chip Puma 9 könne die Kosten für Kundengeräte um 30% bis 50% senken.

Magnitude, ein Unternehmen aus dem Y-Combinator-Jahrgang S25, veröffentlichte sein Repository am 30. September unter der Lizenz Apache 2.0. Die Desktop-App stimmt Kernel auf Apple Silicon, NVIDIA, AMD oder einfachen CPUs ab, bevor ein Modell läuft. MaxLinear nutzte eine Präsentation am 29. September für die Aussage, der Puma 9 senke die Kosten für Modems und Gateways um 30% bis 50% gegenüber dem Vorgänger Puma 8, der 2023 auf den Markt kam.
Magnitudes Zahlen sind konkret: Die README nennt 92% schnelleres Decoding auf Metal und 19% auf CUDA gegenüber llama.cpp, 27% weniger Speicher pro Agent, der beim Beenden der Agenten wieder frei wird, sowie Prefix-Caches, die sich mehrere laufende Sitzungen teilen. Die Engine verbindet sich mit Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi und Cline; alles andere läuft über eine OpenAI-kompatible API. Prompts, Dateien und Modelle bleiben laut Unternehmen auf dem Rechner, und nach dem Herunterladen eines Modells braucht es kein Internet mehr. Das ist das Versprechen. Ob es auf der eigenen Hardware hält, steht auf einem anderen Blatt: Der Benchmark stammt vom Anbieter selbst, eine Nachprüfung durch Dritte veröffentlicht das Repository nicht.
MaxLinear stützt seine Behauptung auf eine andere Art des Abstimmen. Der Puma 9 unterstützt DOCSIS 4.0, DOCSIS 3.1+ und DOCSIS 3.1, bringt Wi-Fi 8 mit und wechselt erstmals in der Puma-Reihe auf eine ARM-Architektur. MaxLinear hat die Reihe 2020 mit der Übernahme der Home-Gateway-Platform-Sparte von Intel geerbt.
Eine mit dem Silizium vertraute Industriequelle sagte Light Reading, der Wechsel zu ARM helfe, den Stromverbrauch und einen Teil der Lizenzkosten zu senken. MaxLinear will x86-Produkte weiter unterstützen und verweist darauf, dass die Softwareplattform RDK die zugrunde liegende CPU-Architektur für Kunden weitgehend durchlässig macht. Angesichts der DDR4-Engpässe unterstützt der Puma 9 auch DDR5. Puneet Sethi, SVP und GM der Geschäftseinheit Netzwerkinfrastruktur und Carrier bei MaxLinear, sagte, das Unternehmen gehe davon aus, dass sich Ökosystem, Preise und Lieferlage bei DDR5 entspannen werden, verglichen mit dem Druck bei DDR4. Jeff Heynen von Dell'Oro Group sagte zu Light Reading, die meisten Anbieter würden für fortgeschrittenere Wi-Fi-8-Geräte auf DDR5 wechseln, weil Apps und Diagnosefunktionen mehr Speicher an Bord verlangen könnten.
MaxLinear spricht von mehreren Zusagen für den Puma 9, nennt Askey, Fritz! GmbH und Gemtek als CPE-Partner und hat Unterstützung vom australischen Netzbetreiber NBN Co. Modems und Gateways auf Basis des Chips sollen 2027 kommen.
Der Kostendruck bleibt nicht auf Modems beschränkt. Im Gesundheitswesen fragte Endpoints News am 1. Oktober, ob KI die Kosten eher erhöht als senkt, und stellte die Frage gegen eine Welle von Finanzierungen: Parakeet Health sammelte 10.000.000 Dollar ein, um die Ansprache von Patienten zu automatisieren, Devoted Health sammelte 1.200.000.000 Dollar, beides am 1. Oktober gemeldet. CleanTechnica berichtete am 29. September, eine Analyse von Transport & Environment beziffere die Betriebskosten von E-Autos auf weniger als die Hälfte eines Diesels pro Kilometer; Diesel-Fahrer zahlten pro Tankfüllung 32 Euro mehr als zu Jahresbeginn, davon rund 16 Euro zusätzliche Raffineriemarge. Dasselbe Medium berichtete am 28. September über Rechenzentrumsbetreiber, die zu mobilen Generatoren mit Methan greifen, und über den älteren Streit um Dieselabgase, der auf die Einstufung von Dieselabgasen als krebserregend durch die Weltgesundheitsorganisation 2012 folgte.
Auch die Hardwarehersteller versuchen, Kosten aus den Batterien zu holen. Electrek meldete am 29. September, Ultium Cells, das Gemeinschaftsunternehmen von GM mit LG Energy Solution, werde prismatische LMR-Zellen in Spring Hill, Tennessee, in Serie fertigen und gebe 33% höhere Energiedichte als LFP bei vergleichbaren Kosten an. GM-Vizepräsident Kurt Kelty sagte, mit LMR könne das Unternehmen die heute günstigeren Chemien überholen. Die Umrüstung beginnt noch in diesem Jahr und soll bis 2028 abgeschlossen sein; sie bringt 500 zusätzliche Stellen bei einer Belegschaft von 1.700. Das erste Fahrzeug mit LMR-Batterien wird 2028 erwartet.
Billiger im Betrieb, teurer im Bau
Das Muster in diesem Dossier: Inferenz und Betrieb werden günstiger, die Vermögenswerte darunter bleiben teuer. Xpeng fasste vier Produktlinien zu zwei zusammen, um Forschung und Entwicklung zu bündeln und Kosten zu senken, wie 36Kr am Montag über CnEVPost meldete. Die Zahlen hinter dieser Entscheidung: Die Auslieferungen fielen in den ersten acht Monaten 2026 um 10,49% auf 243.111 Fahrzeuge, die F-&-E-Aufwendungen stiegen im zweiten Quartal um 32,1% gegenüber dem Vorjahr auf 2.910.000.000 Yuan, und der Quartalsverlust weitete sich von 480.000.000 Yuan im Vorjahr auf 1.340.000.000 Yuan aus. Telekommunikationsanbieter gehen denselben Weg. Light Reading berichtete am 30. September über Fusionsgespräche zwischen StarHub und M1 in Singapur, wo Singtel im Juni laut Bericht 43% Mobilfunkanteil hielt, M1 22%, StarHub 21% und Simba 14%. In Neuseeland wollen 2degrees und OneNZ ihre Funkzugangsnetze in eine gemeinsam gehaltene Gesellschaft einbringen; die Commerce Commission soll im kommenden Jahr entscheiden. Die 5G-Kooperation von China Telecom und China Unicom, die größte dieser Art, umfasst 1.500.000 Basisstationen und brachte laut Angaben 56.000.000.000 Dollar an Capex-Einsparungen.
Auch die Forschung nagt an der Softwareseite. Ein am 29. September bei arXiv eingereichtes Papier mit dem Titel Demographic Pluralism berichtet von einer Verringerung der Jensen-Shannon-Distanz um 8,4% bis 26,4% gegenüber Modular Pluralism über vier Backbones auf GlobalOpinionQA und VITAL, ohne Trainingsdaten zur Meinungsverteilung und ohne aufgabenspezifisches Fine-Tuning. Ein zweites, bei der NeurIPS 2026 angenommenes Papier, FluxLite, meldet gegenüber Standard-Baselines der sequenziellen Monte-Carlo-Methode nach Feynman-Kac Verbesserungen von bis zu zwei Größenordnungen bei der terminalen KL auf einem CTMC-Benchmark mit endlichem Zustandsraum sowie Rückgänge des Zeilenkorrelations-MSE beim Sampling des 2D-Ising-Modells um das 5- bis 7-Fache im geometrischen Mittel und bis zu das 55-Fache im Spitzenwert.
Microsoft Research argumentierte am 23. September, Inferenz für physische KI allein auf GPUs an Bord begrenze Leistung, Akkulaufzeit und Skalierung von Robotern; das Auslagern auf Edge- oder Cloud-GPUs habe Erfolgsraten und Betriebszeit über Arbeitslasten der mobilen Manipulation verbessert. Das Team stellte außerdem Werkzeuge auf Kubernetes-Basis vor, um Robotik-Arbeitslasten über Roboter, Edge und Cloud zu containerisieren und zu orchestrieren.
Ein Vorbehalt zieht sich durch alles. Die Leistungszahlen von Magnitude, Ultium Cells und MaxLinear stammen von den Anbietern selbst, und die Effizienzgewinne der beiden arXiv-Papiere sind auf akademischen Benchmarks gemessen, nicht auf Produktionsverkehr.
Quellen
11- 01Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
- 02MaxLinear claims new 'Puma 9' DOCSIS chip is a big cost-cutterEN
- 03Is AI jacking up healthcare costs?EN
- 04Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
- 05The Human Cost Of Data Center PollutionEN
- 06GM's new EV battery tech will cut costs without sacrificing rangeEN
- 07Xpeng reportedly consolidates product lines to cut R&D costsEN
- 08Singapore, New Zealand operators seek partnerships to cut costsEN
- 09Demographic Pluralism: Inference-Time Modeling of Pluralistic Human Preference DistributionsEN
- 10FluxLite: Inference-Time Proposal Control for Discrete Diffusion ModelsEN
- 11Offloaded inference for real-world physical AI roboticsEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.