Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Inferenzkosten rücken in den Mittelpunkt des KI-Stacks, während neue Engines erscheinen

Magnitude, ein Startup aus dem Y-Combinator-Batch S25, hat seine Open-Source-Inferenz-Engine am 30. September auf GitHub veröffentlicht. Das Unternehmen behauptet, offene Modelle liefen auf derselben Hardware bis zu 2x schneller als llama.cpp.

KI & ModelleAnalyseLena BrandtVeröffentlicht: 30. September 20267 Min. LesezeitQuellen 9
Inferenzkosten rücken in den Mittelpunkt des KI-Stacks, während neue Engines erscheinen

Laut dem GitHub-Eintrag hat Magnitude sein Repository am 30. September um 17:37 UTC veröffentlicht. Das Versprechen ist eng und konkret: eine Inferenz-Engine für Agenten, die Kernel auf dem Gerät kompiliert und abstimmt, auf dem sie läuft. Das soll laut dem Unternehmen bis zu 2x schnellere Leistung als llama.cpp bringen, mit 92% schnellerem Decode auf Apples Metal-Backend und 19% auf CUDA.

Der Wert ist ein Hersteller-Benchmark. Niemand außerhalb von Magnitude hat ihn bisher nachvollzogen. Das Repository nennt weder die Modelle noch Prompt-Längen oder Batch-Größen hinter den Zahlen. Die 2x sollte man als Marketingzahl behandeln, bis jemand Unabhängiges sie nachmisst.

Wichtiger ist, worauf das Unternehmen zielt. Magnitude liefert nach eigenen Angaben eine Desktop-App, die sich mit Agenten verbindet, die Menschen bereits nutzen: Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi und Cline. Alles andere läuft über eine OpenAI-kompatible API. Die Engine läuft laut Repo auf Apple Silicon, NVIDIA- oder AMD-GPUs oder allein auf einer CPU. Magnitude behauptet außerdem 27% weniger Speicher pro Agent, der frei wird, wenn Agenten stoppen. Sitzungen sollen Prefix-Caches teilen, um Verlangsamungen bei Nebenläufigkeit zu vermeiden.

In derselben Woche, eine andere Schicht des Stacks

Zwei Stunden später am 30. September erschien eine zweite Veröffentlichung. Full Stack Data Lab brachte einen Blogbeitrag zu Quail heraus, einer query-aware Inferenzschicht, die mit Modal gebaut wurde. Modal stellte am selben Tag um 17:38 UTC eine eigene Beschreibung online. Quail greift AI-SQL an, die Praxis, Sprachmodelle Zeile für Zeile aus SQL-Abfragen heraus aufzurufen.

Die Zahlen sind groß, die Einordnung ist direkt. Full Stack Data Lab zufolge kann eine einzige Abfrage Hunderttausende oder Millionen Modellaufrufe erzeugen, weil eine AI-Funktion einen Prompt pro Zeile auswertet und ein naiver Join einen Prompt pro Zeilenpaar. Bei einer Benchmark-Abfrage namens BIO-4, die 5.000 medizinische Berichte gegen 4.144 Reaktionsbegriffe joint, rechnet das Lab durch, was es kostet, diese Aufrufe als einzelne Anfragen an eine Allzweck-Engine wie vLLM zu schicken.

Modals Beitrag nennt das Ergebnis: Quail verarbeitet über eine Milliarde Token pro Minute pro H100-GPU bei einer Multi-Join-Abfrage, mehr als 10x schneller als die vLLM-Baseline auf derselben Hardware, bei unter 6 Cent pro Milliarde Token auf Modal. Über einen neu veröffentlichten Benchmark hinweg läuft Quail laut Modal geometrisch gemittelt 1,84x schneller als vLLM. Der Beitrag weist darauf hin, dass der Satz zwei Abfragen enthält, die zeigen sollen, wo AI-SQL-Inferenz noch Arbeit braucht.

Ich sehe es als Punkt auf der pareto-optimalen LLM-Kurve in einem Regime mit großer offengelegter latenter Nachfrage (kein Denken, ein Token, akzeptable Intelligenz bei niedriger Latenz), in das wegen des Wettlaufs um höhere Intelligenz zu wenig investiert wurde. Karpathy-san, zu Jev

Das Zitat steht in Modals Beitrag und wird dort Karpathy zugeschrieben, mit einem Kommentar zum Jev-Modell von TypeSafe AI. Es lohnt sich, genau zu lesen. Das Argument lautet, dass ein großer Teil der Inferenznachfrage am billigen Ende mit niedriger Latenz liegt und unterversorgt wurde, weil die Labore stattdessen der Frontier-Fähigkeit nachjagten. Magnitude und Quail setzen beide auf diese Lücke.

Keine der beiden Beschreibungen ist peer reviewed. Beide sind Firmenblogs zu Code-Veröffentlichungen, und die Vergleichsbaselines, einmal gegen llama.cpp, einmal gegen vLLM, wählen die Autoren selbst. Die Richtung ist einheitlich, die Größenordnungen sollte man aber nicht als gesichert ansehen.

Was der Strom und die Preisliste sagen

Eine diese Woche veröffentlichte akademische Arbeit zeigt ein verwandtes Problem, das schnellere Token allein nicht lösen. Ein auf der SOSP '26 vorgestelltes Paper, datiert auf den 28. September und in den ACM-Proceedings gelistet, argumentiert, dass die reine Optimierung von GPU-Clustern auf Auslastung den Energieverbrauch erhöhen kann. Die Autoren Prasoon Sinha, Dimitrios Liakopoulos, Nathan Lemma und Neeraja J. Yadwadkar beschreiben ein System namens EnerTune. Es modelliert Leistung und Stromverbrauch pro Modell analytisch, statt jede Konfiguration zu profilieren, und packt Modelle entsprechend auf gemeinsam genutzte GPUs. Sie berichten von 1,4- bis 2,3-fach geringerem Energieverbrauch und 1,3- bis 2,6-fach geringerer Leistungsaufnahme gegenüber dem Stand der Technik, bei weiterhin erreichten Leistungszielen.

Dann ist da die Listenpreisseite. AICostBudget hat am 30. September seinen Preisfindex für September veröffentlicht, eine eingefrorene Momentaufnahme mit Stichtag 2026-09-30 UTC, die 81 öffentliche Preisangaben von 11 Anbietern abdeckt. Der Median des Eingabepreises über 69 Angaben liegt bei $1,32 pro Million Token, der Median des Ausgabepreises bei $6 pro Million, ein Verhältnis von 5,0x. Meist ist der Ausgabepreis der größere Posten, nicht die Eingabe des Prompts.

Der Index räumt auch mit einer verbreiteten Abkürzung in Kostendiskussionen auf. Von 58 vergleichbaren Angaben für gecachte Eingaben liegt der Median des Rabatts bei 90%. Von 44 Angaben mit Batch-Preisen liegt der Median des Rabatts bei 50%. Jeder Workload-Vergleich, der Caching und Batch-Preise ignoriert, beschreibt eine Rechnung, die die meisten Kunden nie sehen, und der Index sagt das direkt. Auf Anbieterseite reichen die Mediane von Mistral AI mit $0,20 für Eingabe und $0,60 für Ausgabe pro Million Token über 7 Angaben und DeepSeek mit $0,30 und $1,20 über 3 Angaben bis zu Anthropic mit $5 und $25 über 13 Angaben und OpenAI mit $2 und $11 über 18. Das sind Mediane öffentlicher Listenpreise, keine effektiven Preise nach Rabatten. Die Gruppen sind unterschiedlich groß, ein Ranking der Modelle ist das also nicht.

Geschwindigkeit ist nur eine der Kosten

Außerhalb des Rechenzentrums hat Latenz messbare physische Kosten. MindOn stellte am 30. September sein physisches KI-Modell Mind-1 vor und erklärt, es senke die Inferenzlatenz von Robotern von 82ms auf 32ms und bringe Manipulationsaufgaben auf Zykluszeiten menschlichen Niveaus. Die Erklärung des Unternehmens, warum das zählt, ist der nützliche Teil: Bei einer Endeffektor-Geschwindigkeit von 3 Metern pro Sekunde entsprechen 10ms Latenz etwa 3cm Bewegung, genug, um präzises Greifen oder Einführen zu beeinflussen. MindOn nennt zudem ein Datenproblem: Ein großer Teil der Robotermanipulationsdaten stammt aus Teleoperation, die langsamer ist als natürliche menschliche Bewegung, sodass Modelle ein langsameres Tempo zusammen mit der Aufgabe lernen.

Im selben Zeitfenster gibt es eine Kostenstory für Verbraucher. CleanTechnica berichtete am 29. September, eine Analyse von Transport & Environment setze die Betriebskosten von E-Autos in Europa auf weniger als die Hälfte von Diesel pro Kilometer. Grundlage ist ein Durchschnittsverbrauch von 6,9 Litern pro 100km für Diesel und 20,2 kWh pro 100km für Batteriefahrzeuge, bei Strom zu €0,343 pro kWh. T&Es Antony Froggatt sagte im Beitrag, Dieselfahrer zahlten €32 mehr pro Tankfüllung als zu Jahresbeginn, und warnte vor Versorgungsrisiken, falls die USA Diesel-Exporte blockieren. T&E merkt an, dass die eigene Ladeschätzung wahrscheinlich eine Obergrenze ist.

Und die Preisseite selbst kann Kosten verursachen. Ein am 30. September veröffentlichter Erfahrungsbericht von Gokhan Kogan über seine Zeit bei Pinecone beschreibt, dass ein Nutzungsrechner auf der Preisseite Schätzungen um bis zu 1.000x zu hoch ausgab, nachdem eine einzige Eingabe falsch interpretiert wurde. In einem A/B-Test, schreibt er, meldeten sich Besucher, die den Rechner nicht sahen, 16% häufiger an und kontaktierten das Unternehmen 90% häufiger, ohne Anstieg der Support-Tickets zu Preisen. Er merkt außerdem an, dass 7 von 10 intern befragten Mitarbeitern erwarteten, die Version mit Rechner würde besser abschneiden. Das ist die Erfahrung eines Unternehmens, kein allgemeines Gesetz, aber eine Erinnerung daran, dass wahrgenommene und tatsächliche Kosten leicht auseinandergehen.

Auch auf der Netzebene ändert sich die Kapazitätsökonomie. Light Reading berichtete am 30. September, dass StarHub und M1 in Singapur Fusionsgespräche führen, wo sie bereits 5G-Spektrum und Funkzugangsnetz über ein gemeinsames Unternehmen namens Antina teilen. Singtel hielt im Juni laut dem Bericht 43% des Mobilfunkmarkts, M1 22%, StarHub 21% und Simba 14%. In Neuseeland haben 2degrees und OneNZ vorgeschlagen, ihre Funknetze zusammenzulegen, eine Entscheidung der Commerce Commission wird im kommenden Jahr erwartet.

Der rote Faden ist nicht, dass Inferenz bald kostenlos wird. Die Optimierungen dieser Woche zielen auf konkrete Engpässe: Decode-Geschwindigkeit von Agenten auf Verbraucherhardware, SQL-Aufrufe Zeile für Zeile und Stromverbrauch im Leerlauf von GPUs. Jede kommt mit eigenem Benchmark und eigenem Anbieter. Der Preisfindex deutet darauf hin, dass sich die Listenpreise selbst kaum bewegt haben. Die Einsparungen werden auf der Ebene der Engines verkauft, und Käufer müssen sie an ihren eigenen Workloads testen.

Kommentare 0

Quellen

9
  1. 01Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
  2. 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  3. 03Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  4. 04AI API pricing index - September 2026EN
  5. 05Mind-1: Cutting robot inference latency from 82ms to 32msEN
  6. 06The pricing calculator made people more confused about pricingEN
  7. 07Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
  8. 08Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  9. 09Singapore, New Zealand operators seek partnerships to cut costsEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.