Offene Video- und multimodale Modelle unterbieten Frontier-Preise, doch die Herkunft bleibt unklar

Das Kostenargument für offene Modelle

Für Käufer ist das zuerst eine Ausgabenfrage. Ein Team zahlte früher für jede Aufgabe Frontier-Preise. Jetzt kann es das teure Modell für das schwierige Zehntel reservieren. Den Rest erledigen Gewichte, die es herunterladen kann. Kleinere multimodale Modelle laufen zudem auf Geräten, nicht nur in der Cloud eines Anbieters. Das senkt Latenz und Datenverkehr. Der günstigere Stack löst das Problem der Herkunft nicht. Offene Gewichte lassen sich leicht kopieren, umbenennen und als etwas anderes ausgeben. Einen gemeinsamen Prüfstandard gibt es nicht. Regulierer und Plattformen haben weiterhin keine einfache Möglichkeit, eine Ausgabe einem bestimmten Modell zuzuordnen.

Der Haken ist das Zehntel, das beim Frontier-Modell bleibt. Jemand muss entscheiden, welche Aufgaben dazugehören. Eine falsche Zuordnung ist billiger zu treffen als zu korrigieren.

Video und Embeddings sind zwei Enden derselben Verschiebung. Fähigkeiten, die früher hinter einer API lagen, kommen heute als Gewichte.

Pika veröffentlichte H3 Flex am 29. Oktober. Es ist ein offenes Video-Generierungsmodell mit Gewichten für professionelle Kreative, Entwickler und Forscher. Das Unternehmen trainierte MiniMax H3 nach, um Video in sechs Schritten statt in 50 zu erzeugen. Danach verfeinerte es das Modell für visuelle Qualität und kreative Kontrolle. Modell-Adapter liegen auf Hugging Face. Der Inferenzcode steht auf GitHub. Pika bewirbt das Modell als Werkzeug für Iterationen, nicht für die Einmal-Generierung. Dort summieren sich die gesparten Sekunden.

Pika legt die Videogenerierung offen

Pika H3 Flex verarbeitet Text-zu-Video, Bild-zu-Video und referenzbasierte Generierung.

Kreative können bis zu 12 Referenzdateien mit Bildern, Videos und Audio liefern. In Pikas Beispiel legt ein Bild eine Figur fest. Ein Foto bestimmt die Umgebung. Ein Clip zeigt die gewünschte Kamerabewegung. Eine Audiodatei liefert den Ton. Die native Ausgabe ist 480p und 768p. Pikas gehostete Dienste erweitern das auf 1.080p, 2.000p und 4.000p. Generiertes Video trägt synchronisierten Stereo-Ton. Die gehostete API gibt fünf separate Audiospuren aus.

Pika gibt an, dass ein 15-sekündiger 768p-Clip mit Audio unter einem kontrollierten Benchmark etwa sieben Sekunden Transformer-Rechenzeit braucht. Das ist Rechenzeit, nicht Ende-zu-Ende-Zeit. Referenzverarbeitung, Dekodierung, Service-Overhead und die Nachbearbeitung in höherer Auflösung kommen zur Wartezeit hinzu.

Weniger Schritte verkürzen die Schleife zwischen den Versuchen. Kreative können Prompts, Kamerabewegungen und Figuren mit weniger Warten zwischen den Iterationen testen.

Kleinere multimodale Modelle erreichen Geräte

Das EmbeddingGemma-Team von Google ging den umgekehrten Weg bei der Größe. Das Modell EmbeddingGemma 2 mit 744.000.000 Parametern kodiert Text, Bilder, Audio, Video und Kombinationen davon in einen gemeinsamen Embedding-Raum mit 768 Dimensionen. Das Budget verteilt sich auf ein Text-Backbone mit 271.000.000 Parametern, einen Vision-Encoder mit 167.000.000 und einen Audio-Encoder mit 305.000.000. Die Werte für den Geräteeinsatz stammen von einem Pixel 11 Pro. Die text-only Variante Q4_C quantisiert erreicht dort Spitzenwerte von 191 MB. Der volle multimodale Stack belegt 567 MB. Native Audio-Retrieval erreicht 69,54 MRR@10. Zum Vergleich: Googles frühere EG1-Pipeline aus ASR und Text kommt auf 50,95. Das Paper behauptet, das Modell schlage Spezialsysteme und zwei- bis zwölfmal größere Modelle auf multimodalen Benchmarks.

Matryoshka Representation Learning erlaubt es Aufrufern, das Embedding auf 128 Dimensionen zu kürzen. Reine Textanwendungen können die anderen Türme überspringen.

Größe bringt Portabilität, nicht Schlussfolgern. Die veröffentlichten Werte sind Retrieval-Benchmarks, keine Generierungstests.

Verifikation und Sicherheit hinken den Releases hinterher

Anthropic baut ein Open-Source-System. Es soll beweisen, welches Modell eine Ausgabe erzeugt hat.

Ein am 3. November veröffentlichter Blogbeitrag stellt das System FlashProve vor. Es würde Labore verpflichten, einen Fingerabdruck jedes Modells zu veröffentlichen. Labore können diesen Fingerabdruck später mit Ausgaben abgleichen und kryptografisch prüfen. Die Fingerabdrücke geben die Modellgewichte nicht preis. Kommerzielle Labore könnten sie veröffentlichen, ohne ihr wertvollstes Gut aufzugeben. Anthropic veröffentlichte die Spezifikation und funktionierenden Code auf GitHub. Das Unternehmen erklärte außerdem, es gebe keine Pläne, das System bei Anthropic oder einem anderen Labor einzusetzen.

Eine Studie der University of Hong Kong beziffert die Sicherheitslücke. Seedance 2.0 Pro von ByteDance führte die Rangliste der visuellen Qualität in der Studie mit 3,84 von 5 an. Veo 3.1 von Google DeepMind erreichte 3,47. Sora 2 Pro von OpenAI erreichte 3,27. Seedance lag auch bei visueller Konsistenz, physikalischem Realismus, ästhetischer Qualität und Befolgung von Anweisungen vorn. Bei der Sicherheit schnitt Seedance schwächer ab. Dieselbe Studie setzte es auf Platz sechs von 11 Modellen beim Blockieren schädlicher Inhalte. Zhenhui Jack Jiang leitete die Forschung. Er ist Professor für Innovation und Informationsmanagement an der Business School der Universität.

Anthropic beschreibt die Arbeit an FlashProve als Zwischenfortschritt. Es bittet andere, sie aufzugreifen und zu verbessern. Kein Labor hat sich verpflichtet, Fingerabdrücke zu veröffentlichen. Ein Termin für den Einsatz existiert nicht.