Pangram startet KI-Modelle zur Bild- und Videoerkennung

Pangram ist ein New Yorker Startup, das für das Aufspüren KI-geschriebener Texte bekannt ist. Am Mittwoch startete das Unternehmen Pangram Image 1.0 für Standbilder und das kleinere, schnellere Pangram Image Flash 1.0 für Video. Die Videovariante prüft Videos Bild für Bild. Beide laufen in der Web-App und über die API. Image 1.0 steckt außerdem in der Chrome-Erweiterung, die Bilder beim Surfen scannt.

Das Bildmodell kann eine Heatmap erzeugen, die zeigt, wo KI-Inhalte in einem Bild sitzen, etwa ein gefälschtes Objekt in einem echten Foto. Bei Video trennt das Werkzeug laut Engadget Clips, die teilweise KI sind, von vollständig generierten und markiert, welche Bildbereiche wahrscheinlich synthetisch sind. Die Modelle verarbeiten zudem kleinere Dateien als bisher, bis hinunter zu 256 mal 256 Pixeln statt 512 mal 512. Unter 512 Pixeln geben sie eine Warnung mit geringerer Sicherheit aus. Die API verarbeitet jetzt Bilder und Video. Das Unternehmen hatte eine Forschungsvorschau von Image 1.0 veröffentlicht; nun ist das Modell über die Chrome-Erweiterung verfügbar.

Genauigkeitsangaben und wie sie getestet wurden

Pangram zufolge erkennt Image 1.0 99,2% der KI-Bilder und markiert 0,27% der echten fälschlich. Engadget gab die Erkennungsquote mit mehr als 99% an, bei gleicher Falschpositivrate.

Die Zahl 99,96% stammt aus einem Test, den Pangram selbst gebaut hat. Das Unternehmen erstellte KI-Kopien von 100 echten Fotos mit 12 führenden Bildgeneratoren. Die Prompts waren stark an das jeweilige Original angelehnt. Den Test hat Pangram entworfen, keine externen Prüfer.

Für Video nutzte das Unternehmen DF26, einen akademischen Benchmark mit 2.691 Clips von Menschen, die in die Kamera sprechen, veröffentlicht im September. Flash 1.0 erreicht laut Pangram 98,7% auf DF26, 29 Punkte vor dem nächstbesten Detektor. Engadget berichtete von mehr als 98% Genauigkeit für das Videomodell und berief sich auf einen internen Test, den das Unternehmen ausführlich beschrieben hatte.

Warum die Erkennung schwierig bleibt

Der DF26-Benchmark ist für alle anderen wenig gnädig. Seine Autoren fanden heraus, dass Menschen und führende Detektoren echte Clips kaum besser als der Zufall von Fälschungen unterschieden. Dieser Abstand ist der Hintergrund für die 98,7%.

Detektoren machen weiterhin Fehler. Selbst Metas eigener Bilddetektor übersah in Reuters-Tests zugeschnittene Fälschungen aus dem eigenen Generator in mehr als der Hälfte der Fälle. Auf YouTube schlug ein Netzwerk die Detektoren, das echte Schauspieler dafür bezahlte, KI-Skripte vorzulesen. Auch Pangram lag daneben: Im August stufte das Textwerkzeug den Gastbeitrag einer Berkeley-Professorin als teilweise KI-geschrieben ein, und sie bestritt das Ergebnis.

CEO Max Spero sagte, die meisten Handykameras, auch iPhones, führten eine gewisse KI-Nachbearbeitung durch. Er sagte zu Pirate Wires, das Unternehmen habe das Bildmodell verzögert, um es an mehreren iPhone 18 Pro zu testen, weil es deren Bilder zunächst als KI markiert hatte. Spero teilte ein Bild der Chrome-Erweiterung, die auf Pinterest lief; bei zwei Bildern, die offensichtlich keine echten Fotos sind, kam das Ergebnis "unsicher" zurück.

Verfügbarkeit und Finanzierung

Laut Pangram sind die Werkzeuge jetzt für Abonnenten verfügbar, und kostenlose Konten können einige wenige Bilder ohne bezahlten Tarif prüfen. Pangram sammelte im Juli 9.000.000 US-Dollar in einer Runde unter Führung von Menlo Ventures ein, als es die Bilderkennung erstmals vorstellte. Der Textdetektor läuft bereits auf Substack.

Pangram zufolge trainiert das Unternehmen die Modelle darauf, durch Kompression, Unschärfe und Rauschen hindurchzusehen, die Plattformen und Menschen hinzufügen können, um Detektoren zu täuschen.