开放权重视频与多模态模型压低前沿价格,但来源验证仍滞后
Gartner估计,开放模型能以相当于前沿大模型二十分之一的成本完成90%的智能体工作。The Register于11月3日报道了这一数字。与此同时,更便宜的多模态系统正进入专业视频领域,并装进手机。

开放模型的成本账
对买家来说,这首先是一笔开支账。团队过去每个任务都付前沿价格,现在可以把昂贵的模型留给最难的那一成任务,其余任务用能下载的权重来跑。更小的多模态模型还能在设备上运行,不必只在厂商的云里。这缩短了延迟,也减少了数据搬运。便宜的方案解决不了来源问题。开放权重很容易被复制、改名,再冒充成别的东西。目前没有通行的验证标准。监管机构和平台仍然没有简单办法把一个输出对应到某个具体模型。
麻烦在于留在前沿模型上的那一成。总得有人判断哪些任务够格。判断错了,改起来比当初选错更贵。
视频和嵌入模型是同一变化的两端。过去藏在API后面的能力,现在以权重的形式发布。
Pika于10月29日发布H3 Flex。这是一个面向专业创作者、开发者和研究者的开放权重视频生成模型。公司在MiniMax H3的基础上做后训练,把生成视频的步数从50步降到6步,随后针对画质和创作控制做了精调。模型适配器放在Hugging Face上,推理代码在GitHub上。Pika把它定位为反复迭代的工具,而不是一次成片。省下的那几秒就是这样一点点累积起来的。
Pika把视频生成开放出来
Pika H3 Flex支持文生视频、图生视频和基于参考素材的生成。
创作者最多可提供12个参考文件,涵盖图像、视频和音频。在Pika的示例里,一张图固定角色,一张照片设定环境,一段片段展示想要的运镜,一个音频文件承载声音。原生输出为480p和768p。Pika的托管服务可扩展到1080p、2000p和4000p。生成的视频带同步立体声。托管API会输出五条独立的音频轨。
Pika称,在受控基准下,一段带音频的15秒768p片段大约需要7秒的transformer计算。这是计算时间,不是端到端时间。参考素材处理、解码、服务开销以及更高分辨率的收尾都会拉长等待。
步数少了,两次尝试之间的间隔就短了。创作者测试提示词、运镜和角色时,每次迭代的等待更少。
更小的多模态模型走向设备端
Google的EmbeddingGemma团队在尺寸上走了另一条路。74400万参数的EmbeddingGemma 2把文本、图像、音频、视频以及它们的组合编码进同一个768维嵌入空间。参数预算分成27100万的文本主干、16700万的视觉编码器和30500万的音频编码器。设备端数据来自Pixel 11 Pro。纯文本的Q4_C量化版本在这台设备上峰值占用191 MB,完整的多模态栈占用567 MB。原生音频检索得分为69.54 MRR@10,而Google早先的EG1 ASR加文本流水线为50.95。论文称,该模型在多模态基准上胜过专用系统以及比它大2到12倍的模型。
Matryoshka表示学习让调用方可以把嵌入截断到128维。只做文本的业务可以跳过另外两个编码器。
尺寸换来的是可移植性,不是推理能力。公布的分数是检索基准,不是生成测试。
验证与安全落后于发布节奏
Anthropic正在做一个开源系统,用来证明某个输出出自哪个模型。
11月3日的一篇博客文章介绍了这个名为FlashProve的系统。它要求各家实验室公布每个模型的指纹,之后实验室可以把指纹与输出对上,并用密码学方法验证。指纹不会暴露模型权重。商业实验室可以公布指纹,而不必交出最值钱的资产。Anthropic在GitHub上公开了规范和可运行的代码。它同时表示,没有计划在Anthropic或其他任何实验室部署这套系统。
香港大学的一项研究给安全差距标上了数字。字节跳动的Seedance 2.0 Pro以3.84分(满分5分)位居该研究的画质排名第一。Google DeepMind的Veo 3.1得3.47分。OpenAI的Sora 2 Pro得3.27分。Seedance在画面一致性、物理真实感、美学质量和指令遵循上也领先。Seedance在安全方面表现较差。同一项研究把它排在11个模型中的第六位,衡量的是拦截有害内容的能力。Zhenhui Jack Jiang领导了这项研究。他是该校商学院创新与信息管理教授。
Anthropic把FlashProve的工作称为阶段性进展,并请其他人拿去改进。目前没有实验室承诺公布指纹,也没有部署时间表。
资料来源
28- 01Pika Releases H3 Flex, an Open-Weight AI Video Model With 4K Output and Audio GenerationEN
- 02Anthropic is working on a system to prove AI models' identityEN
- 03Google ships EmbeddingGemma 2, 744M unified multimodal embedderEN
- 04Chinese video AI models beat US rivals in visual quality, but lag on safeguards: HKU studyEN
- 05BYD teases new model for Guangzhou Auto Show, with next-gen Han expectedEN
- 06Nvidia is happy to take your money whether you're using open or closed models, says Jensen HuangEN
- 07 Google reveals new Gemini 4 Carbon AI model, narrowly beating Claude Opus 5.5 EN
- 08Chamet Strengthens Multimodal AI Moderation for Live Video Chat as Singapore's Online Safety Commission Takes Effect - The Manila TimesEN
- 09Chamet Strengthens Multimodal AI Moderation for Live Video Chat as Singapore's Online Safety Commission Takes EffectEN
- 10I Checked Out Tesla’s New Model YL, Standard Y, Model 3 In Person — Here’s What Surprised MeEN
- 11heise+ | Humanoide Roboter in Deutschland: Modelle, Preise und VerfügbarkeitEN
- 12Open models can do 90% of agentic work at a twentieth of the cost of a frontier LLM: GartnerEN
- 13AI Image Enhancement Improves Detection Of Flip-Chip Interconnect Defects (MCL, PVA TePla, ASE)EN
- 14Tutor Intelligence raises Series B to scale model training, robot deploymentsEN
- 15Jülich Hosts EVE Language Model for Earth Observation and Earth ScienceEN
- 16Google Launches LiteRT Tensor API for Building, Customizing, and Optimizing ML Models for On-DeviceEN
- 17Anthropic's Claude AI blocks video game cloning and reverse-engineeringEN
- 18Westward Ho! First Trip Cross Country with Our New 2026 Tesla Model Y & Full Self Driving V14EN
- 19Red Hat Patches 9.8-Rated Linux TCP RCE Flaw While Ubuntu Releases Fixes for TestingEN
- 20The Next AI Infrastructure Bottleneck Isn't the Model. It's the Machine. - NasscomEN
- 21Anthropic takes steps to block Claude from reverse-engineering video gamesEN
- 22Was I wrong about open models & cyber risks?EN
- 23Social media is full of weird video game mashups. Where are they all coming from?EN
- 24Build World Models for Interactive Simulation with NVIDIA Cosmos | NVIDIA Technical Blog - NVIDIA DeveloperEN
- 25China touts AI milestone: models generate more tokens than used in trainingEN
- 26Final release for the 7.2 stable seriesEN
- 27File Mover Express: AWS Releases Open-Source Tool for S3 File TransfersEN
- 28Spring News Roundup: First Release Candidates of Boot, Framework, Data, Security, Modulith, AIEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。