Elorian 发布首个模型 Glimpse,可在推理中裁剪图像和抽取视频帧
Elorian’s first AI model wants to reason with images, not just about them
AI 导读
Elorian 发布首个模型 Glimpse,以研究预览形式提供 API 访问,聊天界面需排队等候。
摘要与补充说明
该模型在推理过程中可裁剪图像区域、从视频中抽取特定帧,或运行代码测量和比较所看内容,Elorian 将这一机制称为视觉草稿空间。Glimpse 由小团队在数百块 GPU 上训练,规模远小于其对标的 frontier 系统,定价为输入每百万 token 0.60 美元、输出每百万 token 3 美元。据 Elorian 的评测,Glimpse 在科学图表推理和短视频描述任务上超过 GPT-6 Astra,其他视觉推理任务表现相当。初期目标客户为机器人公司、科研实验室和媒体创意公司,明年计划打造在各项视觉推理测试中领先的模型。
正文· AI 翻译
Elorian 是一家位于帕洛阿尔托的 AI 初创公司,它在尚未推出产品之前就以 3 亿美元估值完成了 5500 万美元种子轮融资。TechCrunch 独家获悉,该公司于周五发布了其首个模型。
该模型名为Glimpse,目前以研究预览版形式发布,提供API访问,聊天界面仅限候补名单,因此现阶段它只是一张结果表和一套理念。这套理念是什么?当今的AI模型虽然擅长语言和代码,但仍然无法真正“看见”。
大多数多模态模型只对图像看一次,将其转换为token,然后用文本进行推理——就像凭记忆描述一张照片。Glimpse则会不断回到源头。在推理过程中,它可以裁剪到某个区域、从视频中提取特定帧,或运行代码来测量或比较它所看到的内容,Elorian将这一机制称为“视觉暂存空间”。可以想象成有人在手机照片上双指放大,以确认自己以为看到的东西。
对于前Google DeepMind研究员、Elorian CEO Andrew Dai来说,AI仍然无法真正“看见”的最明显迹象之一出现在游戏之夜。
去年,他拍下了一张刚和朋友玩完的桌游照片,并询问一个前沿模型谁在赢。它答不上来。他告诉TechCrunch,桌游“每一种都有自己的视觉语言,都有自己的图标和符号”。“对成年人来说,仅凭极少的文字就很容易理解发生了什么,但这些模型无法凭直觉理解这些符号的含义。”
“人类可以看宜家说明书,没有文字,就能组装宜家家具,对吧?为什么AI模型做不到?”他说。
这种方法并不完全新颖——OpenAI在2025年为其o系列模型在推理过程中加入了裁剪和缩放功能——但Elorian的卖点在于,它以低成本围绕这一能力构建了整个模型。该公司表示,一个小团队在几百块GPU上训练了Glimpse,而且该模型的规模远小于它所对标的那些前沿系统。
Glimpse的定价为每百万输入token 0.60美元、每百万输出token 3美元——比Sonnet和Sol等中端模型便宜,但比Haiku和Luna等轻量级模型贵。
但根据Elorian的评估,Glimpse在科学图表推理和短视频描述任务上甚至超过了GPT-6 Astra,在其他视觉推理任务上也具有竞争力。
Elorian在六个月前结束隐身状态,当时完成了一轮由Striker Venture Partners、Menlo Ventures和Altimeter Capital共同领投的融资,Nvidia和Google首席科学家Jeff Dean参投。
最初的目标客户是拥有大量视频的公司:机器人公司、科学实验室、媒体和创意公司。从长远来看,Elorian希望从“看见”走向“行动”。这意味着构建场景模型,并利用它来选择行动,包括直接控制机器人。Dai表示,明年公司的目标是打造“世界上最好的视觉推理模型”,在每一项视觉推理测试中都领先。
当您通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
Aditya Mehta是TechCrunch报道AI的记者。他获得了Tarbell人工智能新闻中心的资助,并就读于UC Berkeley。您可以通过发送邮件至[email protected]联系Aditya,或通过Signal上的adymehta.74发送加密消息联系他。