xsd20241118头像
VLX-VR:帮你从视频里找出 SOP 的隐藏风向封面图

VLX-VR:帮你从视频里找出 SOP 的隐藏风向

工厂里的摄像头越来越多,能被真正读懂的流程却越来越少。工位录像、安防监控、培训示范、客诉回溯每天都在产生海量视频,可绝大多数视频只是“躺在硬盘里的事后证据”,从来没有变成可管理的流程知识。纸面 SOP(标准作业程序)写着“应该怎么做”,现场执行的却是另一套“实际怎么做”,两者之间的缝隙,正是质量波动、安全隐患与效率损失的来源,也是老师傅绝活的藏身之处。

2026 年9 月,OmAI 联汇发布的视频深度推理模型 VLX-VR 给出了一种新解法:它不再把视频一次性“读完”,而是像一位不知疲倦的工业工程师,带着问题反复回看、随时记录、证据链不闭合就不下结论。本文拆解它的技术原理与公开成绩,并给出一套可直接落地的方法——如何从视频中还原真实 SOP,抓住偏差、诀窍、漂移、前兆四类“隐藏风向”。

核心提要

· VLX-VR 是 OmAI 联汇推出的智能体感知(agentic-aware)视频深度推理模型,在 Think–Memory–Observation(思考—记忆—观察)循环中自主决定“看哪里、记什么、何时停”。

· 在以“防蒙答案”著称的长视频推理基准 MINERVA  上,VLX-VR 以 78.79% 的准确率位列公开对比第一;三档时长准确率为 76.70%、78.73%、80.92%,视频越长反而越稳。

· 对企业最有价值的用途不是“总结视频”,而是从作业、监控、培训视频中还原事实 SOP,并发现四类隐藏风向:偏差、诀窍、漂移、前兆。

· 本文提供五步方法论、7 个行业落地表、4 个可复用提示词模板,以及不回避短板的能力边界说明。

一、千万条作业视频,为什么挖不出一条“活的 SOP”

1.1 每家企业都有两套 SOP

稍微上规模的企业,都有两套 SOP。一套写在质量体系文件里,规定员工“应该怎么做”;另一套藏在车间、门店、仓库和操作间里,是员工“实际怎么做”。两套 SOP 之间的缝隙,既是风险,也是知识:跳步与习惯性违章藏在这里,高绩效员工不肯写进手册的“手感”也藏在这里。

过去,还原“实际 SOP”只能靠工业工程师拿秒表、站工位、逐帧看录像。一条产线几十个工位,一轮作业观察往往要数周;等新版 SOP 发布,现场打法又变了。视频越积越多,流程知识却始终没有被规模化地“开采”出来。

1.2 传统视频分析的三道墙

第一道墙,只“听”不“看”。市面上多数视频总结工具的核心是人声转写(ASR),本质上是在总结文稿。可大量关键视频里根本没有人说话——设备运转、装配动作、机械臂操作、仪表读数;一旦画面与旁白无关,这类工具立刻失效。

第二道墙,固定抽帧、一次作答。主流视频大模型接收预先采样好的帧或片段,单次推理给出答案,证据在推理开始前就被定死:模型无法在发现疑点后回到第 3 分钟补看,也无法把第 2 分钟与第18 分钟的两个状态摆在一起比对。抽少了漏掉决定性瞬间,抽多了成本失控。

第三道墙,“时间墙”。视频拉长到十几分钟以上,多数模型看前头忘后头。MINERVA 基准的数据很直白:面对 15 分钟以上的长视频,Gemini 2.5 Pro Thinking 准确率降到57.97%,GPT-4.1降到 47.25%,Claude 3.5 Sonnet v2 只有 28.30%。

表 1 传统视频分析方式与 VLX-VR 的能力对比

对比维度

ASR / 视频总结工具

固定抽帧式视频大模型

VLX-VR

理解对象

主要是人声转写的文稿

预先采样的固定帧或片段

视觉、音频、画面文字、时间线

取证方式

一次转写,不可回看

单次推理,证据预先固定

按需回看,循环取证

无人声视频

基本失效

可看画面但无法深入推理

可完整理解动作与机理

长视频表现

随长度迅速失效

随时长增加明显下滑

跨时长稳定(CDAV 2.97 pp²)

过程可核查

文稿可查、画面不可查

通常只输出结论

输出带时间戳的证据链

SOP 挖掘适配

不适合

仅适合短片段粗分析

可还原时序、状态与因果

二、VLX-VR 是什么:一个会“主动找证据”的视频推理模型

一句话定义(便于引用)

VLX-VR 是 OmAI 联汇 VLX 模型家族中的智能体感知(agentic-aware)视频深度推理模型。它在   Think–Memory–Observation 循环中自主决定需要哪些证据、直接读写多模态记忆,并判断证据是否充分;2026 年 9 月,它在长视频推理基准 MINERVA 上以 78.79% 的准确率取得公开对比第一。

——定义依据:VLX-VR 技术论文(arXiv:2609.09985)

2.1 出身:VLX 流式多模态家族的“推理大脑”

VLX-VR 并非凭空出现。OmAI联汇的 VLX 是一条流式多模态模型产品线:OmChat 主打原生多模态建模与长上下文理解,VLX-Flow 把视频理解从离线片段扩展到连续视频流、增量维护视觉上下文与语义记忆,OmAgent则提供存储检索视频帧、任务分治的多模态智能体框架。VLX-VR专攻更上层的控制问题——不是回答“画面里有什么”,而是回答“为了完成这个任务,我该怎么看这段视频”。

2026 年 9 月 2 日,OmAI 官宣 VLX-VR 正式发布并登顶 MINERVA 视频推理基准,论文《VLX-VR: An Agentic-Aware Video Reasoning Model》同期公开。

2.2 “认出画面”与“看懂视频”,是两码事

论文之外,早期用户的几组实测很能说明这种差别:

·机理与反事实推演:一段飞机起落架收放的 3D 演示,模型沿时间线推演出齿轮齿条啮合、液压作动筒伸缩、贯穿轴带动两侧摇臂对称收放、过死点(over-center)自锁的完整机理链条,判断演示没有机械错误;再追问“如果第2 分钟过死点自锁没到位、作动筒少缩回5 厘米会怎样”,它能顺着时间线推演高速平飞中的连锁后果。

·高速录屏抓报错:一段 4–5 分钟的工业建模录屏被加速 9 倍压成 30 秒、窗口频繁切换,模型仍按时间线还原了十几个操作节点,精准抓到第 11 秒闪过的 CreateBlock1 调用 AttributeError,以及第 15、18 秒的修复过程,并判断全程由 Python Journal 脚本自动化完成。

·动作节奏级对比:四宫格机械臂实验视频中,它区分了四个窗口各自的任务,还识别人工示教双手连贯无间隙、而机械臂双臂交接时存在约 1 秒等待停顿这样的细微节奏差。

以上为媒体公开实测案例,来源:人人都是产品经理《分享一个在长视频推理上超过 Gemini 2.5 Pro 的新模型》(2026-09-11)。

认出,是看到画面里有起落架、报错弹窗和机械臂;看懂,是讲得清动作之间的时序与因果。SOP挖掘需要的,恰恰是后者。

三、技术拆解:Think–Memory–Observation 循环

图 1Think–Memory–Observation 智能体视频推理框架(依据论文第 3 章重绘)

3.1 三步循环:把“怎么取证”学进模型本身

业界也有“视频智能体”的做法:把一个通用视觉大模型放进外部写好的循环里反复调用工具。但模型并没有被训练过如何扮演循环中的角色——它会重复索要相同证据、忘记关键中间状态,或者证据还不够就草草作答。VLX-VR的选择,是用强化学习把取证策略学进模型内部。推理框架是一个极简的三步循环:

·Think(思考):解读任务目标,提出下一步需要什么证据,并估计现有证据是否充分。

·Memory(记忆):直接调用两个原子操作——read_memory 检索视频、音频等多模态证据,write_memory 把当前观察与中间状态写入记忆。操作空间刻意保持极小,没有庞大的专用工具集。

·Observation(观察):检索结果或写入状态返回模型,更新推理状态,再决定继续循环还是输出最终答案。证据不足或存在冲突,就回到 Think 发起下一轮取证。

3.2 多模态记忆:可审计的“外部推理状态”

VLX-VR 的记忆不是文本摘要缓存,而是一个外部的、可检查的推理状态:视频片段、画面区域、音频片段、画面中的文字、时间戳、中间假设都能写入、检索和跨步骤复用。这对企业场景意义重大——当模型给出“第 3 工位漏装密封圈”的结论时,依据不是它的“印象”,而是它实际观察过的画面与时间点,整条推理链可以被质量工程师逐条复核。论文特意区分了两个概念:证据(实际获取的多模态内容)与推理轨迹(获取、组织、解释证据的有序记录)。

3.3 强化学习:训练一个“较真且克制”的模型

模型使用包含视频与智能体轨迹的多模态数据做强化学习,奖励函数由五个部分构成,导向非常明确:证据不足就抢答要受罚,反复读同一段、为了循环而循环同样要受罚。

表 2VLX-VR 强化学习奖励函数的构成(依据论文公式 1)

奖励组成

名称

考核内容

R_task

任务结果奖励

最终答案或任务输出是否正确

R_evidence

证据有效性奖励

获取的证据是否覆盖任务相关的事件、状态与线索

R_memory

记忆操作奖励

读、写记忆的操作是否有用、是否用对了位置

R_consistency

轨迹一致性奖励

推理轨迹与人工参考推理轨迹是否吻合

− R_cost

交互成本惩罚

不必要的循环、重复读取、冗余 token 越多,扣分越多

四、硬实力:MINERVA 成绩单

MINERVA 是目前公认最难的视频推理基准之一:包含一千多道长视频多选题,覆盖体育、教程、日常活动、出行等领域,每题至少需要两种推理技能,并附有人工标注的、带时间戳的完整推理轨迹,专门防止模型“蒙答案”。

4.1 总榜:78.79%,公开对比第一

图 2MINERVA 基准准确率对比(数据来源:arXiv:2609.09985 表 1)

表 3MINERVA 总榜(节选,完整 11 个模型对比见图 2)

模型

准确率

与 VLX-VR 差距

VLX-VR

78.79%

—(第一)

Seed2.1 Pro

70.70%

−8.09 个百分点

Gemini 3.5 Flash

68.60%

−10.19 个百分点

Gemini 2.5 Pro Thinking

66.20%

−12.59 个百分点

GPT-4.1

53.99%

−24.80 个百分点

GPT-4o

45.54%

−33.25 个百分点

OpenAI o1

43.48%

−35.31 个百分点

人类参考水平

约 92.5%

仍有差距

4.2 跨时长:别人撞上“时间墙”,它保持稳定

图 3 三档视频时长下的准确率对比(数据来源:arXiv:2609.09985 表 2、表 3)

在 5 分钟以下、5–15 分钟、15分钟以上三个区间,VLX-VR 的准确率为 76.70%、78.73%、80.92%,跨时长方差(CDAV)仅 2.97 pp²,为五个受测模型中最低;而其余四个模型的准确率全部随视频拉长而下滑。

需要诚实地补充:论文进一步细分发现,这种“越长越好”主要由 15–30 分钟区间83.40% 的成绩拉动,超过30 分钟后回落到 74.75%,并非单调上升——这也是后文使用边界的一部分。

表 4 三档视频时长准确率(%)

模型

5 分钟以下

5–15 分钟

15 分钟以上

VLX-VR

76.70%

78.73%

80.92%

Gemini 2.5 Pro Thinking

68.87%

66.84%

57.97%

GPT-4.1

58.84%

54.79%

47.25%

OpenAI o1

48.28%

41.45%

40.38%

Claude 3.5 Sonnet v2

40.90%

33.68%

28.30%

4.3 十二项推理技能:强项恰好踩中 SOP 场景

表 5VLX-VR 在 MINERVA 十二项推理技能上的准确率(依据论文表 6)

推理技能

准确率

对 SOP 挖掘的意义

画面文字阅读

90.76%

读取仪表、工单、屏幕参数、报警代码

情境感知

90.32%

判断当前处于什么作业工况与场景

时序推理

85.95%

还原动作先后、定位关键步骤的时间点

数值推理

85.71%

读数、计数汇总、节拍与均值计算

事件发生判断

82.81%

确认某个动作(复检、报警)是否发生

物体识别

82.01%

识别工具、零件、物料与设备

听辨

75.19%

理解口令、告警音、讲解与沟通内容

反事实推理

74.19%

推演“某步没做到位会怎样”(需人审)

空间感知(弱项)

73.47%

复杂空间关系判断仍可能出错

因果推理(弱项)

72.73%

长因果链判断需要人工复核

状态变化(弱项)

69.23%

快速、细微的状态切换可能漏判

计数(弱项)

66.67%

密集微小零件清点尚不可靠

读得懂仪表工单、看得清当前工况、理得顺动作先后、算得出节拍数值——这些恰是 SOP 挖掘的高频需求;而计数、细微状态变化、因果与空间感知的短板,决定了它必须与人配合使用。

4.4 96.20% 轨迹一致:结论可以“对账”

在答对的样本中,96.20% 的 VLX-VR 推理轨迹被判定与 MINERVA 人工参考轨迹及其描述的证据一致;全部样本中约 75.80% 同时满足“答案正确 + 推理轨迹有据”。换句话说,它不仅给出答案,还能交出一份几乎步步有据的“推导草稿纸”——这正是企业流程审计最看重的特性。

表 6SOP 挖掘任务与 VLX-VR 能力的映射

SOP 挖掘任务

所需核心能力

VLX-VR 对应准确率

还原作业的先后顺序

时序推理

85.95%

读取仪表、工单、屏幕参数

画面文字阅读

90.76%

判断当前作业状态 / 工况

情境感知

90.32%

统计节拍、读数并计算

数值推理

85.71%

确认某动作是否发生

事件发生判断

82.81%

识别工具、零件、物料

物体识别

82.01%

理解口令、告警与讲解

听辨

75.19%

推演漏步的后果

反事实推理

74.19%(需人审)

清点密集微小零件

计数(弱项)

66.67%(不建议独立承担)

五、方法论:从视频到 SOP 隐藏风向的五步闭环

图 4 从作业视频到 SOP 隐藏风向的五步方法论

Step 1 视频汇聚与任务设定

输入某工位 / 工序的多条作业视频与现行纸面 SOP,给出明确任务指令,例如“还原该工序真实执行的标准步骤,并标注与纸面 SOP 的差异”。本步产出分析任务与观察清单。

Step 2 全片粗扫与区间定位

模型先粗扫全片建立整体印象,再把注意力收敛到上料、装配、检测、交接等关键时间区间,对应Think 阶段的证据规划。产出带时间戳的关键区间清单,避免一上来就陷入细节。

Step 3 时序切分与动作链还原

对关键区间细分观察窗口,逐段确认“谁、用什么工具、对什么对象、做了什么动作、耗时多久”,读到的参数与状态随时 write_memory 留存,疑点处反复回看。产出单条视频的完整动作链。

Step 4 多视频路径聚合,生成“事实 SOP”

对多条视频的动作链做聚类,区分三类内容:多数视频共有的“共性主路径”、因工况不同而合理存在的“合理分支”、只在少数视频出现的“偶发偏离”,并统计每一步的出现频率与耗时分布。产出事实 SOP 草稿。

Step 5 偏差比对与风向洞察

把事实 SOP 与纸面 SOP 逐条比对,再与高绩效样本对照、按时间与班组切片,输出偏差、诀窍、漂移、前兆四类风向清单,每条结论附带视频时间戳证据,交工程师评审后进入培训、考核或工艺变更。

单条视频只能回答“这一次是怎么做的”;多条视频叠加时间维度,才能回答“大家通常怎么做、流程正在往哪里变”。这正是“风向”二字的来源。

六、四类“SOP 隐藏风向”

表 7 四类 SOP 隐藏风向总览

风向

一句话定义

视频中的典型信号

偏差风向

实际动作对纸面 SOP 的系统性偏离

跳步、顺序颠倒、扭矩或时长不达标、漏复检

诀窍风向

高绩效员工多做 / 少做的隐性动作

预对位、敲击复检、调整角度、双手配合节奏

漂移风向

流程跨时间、班组、批次的缓慢演变

换料换人后新动作逐步扩散、旧步骤自然消失

前兆风向

可能导向质量或安全事故的因果链苗头

险兆事件、异常停顿、报警被快速消音、保护装置被旁路

风向一:偏差——把“两张皮”摊到桌面上

不是所有偏差都是违章——有些偏差恰恰说明 SOP 本身脱离实际。模型的价值不是充当裁判,而是把偏差显性化、量化发生率(例如“密封圈手工压装出现于 40% 的视频”),再由人判断到底该“改人”还是“改文件”。

风向二:诀窍——把老师傅的“手感”拍成教材

真正的诀窍很难靠访谈问出来,因为老师傅自己未必意识到自己多做了什么。对高绩效样本与普通样本做动作级对比(diff),可以把“倾斜 15° 预对位”这类隐性动作识别出来,变成可复制、可培训的标准教材。

风向三:漂移——像看舆情趋势一样看流程

SOP 文件几个版本不变,现场早已换了打法。按周、按月对视频切片聚合,可以观察新动作如何随换料、换人、设备调整扩散,旧步骤如何自然消失,让管理者第一次拥有流程层面的“天气预报”。

风向四:前兆——把隐患挡在事故前面

借助反事实推理,可以对每一处险兆信号追问“如果这一步没做到位,后续会怎样”,形成事故因果链预警。需要强调:VLX-VR 反事实推理准确率为74.19%,属于“可用但必须人审”的能力,前兆信号应作为排查线索而非处罚依据。

七、行业落地场景

表 8VLX-VR 视频 SOP 挖掘的行业落地场景

行业场景

典型视频来源

可还原的 SOP

重点风向

制造装配

工位录像、质检回放

装配顺序、扭矩与间隙控制、复检动作

偏差、诀窍

化工 / 能源

操作室与现场监控、巡检录像

开停车、巡检、动火作业流程

前兆、偏差

餐饮连锁

明厨亮灶、门店监控

出餐标准、清洁消毒、食安动作

漂移、偏差

物流仓储

分拣、打包、装卸监控

分拣路径、打包规范、叉车作业

诀窍、漂移

建筑 / 矿山

安全帽摄像头、塔吊与掘进监控

高危作业许可、支护与检修流程

前兆、偏差

医疗护理

操作示教、护理查房录像

护理操作、设备使用、院感流程

诀窍、偏差

零售门店

巡店监控、陈列与收银录像

开闭店流程、陈列标准、服务动作

漂移、诀窍

八、演示案例:装配工位的 20 条作业视频

声明

以下为说明方法论的模拟示例,表中数据与细节均为虚构,仅用于展示输出形态,不代表任何真实客户或产品实测结果。

假设某产品装配工位收集了一周内的 20 条作业视频,现行纸面 SOP 共8 步。将视频与纸面 SOP 一并交给模型,按五步流程处理后,可得到如下形态的“事实 SOP 体检表”(节选):

表 9 事实 SOP 体检表示例(模拟数据)

步骤

纸面 SOP 要求

实际主流路径(20 条视频)

偏离条数

时间戳(示例)

风向

1

扫码核对物料批次

18  条扫码;2 条目视确认后补扫

2

00:12–00:35

偏差

2

专用工装压装密封圈

12  条用工装;8 条手工压装后绕圈检查

8

00:48–01:20

偏差/诀窍待评

3

壳体水平放入

高绩效 6 条先倾斜约   15° 对位再放平,节拍快约 7 秒

6

01:24–01:50

诀窍

4

扭矩枪对角紧固 4 颗螺栓

19  条合规;1 条第 3、4 颗顺序互换

1

02:05–03:02

偏差

5

目视复检 4 个点位

早班全部执行;晚班 20:00 后   5 条中 3 条跳过

3

各片尾段

漂移/前兆

6

贴标后扫码过站

全部执行

0

—

—

7

不合格品红盒隔离并登记

全部执行

0

—

—

8

工具归位、台面清理(5S)

周五下午 4 条中   3 条未归位

3

片尾

漂移

据此可以直接形成三条管理动作:

·① 密封圈手工压装加“绕圈检查”出现率达 40%,需工艺部门评估:这是习惯性违章,还是更可靠的替代手法?结论决定改人还是改 SOP。

·② “倾斜约 15° 预对位”只在高绩效员工视频中稳定出现且节拍更快,应立即拍摄为标准培训教材,让诀窍从个人能力变成组织能力。

·③ 晚班漏复检、周五漏归位呈明显时间聚集,是现场管理的精准靶点;其中漏复检与后道客诉存在因果风险,应优先核查并设置反事实预警。

过去要站一周工位才能完成的观察,工程师拿着这份带时间戳的清单,半小时即可完成复核与决策。

九、怎么落地:部署、提示词与能力边界

9.1 部署形态与数据合规

作业视频往往涉及工艺机密与员工肖像,天然敏感。公开报道显示,OmAI 家族已有端侧本地运行的产品实践:OttoBox 小欧视频创作助理可在本地端侧处理数百 GB 素材、无需上传云端,报道称原本人工粗剪 8–10 小时的工作量约 30 分钟即可出稿。企业级 SOP 场景的私有化部署、接口与算力规格,应以 OmAI 官方方案为准。选型时建议先问清三个问题:视频是否出内网、证据轨迹留存多久、模型版本如何锁定。

9.2 四个可直接复用的提示词模板

① 还原事实 SOP

“这是某工序的作业视频。请先粗扫全片,再按时间顺序还原完整作业步骤:每一步给出动作描述、起止时间戳、涉及的工具与物料;标注画面中可读到的参数(扭矩、温度、计数等);最后列出你不确定、需要人工复核的片段。”

② 对照纸面 SOP 找偏差

“附件是该工序的纸面 SOP(文本见下)与作业视频。请逐条比对实际动作与 SOP,输出偏离的步骤、偏离方式、出现的时间点与涉及视频条数;不要臆测画面中看不到的动作,证据不足请明确说明。”

③ 跨样本挖掘高绩效诀窍

“这是高绩效员工与普通员工的各若干条作业视频。请做动作级对比:高绩效样本中稳定多出、少做或时序不同的动作是什么,分别出现在什么时间点,与节拍、质量的可能关系是什么;每条结论需附时间戳证据。”

④ 反事实推演事故前兆

“基于视频中的真实动作链,如果第 X 步未执行或未到位,后续流程会如何发展?请按时间顺序推演可能的后果链,严格区分‘视频中有直接证据’与‘基于机理的推断’,并给出建议的预防控制点。”

9.3 能力边界:AI 出草稿,人来裁决

论文对局限的交代相当坦率:密集小零件计数(66.67%)、细微状态变化(69.23%)、因果判断(72.73%)与空间感知(73.47%)仍是弱项;超过 30 分钟的视频准确率回落至 74.75%;如果画面中根本不存在所需证据,再多次循环也无法弥补。

因此推荐的落地姿势是“AI 出带证据的草稿,工程师做裁决”:事实SOP 与风向清单经评审确认后,才进入培训、考核与工艺变更;关键安全工序保留人工审计兜底。管理上同步做好告知与合规——采集区域、用途与留存周期对员工透明,人脸等无关信息脱敏处理。

让 SOP 从静态文件变成“活系统”

过去,视频是流程管理的“事后证据”;VLX-VR这样的模型让视频第一次可以被“反复审问”——缺证据就回去看,有冲突就比对,证据链不闭合就不下结论。

当每条作业视频都能自动沉淀为步骤、偏差与趋势,SOP 就不再是锁在文件柜里的静态文档,而是一套从现场持续生长、能够自我纠偏的活系统。所谓风向,从来不是靠追热点追出来的,而是靠让证据被真正“看见”。

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/whqwhqwhqxaut/article/details/167661290

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--