往回看多远,才算看懂这一刻

先用一个模拟的足球片段说明这个问题,时间与事件均为示例,不来自任何真实比赛。

模拟场景 某场足球比赛中,第 61 分钟出现一次禁区内的射门被扑出。如果只看这一秒的画面,模型能给出的描述是“射门,门将扑救”。但这次机会的来路是这样的:
  1. 第 60:22,中场附近一次对抗,一方丢球;
  2. 第 60:27,另一方立即就地反抢,成功断球;
  3. 第 60:31,边路球员前插,接到向前的传球;
  4. 第 60:38,传中被挡出,二次进攻重新组织;
  5. 第 61:02,禁区内射门,被扑出。

“射门被扑出”只是结尾。如果一名观众问“这次机会是怎么形成的”,答案藏在前四十秒里。一个只识别单个事件的模型,会把这四十秒当成毫无关联的四件事。

研究的重心从“认出来”挪到“连起来”

动作识别、目标检测这些任务在体育视频上已经有很多积累,现在的难点不再是“认不认得出这个动作”。近期公开的研究里有一个比较明确的趋势:评价重点逐渐移向长视频,并且越来越强调时间上的组合推理,也就是一个问题的答案依赖前面若干个事件,而不是某一帧。

与之对应的,是时间定位这类任务的地位上升。要回答“这次机会怎么来的”,先得知道每个相关事件在哪个时间点发生,边界大致在哪里,这正是体育事件检测处理的问题。定位不准,后面的推理只是在错误的材料上做文章。此外,也有战术上下文类的数据集开始出现,尝试把阵型、跑位、压迫这类信息纳入标注。我们对这些工作的态度是:只当作方向参考,不复述具体成绩。

上下文变长,代价并不只是算力

一个直观的想法是:那就让模型一口气读完整场比赛。这条路不是走不通,但代价有几种不同的形态。

算力和内存是最显眼的,长视频的帧数与音频量都很大。更隐蔽的是注意力的稀释:输入越长,模型越难稳定地关注到那几个真正相关的片段,早期的信息容易被后来的信息盖过。还有一个是时间线本身的混乱,比赛录像里有回放、慢动作、不同机位的切换,画面的先后顺序不等于比赛中的先后顺序。如果模型把回放当成新的一次进攻,后面的推理会整体错位,这一点与多机位同步的难题是相通的。

锚点:用比分、时钟和事件数据给时间线定桩

我们目前更倾向的思路,是不让视频模型独自承担时间线,而是尽量用更容易核对的信号给它定桩。

  • OCR 读取比分牌与比赛时钟,给画面一个粗略的比赛时间,也能识别比分变化的时刻。
  • ASR 转写已有解说,提供“解说员认为此刻重要”的语义线索,同时也提供人名与事件的文字线索。
  • 结构化赛事数据,如果有的话,直接给出事件类型与时间,可以与视频里检测到的事件互相校验。
  • 球员重识别与跟踪,保证“同一个人”在跨镜头、跨时间段里被识别为同一个人,推理才能说清“谁传给了谁”。

这些信号各有缺陷:时钟可能卡住或被遮挡,ASR 会听错名字,赛事数据可能有延迟或缺失。但它们的错误方式与视频模型不同,放在一起才能互相纠正,这与多模态融合一文里的判断是一致的。

半岛体育的取舍:分层记忆,而不是整场硬读

在这个基础上,我们的设计思路大致分三层。最底层是逐段的事件识别与定位,输出带时间戳的事件列表;中间层把事件按比赛时间与回合组织成较短的“片段记忆”,记录谁、在哪里、发生了什么;最上层才是语言模型,它读的是事件与摘要,需要时再回头检索原始片段核对,而不是把整场比赛的像素都放在上下文里。

这样做有一个实际好处:结论可以被追溯。当系统说“这次射门源于一次高位反抢”时,用户或编辑可以点回第 60:27 那个片段去核实,而不是只能相信一段流畅的文字。当然,这一结构仍属于设计与研究方向,具体的分层粒度、记忆保留多久、什么时候需要回查原视频,都还在不同类型的比赛上摸索。

推理越流畅,越要防着它编故事

长上下文推理有一个让人不安的特点:模型的叙述可以非常合理,却与画面并不一致。继续用前面的模拟片段做例子:如果第 60:27 的断球没有被识别出来,模型很可能仍然会写出“这次机会来自一次快速反击”,因为足球比赛里这类因果太常见了,它可以用常识把缺口补上。听起来对,实际上是编的。

我们目前的约束办法有三条:要求推理里引用的每个事件都带时间戳和来源,缺失的环节明确标注“未检测到”,而不是补全;对涉及战术判断的语句,区分“画面中可见的事实”与“基于常见模式的推测”;以及在证据不足时,允许输出更保守的描述,例如只说“射门被扑出”,不追加原因。这些办法只能降低风险,不能消除它,这在比赛视频推理一文里也有更详细的讨论。

还没有解决的问题

最后是几件我们认为仍然开放的事。第一,评价:一段推理是否“正确”,很难只靠自动指标判断,往往需要熟悉比赛的人逐条核对,成本很高。第二,跨项目与跨风格的泛化:足球的因果链与篮球的回合结构不同,业余比赛与职业转播的镜头语言也不同,在一类比赛上有效的上下文长度,换一类未必合适。第三,多机位、回放、广告插入把时间线切得支离破碎,任何依赖“先后顺序”的推理都要先解决这件事。第四,真实使用里最重要的可能是决定“该往回看多远”本身:往回看得太短,丢掉原因;看得太长,又混入无关的信息。

所以我们把这个方向看作一个持续观察的问题,而不是一个已经收尾的功能。长视频模型让“为什么会这样”第一次有了被系统讨论的可能,但让它可信,还需要更多的锚点、更好的追溯,以及对自己不知道的部分保持坦率。