体育精彩检测开始重新重视“声音”：半岛体育观察音视频融合的新变化

一个被剪辑师默认、却被算法忽略很久的常识

有过剪辑经验的人都知道，看比赛录像时，不少精彩片段并不是“看”出来的，而是“听”出来的。看台的声浪突然抬高，解说员的语速一下子变快，哨声在某个动作之后骤然响起，这些信息往往比画面里的球位变化更早告诉你：这里要留。

可是相当长一段时间里，自动精彩检测的重心几乎都在画面上：检测球员、球、进球瞬间，再靠比分变化做筛选。声音通常被当成可有可无的辅助特征，甚至直接丢掉。近期公开的研究里，这个默认做法正在被重新审视。我们把这类变化视为值得记录的行业动态，也借这个机会整理自己的判断。

近期研究里发生了什么

笼统地说，有三点变化比较一致。第一，研究者开始认真测试“只用音频”能走多远，结果是简单的纯音频基线并不弱，在不少设定下明显好于人们的直觉。第二，把音频和视频做直接的融合，即便方式很朴素，通常也比单用其中一种更稳。第三，声音内部并不是均匀的：带有解说人声的音轨，往往比只含现场环境声的音轨携带更多与精彩相关的信息，因为解说员本来就在替观众做“这里重要”的判断。

这些结论我们只作概括引用，不复述具体数字，也不点名某一项工作。原因很简单：不同数据集的赛事类型、转播风格、标注方式差别很大，数字换一个场景就未必成立。真正可迁移的是方向，而不是数值。

三类声音，各自说了什么

把“声音”当成一个整体是最容易出问题的地方。在我们的处理里，它至少被拆成三类，各自的可靠性和用途不同。

这个拆分的价值在于，可以让不同来源的声音在系统里担任不同角色。观众声浪适合提示“这附近有事”，哨声适合给出边界，解说语气更适合帮助判断“重要到什么程度”。混在一起当作一个音量曲线，反而把这些区别抹平了。

声音为什么不能单独做决定

下面是一个模拟场景，用来说明只看声音会出什么错，数字与时间均为示例，并非真实比赛数据。

这个例子同时暴露了两类错误：高音量却没有精彩的误报，以及精彩却没有高音量的漏报。前者可以靠视觉事件确认压下去，后者则要求系统保留一条不依赖声音的通道。这也是我们在音频精彩检测一文里反复强调“大声音不等于精彩”的原因。

还有一个更隐蔽的问题：转播混音本身会变化。同一场比赛里，导播切到不同机位、调整麦克风增益时，声音的整体电平都会抖动。如果直接拿绝对音量做判断，实际上是在测量导播的操作习惯，而不是比赛。

半岛体育的取舍：声音提候选，画面来确认

我们目前更稳妥的做法，是把声音放在流程前段的“候选提出”环节，而不是最终裁决。大致的思路如下。

• 声音信号先给出一批候选时间点，判断标准是相对变化，而不是绝对音量，以降低混音与场馆差异的影响。
• 候选点交给视觉事件模型确认：附近有没有射门、扑救、抢断、快速转换这类可识别的事件，以及回合是否在延续。
• 片段的起止边界由视觉与哨声共同决定，尽量保留事件之前的铺垫，这一部分在精彩检测的整体思路里有更完整的说明。
• 另设一条不依赖声音的通道，专门检查扑救、防守、长回合这类“不吵闹”的精彩，避免整个系统偏向热闹。

这一套目前属于设计与研究方向，具体阈值和权重仍在不同类型的比赛录像上反复调整。我们不会声称它在所有赛事上都稳定，更不会给出一个笼统的准确率。

还没有解决的几件事

坦率地说，声音的价值被重新发现之后，麻烦也随之而来。

其一是跨赛事的声学差异。同样是一次精彩防守，在露天大场馆、封闭小球馆和无观众的比赛里，声音特征几乎是三种分布。为一种场景调好的规则，搬到另一种场景常常失效。其二是无观众或观众很少的比赛，此时观众声浪这条线索基本消失，系统只能更多依赖解说与视觉。其三是多语种与不同转播风格：有的解说员平静克制，关键时刻也不抬高声调，语气变化不能被机械地当作重要程度。其四是业余场景，比如手机拍摄的训练赛，没有解说、没有混音，环境噪声又杂，声音信号的信噪比本来就低，这一点也直接影响了自动剪辑找错高潮的排查思路。

还有一个评价层面的困难：什么算“精彩”本身带有主观成分。同一段回合，有人觉得值得留，有人觉得冗长。声音能提供群体反应的代理信号，但它反映的是现场观众的偏好，未必等于观看剪辑的用户的偏好。

接下来会继续盯着什么

我们会继续留意几个方向：音频与视觉在时间上更细的对齐方式，也就是声音反应比画面事件晚多少、早多少；解说文本经过语音识别后，能否作为语义线索与声学线索互相校验；以及“语义精彩度”的判断怎样从只看得分事件，扩展到防守、扑救和关键失误。

对做剪辑的人来说，一个务实的结论是：不要迷信音量曲线，也不要因为它不可靠就完全弃用。把声音当作一个会说话、但偶尔会说错的目击者，问它“哪里可能有事”，再用画面去核对，比让它直接下结论要可靠得多。