拳击关卡打得正顺手,一切换到跳跃关卡,屏幕上就弹出一行字:“双脚不在画面内,请后移手机。”玩家有点莫名其妙:刚才出拳明明识别得好好的,跳一下而已,看膝盖不行吗?这个问题背后是体感游戏每天都要面对的现实——摄像头看不到的部位,系统到底还能不能下判断。九游体育的答案不是“能”或“不能”,而是按动作逐个判断:这个动作需要哪些关键点,缺掉的那几个能不能被可靠地补回来。

Camera → Pose → Motion → Game Input → Response

脚为什么总是第一个从画面里消失

在家里玩体感游戏,手机常被靠在茶几上的水杯旁,或者立在电视柜边,镜头位置偏低又略微朝上。这时画面下缘往往刚好切在小腿中间。即使手机放得够远,茶几、沙发扶手、地上的玩具箱也经常挡在玩家和镜头之间,而它们挡住的通常正是脚。

还有一些不那么明显的情况:深色长裤盖住脚踝,鞋子颜色和地板接近,或者房间灯光只照亮了上半身,脚部落在阴影里。对摄像头来说,这些都会让脚部的像素信息变得模糊。

换句话说,脚部数据的质量天然就比肩膀和手臂差,而且差得很不稳定:玩家向前走一步,脚可能刚好进入画面;向后退一步,又被茶几挡住。一套识别方案如果默认脚部数据始终可用,在真实客厅里会频繁出错。

姿态模型不会说“我不知道”,只会给出一个很低的置信度

常见的姿态估计模型会为每个身体关键点同时输出坐标和一个置信度(Confidence)。以 MediaPipe Pose 为例,它输出33个关键点,脚部有脚踝、脚跟和脚尖;COCO 格式的17点模型在脚部则只有脚踝。问题在于,脚被挡住时模型通常仍然会给出一个坐标,只是置信度很低。这个坐标往往看起来“挺合理”,正因为合理,才危险。

所以在姿态层,九游体育不直接使用原始坐标,而是先给每个关键点贴上三种标签之一:

  • 可见:置信度高于门槛,并且和前后几帧的位置连续。
  • 推断:置信度中等,或短暂丢失后可以由相邻帧插值补回。
  • 缺失:置信度持续偏低,或位置在相邻帧之间大幅跳动。

九游体育把门槛按部位分开设置,脚部的门槛比手臂更严格,因为脚部误判带来的评分偏差更大。“位置连续”这条要求同样关键。脚部被遮挡时,猜出来的脚踝坐标常常在几帧之间跳来跳去,即使某一帧的置信度偶然偏高,时间上的不连续也会让它被判为缺失。

一张动作需求表:哪些动作可以不看脚

有了关键点状态,动作层要回答的是:这个动作的判断依赖哪些点?下面是一张示例需求表:

动作 必需关键点 可替代的信号脚不可见时
直拳、勾拳肩、肘、腕不需要 照常识别与评分
侧身闪避 肩、髋 重心可由髋部中点估计照常识别,步伐项不评
开合跳 腕、踝腾空节奏可由髋部起落估计 保留计次,脚部开合幅度(Range of Motion)不评
深蹲 髋、膝、踝 无可靠替代 暂停质量评分
跳跃落地 踝、脚跟、脚尖 高度可由髋部位移估计 只记高度,落地稳定(Stability)不评

为什么深蹲不能“猜”脚踝?因为深蹲的核心判断,比如膝角和膝盖是否内扣,都是膝盖相对于脚的关系。站立时或许可以用校准时的小腿长度估一个脚踝位置,但一旦下蹲,小腿前倾的角度每个人都不同,估出来的脚踝会让膝角误差大到失去意义。跳跃落地也是一样:落地是否稳,要看脚跟和脚尖的着地顺序、双脚是否对称,髋部轨迹只能说明“落下来了”,说明不了“站稳了”。

数据不全时,游戏输入分成三档

动作层的判断结果进入游戏逻辑时,会带上一个完整度标记:

  1. 完整:所有必需关键点可见,正常计次、正常评分。
  2. 部分:可以确认动作发生(Motion Detected),但某些质量项无法评估。计次保留,缺失的评分项标记为“未评估”,不计入总分,也不扣分。
  3. 暂停:连动作是否发生都无法可靠判断。游戏暂停计分,角色保持待机,不给任何惩罚。

这里的原则是:低置信度时不给强烈的错误判断。把一个看不清的深蹲判成“膝盖内扣,扣10分”,比什么都不说糟糕得多,因为玩家会照着一个错误的提示去改动作。

“部分”这一档还要处理一个细节:如果一局里大部分重复都只做了部分评估,结算页会把这一局标为“评估不完整”,不写入长期动作质量记录,避免一段取景不佳的训练拉低玩家的历史曲线。

提示玩家调整摄像头,而不是勉强打分

当必需关键点持续缺失,系统会给出具体提示,而不是笼统的“识别失败”。提示会说明缺的是哪个部位,并给出可操作的建议,例如“双脚在画面外,请把手机向后移动一些,或让镜头稍微朝下倾斜”。画面角落同时显示一个人形轮廓,已识别的部位亮起,缺失的部位变灰,玩家一眼就知道问题在哪。

如果房间条件确实无法拍到全身,玩家也可以选择切换到上半身关卡,比如拳击和上肢节奏训练,这些动作在需求表里不依赖脚部。更多关于取景和站位的讨论,可以参考为什么不能要求玩家总站在画面正中间,以及体育动作识别栏目里的其他文章。

文中门槛与需求表为示例设定,具体动作的判断规则会随关卡调整。动作评分属于游戏化反馈,不是医学评估。