孟义航

挑战：

当前动作质量评估方法仅仅是预测一个最终分数或者分数分布，忽视了裁判之间分数的分布关系；其次，基于分数分布的方法无法应用到对比回归任务当中。

思路：

• 在原有 I3D 提取视频片段特征后，引入一层 self-attention 用于捕获不同 clip 之间的时序关系；
• 提出新的 score-aware 的解码器，受启发于 DETR 的框架，将每个 query 作为一个分数原型，通过 cross-attention 得到每个分数原型对视频片段的打分，最后计算所有分数分布与 7 个裁判的得分分布的 KL 散度进行训练，学习裁判分数之间的分布关系，加权计算最终得分，更符合实际打分规则；
• 将分数分布学习的范式引入到对比回归框架中，计算样本与示例之间的相对分数分布。

结果：

复现了该领域的大部分工作并进行了充分的消融实验，在单视频回归任务上实现了 SOTA 性能，将分数分布引入到对比回归中进一步刷新纪录。

挑战：

现有工作通常将深度图像作为辅助输入，这可能导致模型无法充分学习模态之间的模态不变信息；其次，图像中大量背景和少量人体信息形成长尾分布问题。

思路：

• 利用深度图像中包含的丰富人体结构信息，将 RGB 图像划分成若干不同的局部组成，通过不同部分的信息交流构建出一个新的伪 RGB 图像作为锚点进行全局、局部以及关键点对比学习；
• 包含丰富人体结构信息的伪 RGB 图像可以有效的引导模型学习不同模态之间关于人体的模态不变信息；
• 深度值将大量背景和人体前景区分开解决图像长尾分布问题。

结果：

在 COCO、Human3.6M、NTURGBD 以及 ITOP 数据集上的下游任务测试中达到了 SOTA 性能。