克服多种捷径的鲁棒视觉问答(VQA-VS)

### 大赛介绍

CCF大数据与计算智能大赛（CCF Big Data & Computing Intelligence Contest，简称CCF BDCI）由中国计算机学会于2013年创办，是大数据与人工智能领域的算法、应用和系统大型挑战赛事。大赛面向重点行业和应用领域征集需求，以前沿技术与行业应用问题为导向，以促进行业发展及产业升级为目标，以众智、众包的方式，汇聚海内外产学研用多方智慧，为社会发现和培养了大量高质量数据人才。

大赛迄今已成功举办九届，累计吸引全球25个国家，1500余所高校、1800余家企事业单位及80余所科研机构的16万余人参与，已成为中国大数据与人工智能领域影响力最广、参赛规模最大、成熟度最高的综合赛事之一。2022年，我们将迎来第十届CCF BDCI，十年磨砺，创新聚力再出发，CCF BDCI将进一步扩大影响力，关注数字经济技术发展与人才培养，助力推动我国大数据技术及产业生态发展。

本赛题为大赛赛题之一，另含算法赛道、自主平台赛道、系统赛道、训练赛道等二十余道竞技及训练赛题，查看全部赛题可点击进入 **[2022 CCF大数据与计算智能大赛（CCF BDCI）](https://www.datafountain.cn/special/BDCI2022)** 官网。

### 赛题介绍

**• 赛题背景**

视觉问答要求机器根据指定的图片和相关的问题给出答案，是一个涉及视觉模态和文本模态的多模态任务。参考人类天生可以将视觉系统和语言系统结合来用，视觉问答作为处于计算机视觉和自然语言处理的交叉点的代表性任务，近年来吸引了越来越多的研究者，成为了人工智能领域的重要研究任务。在工业界，该任务也有着广泛的应用场景，比如帮助视障人士，对机器人的赋能等。

**• 赛题任务**

近年来，研究者们发现现有的视觉问答模型倾向于依赖问题文本和答案之间的捷径(shortcut)，也称为语言偏见(language priors)，即仅根据文本和答案的共现关系就直接给出答案，而不是依赖于综合理解和推理能力。这样的模型在对应的分布外(Out-of-Distribution)数据集上将明显丧失能力。最近，我们发现视觉问答系统不仅仅依赖于语言偏见这一种捷径，还有很多其他捷径存在，同时，我们还发现当前的OOD评测流程中存在一些不规范的设定，如直接用测试集做模型选择。因此，为了更好地评测视觉问答的泛化能力，我们给出了包含针对多种捷径(varying shortcuts)的OOD测试集的新评测基准VQA-VS，同时进一步规范了OOD评测流程，以提供更可靠、可依赖的模型鲁棒性评估能力。

### 赛题合作

**• 出题专家及学生代表**

林政，中国科学院信息工程研究所副研究员

佀庆一，中国科学院信息工程研究所在读博士生

### 赛程规划

该赛题为训练赛，具体赛程安排如下：

> ▪ 2022/10/19，发布赛题，选手可登录大赛官网报名；

> ▪ 2022/10/20，开启初赛线上评测，选手可在线提交结果文件至竞赛平台，每日每队最多可提交3次，测评系统将自动评测得分并同步更新至排行榜。排行榜上将记录选手的最高成绩，相关团队必须自行保存最高成绩作品的源代码以备审核；

> ▪ 2022/12/05（12:00），截止报名组队；

> ▪ 2022/12/09（24:00），截止作品提交；

> ▪ 2022/12/20，获奖名单公示。

备注：

**组队及作品提交请在PC端进行操作；**

以上赛程安排均为北京时间计算，赛程时间根据实际情况有调整的可能。

### 奖项设置

**• 赛题奖项**