多模态会话情感分析

### 大赛介绍

CCF大数据与计算智能大赛（CCF Big Data & Computing Intelligence Contest，简称CCF BDCI）由中国计算机学会于2013年创办，是大数据与人工智能领域的算法、应用和系统大型挑战赛事。大赛面向重点行业和应用领域征集需求，以前沿技术与行业应用问题为导向，以促进行业发展及产业升级为目标，以众智、众包的方式，汇聚海内外产学研用多方智慧，为社会发现和培养了大量高质量数据人才。

大赛迄今已成功举办十届，累计吸引全球25个国家，1500余所高校、1800余家企事业单位及80余所科研机构的18万余人参与，已成为中国大数据与人工智能领域影响力最广、参赛规模最大、成熟度最高的综合赛事之一。

2023年，我们将迎来第十一届CCF BDCI，十余年砥砺革新，持续探索数据价值新优势，构筑良性数据生态氛围，CCF BDCI将进一步扩大影响力，关注数字经济技术发展与人才培养，助力推动我国大数据技术及产业生态发展。

本赛题为大赛赛题之一，查看全部赛题可点击进入 **[2023 CCF大数据与计算智能大赛（CCF BDCI）](https://www.datafountain.cn/special/BDCI2023?preview=true)** 官网。

### 赛题介绍

**• 赛题背景**

随着社交媒体分析、心理医疗、智能客服等行业的快速发展，用户的情感体验成为这些领域关注的焦点。传统的情感分析方法主要依靠人工标注、规则设计等方式获取特征，并结合机器学习算法进行分类。然而，这样的方法存在数据集小、适用性差、泛化能力弱等问题，难以应对多变复杂的应用场景。为了获得更好的性能，融合不同模态的方法至关重要。因此，本次赛题旨在探索基于多模态数据的情绪识别方法，以提高对用户情感体验的理解和分析精度。通过对话情绪识别来提高交互体验的舒适度和自然度，增强人工智能技术的实用性和智能化程度。不仅有助于提高人工智能技术的实用性和可靠性，还可以为多个领域的实际应用提供有力支持。

**• 赛题简介**

随着自然语言处理技术的快速发展，多模态情感识别的研究在人机交互、人工智能等领域有着重要的研究意义,备受研究者关注。在客户服务、智慧医疗、心理健康等领域具有广泛的实际应用价值。如何通过人类情感相关的语音、视觉、文本等数据准确识别人的情感状态，不同模态信息的融合方法至关重要。为促进多模态情感识别研究的进一步发展，推动该技术在实际应用中的落地和普及，实现更加精准、全面和智能的情感分析，需要建立有效稳定的情绪识别模型。相关工作将帮助社交媒体、客服中心、在线教育等领域的企业及机构更好地理解和满足用户需求，提高用户满意度和忠诚度。

**• 赛题任务**

本次赛题旨在通过多模态数据（音频、文本、视频等）对会话情绪进行识别。具体来说，参赛者需要利用给定的特征数据集，通过对三种模态数据的融合，建立稳定的情感识别模型，预测出会话时的情绪状态，包括happy, sad, neutral, angry, excited or frustrated六种情绪类别。

举例说明：假设一个会话场景为一个病人正在和心理医生进行远程心理治疗视频，他们会通过视频图像、语音和文本聊天三种数据形式进行交流。如果其中医生说到了一件让病人感到悲伤的事情，那么病人的语音音调、面部表情以及聊天内容等都可能会发生变化，这些变化就可以被用来推测出该会话的情绪状态。心理医生通过病人情绪状态的反馈，及时调整谈话内容，帮助病人缓解负面情绪，找到适合的治疗方法。

在这个赛题中，难点在于如何将多种不同形式的数据融合起来，同时建模它们之间的相互关系，最终得出准确的情绪识别结果。赛题涉及的数据已经进行预处理操作，并提取出各个模态的数据特征，需要参赛队设计高效算法提升情绪识别性能。

### 赛题合作

• 出题专家及学生代表：

朱小飞，重庆理工大学计算机科学与工程学院副院长，教授

程佳伟，重庆理工大学硕士生（研究方向：自然语言处理）

### 赛程规划

本赛题为训练赛，具体赛程安排如下：

> ▪ 2023年10月14日，发布赛题，选手可登录大赛官网报名。

> ▪ 2023年10月14日-12月09日，开启初赛排行榜，选手可在线提交结果文件至竞赛平台，每日每队最多可提交3