具有多模态能力的客服智能体设计

## 赛题背景

  多模态客服智能体是提升用户体验的核心方向，需解决多模态信息理解不准、幻觉回答等痛点。本赛道聚焦“多模态感知-精准理解-知识增强”全链路，要求学生设计具备多模态对话理解、RAG知识增强、多轮对话与幻觉抑制，为产业级客服系统提供技术储备。

## 赛题任务

  参赛团队需基于举办方提供的材料构建知识库，设计实现多模态客服智能体，智能体可以针对用户的问题（赛题）查询知识库，最终给出合理的回答。

  （一）该智能体需具备以下能力：多模态理解：顾客的问题和图片，准确全面地识别当前用户意图。

  （二）RAG库设计：构建多模态使用手册知识库（使用手册+手册插图），针对用户问题，精准返回手册中对应的内容和相关配图。

  （三）多轮对话与幻觉抑制：通过思维链拆解复杂问题，针对用户一次提问的多个问题，能够拆分清楚且一一作答。

  （四）多模态对话理解增强：必要时基于多模态对话数据微调通用大模型，提升精准识别需求与生成自然丰富回复的能力。

## 赛程安排

  1.报名组队：2026年3月16日-2026年6月20日 24：00

  2.初赛结果提交：2026年3月23日-2026年6月20日 24：00

  A榜开放时间：2026年3月23日

  B榜开放时间：2026年6月20日 9：00

  3.初赛结果评审：2026年6月21日-2026年7月5日

  4.决赛名单公布：2026年7月6日

  5.决赛线上内容准备及作品优化：2026年7月7日-2026年8月中下旬（具体时间另行通知）

  6.线下决赛：2026年8月中下旬（具体时间地点另行通知）

## 赛题支持

  （一）知识库资料：20万字以上的说明书及相关插图文件；

  （二）赛题：采用AB榜单形式，用户询问客服问题，共计400道；

  （三）验证工具：LLM裁判（参赛者提交答题文件后，对提交内容打分）评分维度：回答整体质量，具体打分规则：

  1 分，质量差：回答未回应问题，结构混乱或缺失，图片无关或无帮助。

  2 分，质量一般：回答部分回应问题，但不完整；结构较弱，图文结合较差或仅部分有帮助。

  3 分，质量中等：回答回应了问题，但缺乏深度；结构清晰但可优化；图片有一定帮助，但未充分提升理解。

  4 分，质量良好：回答清晰、较为全面；结构逻辑清晰、组织合理，图片有助于理解文本。

  5 分，质量优秀：回答详细、有深度；结构严谨连贯，图片与文本完美互补，显著提升理解效果。

  问题样例及答案：

id

question

ret

1

"我的DCB107或DCB112型号电钻指示灯闪烁时，这些闪烁标识代表什么含义？"

"DCB107、DCB112 电池组充电中 电池组已充满 过热/过冷延迟 ",["drill0_04", "drill0_05", "drill0_06"]

2

"我想更换健身追踪器的表带，