EmotiMate

项目概述

EmotiMate 是一个集成了情感识别、语音对话、VRM 虚拟人、LLM 大语言模型、RAG 知识库的智能化虚拟人对话系统。系统能够通过语音或文字与用户进行自然交互，实时识别用户情感状态，并通过 VRM 虚拟人展现带有情感色彩的面部表情和语音回应。

竞赛成果

• 全国大学生服务外包创新创业大赛 · 东部赛区三等奖（A22 企业命题赛道）——担任队长，负责系统开发与方案答辩（教育部五星级 A 类赛事，2026）
• 中国大学生计算机设计大赛 · 福建省二等奖（作品《桥韵》，数媒游戏与交互设计-游戏设计赛道）——担任队长，完成玩法开发与整体制作（教育部 A 类赛事，2026）

个人职责

担任队长，负责系统整体架构设计与核心模块开发：

• 整体架构：设计 Python 后端（LLM / TTS / Vision / ASR / FDM / RAG 六大 Handler）+ React 前端的多模态交互架构
• 实时链路：打通「流式 ASR → LLM 流式输出 → 情感 TTS → 音频驱动表情」全链路，语音识别延迟 200ms、LLM 首字延迟 500ms
• 表情驱动：集成 LAM Audio2Expression 与 wav2vec2，实现 58 个 VRM blendshape 的实时面部表情驱动（60fps）
• RAG 知识库：实现心理学 Markdown 知识库的语义检索增强与动态文件管理（上传 / 删除 / 重建索引）

系统架构

┌─────────────────────────────────────────────────────────┐
│                    前端 (React + TypeScript)              │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────────┐  │
│  │  ChatInput  │  │ VoiceInput  │  │ EmotiChatViewer │  │
│  └─────────────┘  └─────────────┘  └─────────────────┘  │
└─────────────────────────────────────────────────────────┘
                          ↕ HTTP/WebSocket
┌─────────────────────────────────────────────────────────┐
│              后端 (Python HTTP Server)                    │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────────┐  │
│  │ LLMHandler  │  │ TTSHandler  │  │  VisionHandler  │  │
│  └─────────────┘  └─────────────┘  └─────────────────┘  │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────────┐  │
│  │ ASRHandler  │  │ FDMHandler  │  │  RAGHandler     │  │
│  └─────────────┘  └─────────────┘  └─────────────────┘  │
└─────────────────────────────────────────────────────────┘
                          ↕
┌─────────────────────────────────────────────────────────┐
│                    模型层                                │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────────┐  │
│  │ Whisper     │  │  LAM        │  │  MiniMax API    │  │
│  │ (ASR 模型)   │  │ (表情生成)  │  │  (LLM/TTS)      │  │
│  └─────────────┘  └─────────────┘  └─────────────────┘  │
└─────────────────────────────────────────────────────────┘

核心特性

多模态交互

• 语音输入: 支持实时流式语音识别（Streaming ASR）
• 文字输入: 传统文字聊天界面
• 情感识别: 通过视觉模型分析用户情感状态
• 语音输出: 带有情感色彩的 TTS 语音合成
• 表情输出: 基于音频的实时面部表情生成（FDM）

VRM 虚拟人

• 支持多种 VRM 模型加载
• 实时面部表情驱动（58 个 blendshape 参数）
• 待机动画系统
• 3D 沉浸式交互界面

LLM 对话引擎

• 支持多种大语言模型（MiniMax-M2.7、MiniMax-M2.5 等）
• 流式对话输出
• 对话历史管理
• RAG 知识库增强

RAG 知识库

• 支持 Markdown 格式知识库
• 语义检索增强
• 心理学专业知识库
• 动态文件管理（上传、删除、重建索引）

环境要求

• Python: 3.10+
• Node.js: 18+
• 内存: 8GB+
• GPU: 推荐（用于加速 ASR 和 FDM 推理）

快速开始

# 克隆项目
git clone https://github.com/Zviolin/EmotiMate.git
cd EmotiMate

# 安装后端依赖
cd python_server
pip install -r requirements.txt

# 安装前端依赖
cd ../web
npm install

# 启动后端服务
python server.py

# 启动前端
npm run dev