SpeechGPT 2.0-preview – 复旦大学推出的端到端实时语音交互模型

SpeechGPT 2.0-preview是什么

SpeechGPT 2.0-preview 是复旦大学 OpenMOSS 团队推出的拟人化实时交互系统，基于百万小时级中文语音数据训练，采用端到端架构，实现了语音与文本模态的高度融合。模型具有拟人口语化表达、百毫秒级低延迟响应，支持自然流畅的实时打断交互。能精准控制语速、情感、风格和音色，实现智能切换。SpeechGPT 2.0-preview 具备多种语音才艺，如诗歌朗诵、故事讲述、说方言等。

SpeechGPT 2.0-preview的主要功能

情感与风格控制：支持多情感（如虚弱、欢快）、多音色（男女切换）及多风格（诗歌朗诵、方言模仿）的精准控制，角色扮演能力突出。
实时打断交互：百毫秒级响应速度支持自然对话中的即时打断与续接。
文本能力集成：在语音表现力基础上，保留文本模型的智商，支持工具调用、联网搜索、外挂知识库接入等功能。
多任务兼容性：可处理长文档解析、多轮对话等场景，兼容短文本任务的性能未因长上下文能力而降低。

SpeechGPT 2.0-preview的技术原理

端到端语音建模
- 超低比特率流式语音 Codec：自研的超低比特率流式语音 Codec，能够处理 24khz 的语音输入，将语音压缩至每秒 75 个 token，支持流式输入输出，实现 200ms 以内延迟的实时交互。
- 语义-声学联合建模：通过语义-声学联合建模，直接处理语音输入并生成语音或文本输出，无需传统级联式 ASR（语音识别）和 TTS（语音合成）模块。
语音-文本混合建模
- Codec Patchify：通过 Codec Patchify 技术聚合相邻时间步的语音 token 为统一向量，有效减小语音和文本序列之间的模态差异，缓解跨模态建模中的冲突问题。
- 多阶段训练流程：包括模态适应预训练、跨模态指令微调和链式模态微调，兼顾文本能力与语音能力，避免模型在学习语音能力时降低智商。
语音文本对齐预训练：通过充分的语音文本对齐预训练，模型可以“涌现”出语音风格的泛化性，例如无需语速调整数据即可控制语速，或模仿未见过的角色语气风格。
模型架构设计
- 语音文本联合建模：speech-text LLM 会同时输入和输出语音和文本表示，LLM 的隐藏状态同时用于语音和文本的解码任务。
- 多解码头的自回归语言模型：设计了具有多解码头的自回归语言模型作为 patch decoder，能通过自回归方式逐步解码，每次生成一个时间步的多个 RVQ codec token，输出语音。