蚂蚁百灵开源Ming-3.0语音系列:覆盖语音合成、音频理解与对话、语音识别
10 小时前 / 阅读约2分钟
来源:凤凰网
蚂蚁百灵开源Ming-3.0语音系列,含语音合成、音频理解与对话、语音识别三系列五款模型,支持文字描述音色、长音频转写分析等,已应用于蚂蚁内部多类业务。

凤凰网科技讯 10月20日,蚂蚁百灵今日宣布开源Ming-3.0语音系列,分别提供语音合成、音频理解与对话、语音识别三个系列,共五款模型。开发者可按任务选择,也可将不同能力组合进自己的工作流。

Ming-3.0-tts系列的Voice Design支持用文字描述目标音色,同时支持参考音频的音色设定。创作者还可以用导演模式说明台词的表演方式,描述情绪变化、重读词及节奏处理。在蚂蚁内部,该模型已应用于阿福App的主对话与语音通话、医生音色克隆、小虎智能办公等多类业务,既可独立承担配音,也可与Ming-3.0-asr-tiny组合,连接语音输入和回答播报环节。

Ming-3.0-audio-flash/tiny支持直接对长音频进行转写、总结和观点分析等复杂理解,并进行结构化输出。相较于传统先转写再分析的流程,该模型能保留对话中的情绪、说话人身份、环境信息等,同时需要对长上下文序列进行快速推理。

Ming-3.0-asr-tiny通过构建普通话、英文、方言、领域热词等高质量语料,结合语言模型基座的上下文理解能力,利用候选热词列表和对话上下文信息,提升真实业务场景的语音识别效果。在蚂蚁内部,该模型已用于阿福医生助手、支付宝搜索、蚁小保实时语音对话和安全核身等场景。