荣耀Magic V5实现设备端实时AI通话翻译,守护隐私安全
4 天前 / 阅读约4分钟
来源:CNET
荣耀Magic V5支持设备端实时AI通话翻译,无需云端处理。该功能基于与上海交通大学合作设计的模型,由高通骁龙8 Elite芯片支持,保证了翻译的准确性和隐私保护。

荣耀Magic V5支持设备端实时AI通话翻译,无需云端处理。

“Hola! ¿Hablas inglés?” 我向巴塞罗那餐厅接电话的女士询问道。

当时,我正试图为CNET团队在今年的世界移动通信大会上预订晚餐,却无功而返。遗憾的是,我不会说西班牙语(我在学校学的是法语和德语),而她也同样不会英语。

“No!” 她回答后,便粗鲁地挂断了电话。

那一刻,我多么希望能拥有在手机上日益普及的AI通话翻译功能——这一功能已应用于三星、谷歌等品牌的手机,并将在下周发布的荣耀新机上亮相。

荣耀将在8月28日于伦敦举行的发布会上推出其Magic V5折叠屏手机,这款手机搭载了公司自称的“行业首款设备端大型语音模型”。该模型能实现设备上的实时AI通话翻译,无需依赖云端处理。

目前,该手机支持六种语言:英语、中文、法语、德语、意大利语和西班牙语。尽管我无法测试所有语言,但已亲身体验过该功能,它能高效地将我的杂乱信息翻译成法语。只是遗憾,我在西班牙时未能拥有这一功能。

荣耀产品总裁费方在采访中透露,荣耀部署的模型基于开源Whisper模型,由荣耀与上海交通大学合作设计。该模型针对流式语音识别、自动语言检测和翻译推理加速(即速度和效率)进行了优化。

费方介绍,荣耀的用户体验研究表明,只要翻译在1.5秒内完成,就不会让用户在使用AI通话翻译时感到“等待焦虑”。因此,荣耀确保延迟保持在这一范围内,让用户无需因等待翻译而焦虑。

她补充说:“我们还与行业语言专家合作,持续、全面地评估输出准确性。评估主要基于五个指标:准确性、逻辑连贯性、可读性、语法正确性和简洁性。”

除了荣耀的AI模型外,实时翻译还得益于高通骁龙8 Elite芯片的支持。8 Elite的NPU允许将多模态生成式AI应用程序集成到设备上。高通移动手机高级副总裁克里斯托弗·帕特里克表示,荣耀的算法与NPU协同工作,在保持翻译准确性的同时,尽可能降低功耗。

将AI模型嵌入Magic V5带来了诸多好处,其中最引人注目的是其保证的隐私安全。这意味着所有内容均在本地处理,通话完全保密。模型存储在设备上,无需下载语音包,从而减少了存储需求。

帕特里克指出,在手机上运行该模型的另一个优势是“离线可用性”。“所有对话信息直接存储在设备上,用户可随时随地访问,不受网络限制。”

荣耀在AI通话翻译领域的努力将在即将举行的国际语音通信协会语音科学与技术会议上获得认可。但荣耀已在思考如何利用这种AI技术为手机用户启用其他新功能和令人兴奋的特性。

费方表示:“除了基本的通话翻译场景外,荣耀的设备端大型语音模型还将应用于面对面翻译、AI字幕等场景。”她补充说,开发语音模型的过程使荣耀AI团队积累了丰富的模型优化经验,这将有助于开发其他AI应用程序。

“展望未来,我们将继续拓展情感识别、健康监测等领域的能力,进一步增强与设备端AI助手的语音交互。”她说道。