腾讯混元Hy4正式开源,覆盖四大开源社区
2 小时前 / 阅读约2分钟
来源:凤凰网
腾讯混元11月20日正式开源Hy4多模态模型,采用混合专家架构,总参数量7700亿,每Token激活约490亿参数,支持100万Token上下文窗口,同步发布安全评估System Card,开发者可通过GitHub等平台获取部署。

凤凰网科技讯 (编辑/宋淑美) 11月20日,腾讯混元宣布正式开源Hy4模型,并同步发布Hy4 System Card,披露模型的安全评估方法、测试结果及已知风险。开发者目前可通过GitHub、Hugging Face、ModelScope和GitCode获取相关模型并进行部署。

公开资料显示,Hy4是一款采用混合专家架构的多模态模型,支持文本、图像和视频理解。其语言模型主体总参数量为7700亿,每个Token激活约490亿参数,并支持最长100万Token的上下文窗口。除标准指令模型外,此次开放的版本还包括FP8量化模型及预训练基础模型。

与模型权重一同发布的System Card主要用于说明Hy4在安全性方面的评估情况,为开发者了解模型能力边界及潜在风险提供参考。腾讯混元表示,此举延续其在模型发布过程中同步披露安全评估信息的做法。

随着Hy4开放,腾讯混元目前已经发布的Hy系列大语言模型均已开源,涉及Hy3 preview、Hy3、Hy4 preview、Hy4以及Hy4 flash等版本。其中,Hy4 flash于此前开放模型权重,定位于对推理效率和部署成本要求较高的应用场景。