搜索
高通：OpenAI最小开源模型gpt-oss-20b可在骁龙终端设备上运行
4 天前
/ 阅读约2分钟
来源：集微网
近期，OpenAI开源其首个推理模型 gpt-oss-20b，这是一个思维链推理模型，可直接在搭载高通（Qualcomm）旗舰级骁龙处理器的PC设备上运行。OpenAI的复杂模型此前一直局限于云端，现在OpenAI首次将其模型开放用于设备端推理。
近期，OpenAI开源其首个推理模型 gpt-oss-20b，这是一个思维链推理模型，可直接在搭载高通（Qualcomm）旗舰级骁龙处理器的PC设备上运行。OpenAI的复杂模型此前一直局限于云端，现在OpenAI首次将其模型开放用于设备端推理。
通过对该模型的早期测试以及与高通AI Engine和Qualcomm AI Stack的集成优化测试，结果显示，该拥有200亿参数的模型非常出色，能够完全在设备上实现思维链推理。
高通表示，这一突破是关键转折点，它预示着AI的未来发展方向——届时即使是功能丰富的AI助手式推理也将在本地运行。随着AI生态系统的成熟度不断提升，合作伙伴和开发者可以通过骁龙处理器实时利用OpenAI等领先企业的开源创新。OpenAI的 gpt-oss-20b将使设备能够利用设备端推理，在隐私和延迟方面提供优势，同时通过AI代理补充云解决方案。
开发者将能够通过Hugging Face和Ollama等热门平台在搭载骁龙的设备上访问该模型并利用其功能，更多部署细节即将在Qualcomm AI Hub上发布。
通过将Ollama的轻量级开源LLM服务框架与强大的骁龙平台相结合，开发者和企业可以直接在搭载骁龙计算平台的设备上运行 gpt-oss-20b，并运行网页搜索和其他一些开箱即用的默认功能。用户还可以探索Ollama上的Turbo模式，探索该模型的更多功能。
未来几年，随着移动内存占用的不断增长以及软件堆栈的效率不断提高，设备端AI能力有望快速提升，从而为私密、低延迟、个性化的代理体验打开大门。（校对/李梅）
