搜索
华为周跃峰：UCM将提升推理系统效率和性能
2 周前
/ 阅读约1分钟
来源：C114
8月12日下午，华为正式发布AI推理“黑科技”UCM（推理记忆数据管理器），助力解决AI推理效率与用户体验的难题。华为公司副总裁、数据存储产品线总裁周跃峰表示：UCM是一款以KV Cache（键值缓存）为中心的推理加速套件，融合多类型缓存加速算法工具，可以分级管理推理过程中产生的KV Cache记忆数据，扩大推理上下文窗口，以实现高吞吐、低时延的推理体验，从而降低每个Token（词元）的推理成本。
