搜索
华为发布开源技术SINQ：可大幅降低大模型硬件需求 一张4090就能跑
5 天前
据报道，华为苏黎世实验室发布了一种新的开源量化方法SINQ（Sinkhorn-Normalized Quantization），该方法可在不牺牲大模型输出质量的前提下减少显存需求。目前，SINQ已在GitHub和Hugging Face上开源，采用Apache 2.0许可协议，允许企业和研究机构免费使用、修改和进行商业部署。
