搜索
苹果携手复旦大学推 StreamBridge 端侧视频大语言模型框架，AI 可实时响应视频流
1 周前
苹果公司与复旦大学合作推出了StreamBridge端侧视频大语言模型框架，旨在提升AI对直播流视频的理解能力。该框架通过采用内存缓冲区和轮次衰减压缩策略，解决了多轮实时理解和主动响应的难题。同时，它引入了一个轻量级的独立激活模型，并配套了包含60万个样本的Stream-IT数据集。测试结果显示，Qwen2-VL等主流视频大语言模型在StreamBridge框架下的性能显著提升，超越了部分专有模型。这一突破为实时视频流分析领域提供了新的技术解决方案。
