hotcloud的短文,现在的视频流传输的方案对服务器端的视频分析模型是无感知的,视频分析的视频流传输方案的目的是在带宽限制下,适当用一些降分辨率和抽帧的方法,达到最高的推理准确率。旧的视频流传输方案大多面对的是人的观看体验,而视频分析要求推理准确率高。
文章提出,因为低质量的视频中能知道一些大概的信息,所以可以先发低质量视频,服务器再决定哪里需要补充。用一个叫Superposition Coding的叠加编码,先发一些基本的低质量视频,再按需要补充帧和高分辨率,模型需要分辨出什么region看得不够清楚,需要分辨出两个帧之间是否有遗漏的信息,可以把这个过程看成主动学习,通过尽可能少的帧达到一定的准确率,设定每帧预测的deadline,提前退出。
论文给的idea,client端和server端更好的集成,为特定推理任务定制策略。