超过四分之三的互联网流量来自流媒体视频，这个数字预计会随着时间的推移而上升。为满足这一需求，互联网服务提供商以更优惠的价格为消费者提供更快的数据速度，某些地区可提供每秒千兆位的数据。
但这些更昂贵的计划是否真的能提高视频流的质量?华尔街日报的一项调查最近在芝加哥大学通信网络性能和安全专家Nick Feamster教授的帮助下回答了这个问题，该合作既为消费者提供了信息，也为科学发展提供了帮助。
故事开始于三年前，记者认为这将是一个简单的问题：更快的速度是否对流媒体视频很重要?为了回答这个问题，他们转向了普林斯顿大学的Feamster，因为他在网络计算机系统方面的专业知识。Feamster的团队开发了可以可靠地测量消费者在家中获得的实际互联网速度的软件系统，这是WSJ调查的一个重要部分。但收集另一半数据 – 这些家庭中流媒体视频服务的性能 – 需要混合系统，机器学习和招聘。
虽然Netflix，亚马逊和YouTube等视频提供商可以收集用户通过其软件获得的质量数据，但ISP和外部研究人员却处于黑暗中。在华尔街日报的帮助下，研究人员招募了60多个家庭，收集了有关其互联网服务的信息，并安装了通过其网络传输的数据监视器。但挑战仍然存在。
“我们基本上是在看无意义的流量;它全都是加密的，我们无法看到任何内容，我们不知何故想知道：用户是否流式传输Netflix视频，如果是，那么分辨率是多少?并且，开始播放需要多长时间?“纽博尔计算机科学教授，数据和计算中心教师主任Feamster说道，他于7月1日加入了UChicago教师。”这是一个有趣且非常具有挑战性的机器学习推理问题。我们看到了一堆加密数据，我们试图弄清楚这个视频的质量 – 不仅仅是’速度’，而是用户实际体验的质量。“
这项工作产生了一份研究论文和一种名为Net Microscope的新工具，它可以从加密数据流中实时推断视频流质量指标，如启动延迟和分辨率。通过从志愿者家庭收集来自200,000多个视频会话的数据，该团队培训了一个模型，该模型可以查看加密数据并确定哪些流来自Netflix，YouTube，Amazon和Twitch，以及最终用户体验的质量。