机的市场。这样做的明显原因之一就是硬件的改进-例如，更好，更高分辨率的传感器和更快的处理器。但是，固件和软件算法的改进并不那么明显，它们可以驱动相机并处理捕获的帧。
Imint是您可能从未听说过的一家公司，它在许多几乎不可思议的过程中处于背后。他们以Vidhance产品线的形式向大多数全球最大的智能手机制造商提供视频处理技术。它嵌入在数亿个设备中，因此您可能已经在利用它了。我们有机会与Vidhance的开发人员之一OlofBjörck一起度过了一段时间，并使用了他们的演示电话和应用程序对，以更深入地了解公司的运作方式和运作方式。
视频的涡轮增压光学图像稳定
光学稳定技术(OIS)被证明是有效的方法，可最大程度地减少静态图像中相机轻微运动造成的模糊。不幸的是，这只是视频解决方案的一部分。首先，摄像头组件只能移动有限的量，因此，如果需要在同一方向上反复进行校正，则在某个时候它必须停止或重置。这会导致图像抖动。另外，由于智能手机OIS中实现的转换通常仅左右左右移动，因此会产生额外的镜头失真。
Vidhance提供了一种电子图像稳定(EIS)系统，该系统可以在有和没有OIS硬件的情况下都可以工作。与OIS结合使用时，它会从电话接收班次信息以及IMU数据，并将其用作EIS系统的输入及其失真校正代码。即使没有OIS，Vidhance也会有一些有趣的技巧，例如自适应ISO，这样，在运动更多或更少的情况下，快门速度也会更快。您可以在Imint提供的此示例视频中看到它在工作：
地平线校正稳定
拥有演示设备的有趣之处之一是，我可以启用或修改特定的视频功能并查看其效果，而标准电话不同于OEM可能已经以特定方式将其连接起来的标准电话。例如，Vidhance提供的稳定器模式之一是水平校正。它会达到您的期望，并在记录时尝试将其估计的值保持为水平。我可以看到在行驶中的车辆拍摄时稳定的镜头有明显的不同。地平线校正对于从船头或无人机拍摄的旅行视频特别有用。我完全希望在某些情况下，我拥有的许多电话(甚至是无人机)都可以启用该技术，但是要明确了解它可以做什么是很容易的。
多台摄像机还为录制视频带来了独特的挑战
就像拥有OIS一样，在智能手机上拥有多个摄像头对于静止图像拍摄来说无疑是一个优势。但是，对于录制视频，这可能是好坏参半。如果在缩放视频时电话在广角，标准和远摄相机模块之间切换，则存在很多潜在问题。首先，相机的对齐方式不同，因此即使校正正确，也需要校正偏移量。接下来，它们具有具有不同光学特性的不同镜片，因此需要进行校正以确保外观一致。而且，它们使用不同的传感器，因此色调和色彩响应将不同。Vidhance的稳定器技术通过在工作时执行自动校准并解决对准和镜头变形问题来解决其中的前两个问题。
视频从临时降噪中受益
与捕获单个静止帧相比，视频具有一种自然的优势。通过比较连续帧的内容，可以进一步减少噪声。以其最简单的形式，如果像素的值在一帧中与周围帧中的值略有偏离，则它很可能是噪声并且可以被平滑。这种技术，即“临时降噪(TNR)”是如此强大，以至于现在它甚至可以通过捕获单个图像的多个帧而用于许多静止图像摄像机。现在，从高端的RED到大多数旗舰智能手机的各种型号中都可以找到它。TNR的缺点是它需要在帧之间进行对齐和像素映射，因此随着处理能力的提高，在相机内执行该操作才变得切实可行。
您可以在此示例剪辑中看到TNR的好处。 例如，比较门的左侧和右侧。
您可以在此示例剪辑中看到减少暂时性噪声(TNR)的好处。例如，比较门的左侧和右侧。
那么电话OEM如何整合这些工具?
对于开发人员来说，这可能是显而易见的，但对于好奇的人，以下是将这种或大多数其他技术集成到智能手机中的过程的粗略概述。首先，OEM许可开发人员工具集(通常称为SDK)，使它能够开发和模拟Vidhance在其设备中的性能。然后，他们使用一组针对他们正在使用的OS和芯片组的预先构建的库来构建软件(既可以在运行时加载软件，也可以刻录到固件中)。一旦完成，通常会进行一个测试和通过调整进行迭代改进的周期。例如，Imint明确销售服务以帮助客户OEM提高其DxOMark Video分数。
OEM可以为他们的Android和Linux设计获得Vidhance工具，这些工具是针对大多数流行芯片组预先构建的
实时视频稳定的利与弊
从表面上看，通过访问设备元数据(例如传感器，镜头和IMU数据)执行视频稳定化似乎是最好的方法。但是，有一种说法认为，在许多情况下，云中的后处理可以做得更好。首先，云具有更多的处理能力，其次，它可以使用“未来”帧来稳定当前帧，因为它可以访问整个记录。这就是Google当时为YouTube带来突破性的视频稳定性如此出色的原因之一。
总体而言，随着电话变得越来越强大，并且像Vidhance这样的软件在实时集成电话元数据方面做得更好，其优势将继续转向在电话中进行稳定化。当然，您可以立即访问稳定的素材以进行流式传输或共享，而不必等待云进行处理。
万向节仍然很重要
从所有这些手机内选项来看，它们都没有消除拥有真正的云台的优势。如果您是从船或汽车等移动平台上进行拍摄，则尤其如此。但是，万向节增加了录制过程的成本和复杂性，因此业界不断创新内置解决方案非常好。