近日,阿里云机器学习PAI团队发布一键端侧超分工具,可实现在设备和网络带宽不变的情况下,将移动端视频分辨率提升1倍,最高可增强至1440p,将大幅提升终端用户的观看体验,该技术目前已在优酷、夸克、UC浏览器等多个APP中广泛应用。

观看上图不难发现,左侧画面和右侧画面的清晰度有极大差别。事实上,两侧画面的视频播放源完全相同,区别在于右侧画面使用了特殊的“一键超分”工具,从而实现清晰度从540p到1080p的华丽转身。

超分,即“超分辨率”,是指通过深度学习方式将低分辨率图片或视频的清晰度提高,获得更高分辨率,进而达到更好的观看体验和识别准确率。通过特殊的卷积神经网络(CNN)对已知的高分辨率资源进行学习,即可实现对任意低分辨率图像和视频资源进行超分处理的模型。

在移动互联网普及并成为主流的今天,用户对“上网冲浪”的体验愈加关注,更快速、更高清也成为APP开发者们不懈的追求。在“更高清”这个方向,纯软件化的优化方案——端侧超分进入开发者的视野:通过在手机、平板电脑等移动设备上运行超分算法,弥补设备硬件、网络带宽、原始素材等客观条件限制,进而获得高画质的图像和视频。但是,受制于端侧算力、设备兼容等问题,端侧超分方案规模化落地并不像想象中简单。

阿里云机器学习 PAI 团队近日发布搭载 PAI-AISR 模型的一键端侧超分工具,通过对模型进行量化剪枝等加速优化、以及对端侧多设备(CPU/GPU/NPU)进行异构计算和内存I/O优化等,具备以下优势:

· 超高画质体验:在移动端可将视频分辨率增强至最高1440p,同时进行锯齿和底噪抑制、色彩增强等提升,极大改善观看体验。

· 体积小,易适配:PAI-AISR 算法最低只需要 50KB,不占空间;功耗低至每小时50-100ma。

· 低延迟,高帧率:低至 20ms 以内的处理延迟,以及高达 30 fps 的帧率,适用于直播、短视频、视频通话、实时监控等各种场景。

· 多平台多机型兼容:支持跨平台使用,在 iOS 系统和安卓系统环境下均无缝连接,甚至在 IoT 设备(如摄像头、电视机、视频会议设备等)均可平稳支持。

· 数据格式兼容:支持所有主流图片和视频格式。

对移动APP开发者来说,PAI端侧一键超分工具主要具备以下两点价值。首先,使用端侧超分可以减少数据下发过程中CDN的消耗,实现降本提效。其次,当客户端网络不稳定或者带宽受限(例如处于3G状态下,或者处于地铁、电梯等信号不稳定的环境中),导致视频播放卡顿时,端侧超分技术可以让终端用户的浏览体验更顺滑。同时由于整个推理过程在端侧进行,避免了云端推理成本高、时延长等问题的出现。

目前,PAI一键端侧超分方案已经在优酷、夸克、UC浏览器等多个移动应用成功落地,在不断提升终端用户体验的同时,带来应用研发效率的提升。