安卓平台首个 4K 电影人像模式,vivo在造芯之路上一骑绝尘

1 个月前

如今越来越多人使用手机记录生活,随之而来的是用户对手机拍摄体验的关注度提升。影像能力已成为智能手机的重要技术高地之一,各手机厂商积极布局。

深耕影像领域十年的vivo 是其中的关键代表:2014年,vivo发布全球首款具备F/1.8超大光圈和光学防抖的智能手机XShot,是vivo 开始向影像方向发展的有力证明。2016年, vivo将品牌副标识从“HiFi & Smart”更换为“Music & Camera”,代表影像成为了vivo重点发力方向之一。

2019年,vivo确立了设计、影像、系统、性能四个长赛道。正是这一年,vivo开始走上自研芯片之路,持续投入影像赛道,从自研影像芯片V1到V2,做出良好口碑的X80、X90系列,再到最新推出6nm 制程的V3,可以看到vivo着眼长期技术创新,持续来打造软硬件底层核心竞争力,夯实影像长赛道。

瞄准独立影像芯片赛道,长远布局

早在2017年,vivo X9s Plus 搭载和高通合作的独立 DSP 影像优化芯片。但如何更好地将主动权掌握在自己的手里?通过自研芯片,将vivo众多优秀的自研算法放在硬件里,带来极致算力与能效比,将“原来不可能的事成为可能”,来打造最可靠的护城河。

据vivo内部的芯片专家表示, 目前阶段 vivo 的芯片战略不是做大型的Soc,而是专注做自己擅长的、具有 vivo 特色和差异化的功能。

因此vivo紧锣密鼓地布局影像芯片:2019 年底,手机行业开始进入高帧率时代,用户对于移动影像和性能的要求有所提高,不局限于拍出清晰的影像,而是进一步期待获得更专业的摄影体验。洞察这些需求后,vivo想打造一颗影像+显示增强类的外挂芯片。

历时2年多、投入超300人的研发力量,2021年vivo自研出第一颗自研专业影像芯片V1。V1芯片拥有高性能、低功耗、低延时的特性,拥有实时对游戏降噪插帧的能力以及“黑光夜视”功能,在一些固定算法上可降低约50%的功耗。由vivo X70系列首发搭载,上市后获得了良好的市场反响。

2022年4月,vivo推出“V1+”版本,搭乘在vivo X80系列。在影像上,针对夜景视频进行更精细化调优,让手机达到专业级“夜视仪”的水准。还做到一“芯”二用,在游戏体验上,支持多款游戏插帧实现144帧,同时降低功耗。

V1、V1+芯片有效验证了V系列自研芯片的巨大潜力,紧接着在同年11月,vivo发布V2芯片,采用全新AI-ISP架构,片上内存单元、AI 计算单元、图像处理单元大幅提升,更创新打造 FIT双芯互联技术,在vivo X90系列、vivo X Fold2、iQOO11系列搭载V2芯片,和Soc芯片组成“旗舰双芯”。

7月30日,vivo发布了全新一代 V3影像芯片,成为国内手机的重要里程碑。V3 采用 6nm 制程,能效比提升 30%。搭配多并发AI感知ISP架构和第二代 FIT互联系统,V3 有效降低功耗,并显著提升效果。V3带来了安卓平台首个 4K 电影人像视频模式,全自动主题焦点检测切换,实现电影机肤质优化和色彩处理。vivo成为首个实现安卓平台 4K 级的拍后编辑功能的手机厂商。

为何vivo要投入巨大来做独立影像芯片?只为了给用户极致的影像体验。

原来没有独立芯片时,各类影像算法放在SoC、NPU上跑,占用其运算单元,并产生高功耗和发热,难以长时间运算。vivo通过全新设计的多并发AI感知-ISP架构和第二代FIT互联系统,选择一部分算力要求较高的算法“硬化”到V3上,SoC、NPU上只跑一些适合它们的算法,这样一来,两者协同运算将会极大的降低功耗,再加上V3的6nm制程加持,使之前因功耗等原因无法做到同时开启的一些算法功能实现了长时间同时开启。充分利用两个芯片的算力,实现高速协同计算,实现1+1算力大于2,但功耗小于2的效果。

这意味着处理器配合V3芯片,可以加快像素处理速度,用户体验会更好,所以上文说V3是国内手机的“里程碑”。回顾vivo自研芯片历程,始终坚持以用户导向的产品体验为原点,在用户场景和自研技术双轮驱动下,不断探索和突破,铸造了V系列自研芯片的成功。

自适应DCG-HDR技术,持续发力移动影像

除了打造 “外挂式”的芯片利器外,为了给用户提供更为出色的HDR视频拍摄体验,在7月芯片行业知名的VLSI电路与技术研讨会上,vivo提出全新的自适应DCG-HDR技术,提高HDR视频拍摄效果同时大幅降低功耗,该技术在不久的将来可通过定制CMOS底层芯片而实现。

在摄影中有个词叫“动态范围”,代表相机在从最暗到最亮部分所能捕捉到的数据量。在显示器、手机、平板电脑等设备上,高清影像通过高动态范围HDR技术将不同的曝光程度照片自动合成一张来展现。

我们在使用手机拍摄视频时,如果没有HDR,成像效果和自己眼睛所看到的会有一定的差距。而打开HDR模式拍摄视频时,功耗会大幅提升。目前基于图像传感器的移动端HDR技术基本都是通过调节敏感度(ISO)及曝光时间来实现HDR视频拍摄。其思路是采用多次读取,然后合成,导致功耗增加。

自适应DCG-HDR技术通过仿人眼视觉的逐像素自适应调制功能,植入图像传感器芯片中的自研IP实现,每帧只需读取一次像素信息即可实现自适应DCG-HDR技术,从而大幅降低HDR视频录制时的功耗,适用于夜景、晴天户外,夜光人像等复杂场景的视频录制。

由此可见,随着用户对影像期待值的不断提高,vivo秉承以用户体验为导向,不仅通过自研V系列芯片的迭代升级,还投入打磨前沿影像技术,全链路不断赋能移动影像创新。

软硬件协同,推动创新

除了硬件外,移动影像的发展离不开算法算法在提供高质量图像和视频体验、压缩和编码、增强和处理、分析和识别等方面起到了重要作用。

vivo对自研算法进行全面升级,打造强大的软硬件协同能力。目前,vivo自研算法矩阵包括1个引擎(vivo原像引擎VOIE)和2大系统(超感人像系统、苍穹夜景系统,覆盖不同的应用场景。vivo原像引擎从超清画质、臻彩还原、算力加速三个子模块全面构建底层基础算法能力,超感人像系统、苍穹夜景系统则基于“真实世界-成像系统-后处理算法”移动影像理论体系,结合人像和夜景的核心用户场景打造而成。

正所谓 “独行快,众行远”,vivo 坚持自主研发+联合研发双轮驱动,积极与SoC平台厂商联合创新,如首发三星GN1、在X80系列中与联发科进行合作、联合索尼推出VCS仿生光谱技术、与高通8Gen2进行双芯联动,实现了4K芯片级“夜视仪”效果。并将一些优秀算法、经过用户验证的功能给SoC平台厂商做优化,从而促进共同成长。

造芯不易,坚持长期主义

vivo 瞄准影像赛道,基于10年软硬件的积累,实力不容小觑, 从V1到V3自研芯片,再到创新算法、优化用户体验等来看,vivo将复杂留给自己,让用户便捷地带来专业的移动摄像体验,打造“人性化的专业影像”,实现和用户的“双向奔赴”: 据Canalys发布的2023年第二季度中国智能手机市场报告显示,vivo市场份额稳居首位。

当前处于经济存量时代,消费者换机周期延长,移动影像作为用户关注度最高的功能,各家手机厂商都在“卷”,自研芯片成为新的突围方向,同时也存在巨大挑战。因为芯片本身的复杂性决定这是一个长期投入巨大的人力、资金的方向,想取得芯片的成功绝非一日之功。加上大环境的不确定性,如华为芯片受阻、OPPO收缩哲库业务线,造芯之路并不好走。但不管如何,为中国手机行业的出路不断尝试、勇于创新、努力前行的企业,都是值得尊敬的。而vivo等无惧挑战,坚持“死磕”芯片技术,打造差异化产品的企业,未来我们也有许多的期待。

发布于 2023-08-04 15:10 ・IP 属地江苏