2022-10-28 11:36:04来源:zehong
按照vivo X系列以往的发布节奏,距离全新一代X90系列的发布应该不远了。就在10月24日,vivo举办了一场影像战略发布会,有趣的是,发布会没有明确提任何X90的相关信息,但却用“下一代”疯狂指代该系列新机。
提炼一下,关于“下一代”的影像,vivo新机有这些升级:
1、 更大底的CMOS,感光能力提升77%
2、 传感器信噪比提升20%,色彩还原提升15%
3、 长焦镜头解析力提升64%
4、 新一代自研影像芯片从ISP升级为AI-ISP
当然也少不了一些算法技术的加持:
1、 臻彩还原引擎、超清画质引擎、算力加速引擎
2、 环境理解技术
3、 苍穹夜景系统
4、 超感人像系统
硬件大升级,CMOS有望1英寸
此前网上就曾有曝光,vivo X90系列将搭载1英寸超大尺寸CMOS。此次发布会vivo明示,下一代主摄CMOS比GNV传感器感光能力提升77%。
要知道,GNV已经是一颗1/1.3英寸的大尺寸传感器了,感光能力提升这么多,尺寸提升小应该实现不了,很有可能就是一颗1英寸的大底。目前有传闻称CMOS可能是索尼的IMX989,但没有明确证据。
除了大底以外,vivo还发布了一项可以更好控制图像噪声表现和色彩还原的“VCS仿生光谱技术”。这里我们引用一下vivo官方的技术资料——
“光线在进入感光元件时,会先通过color filter,而普通图像传感器的color filter光谱与人眼差异很大,需要经过复杂处理后,才能还原人眼所感知的信息,这个处理过程会导致画质变差。
VCS技术,就是通过改进color filter,让传感器接收的原始信息不断接近人眼,从而实现更好的噪声表现和色彩还原,信噪比提升20%, 色彩还原提升15%。”
值得注意的是,这两个提升的数值对比的是vivo X80搭载的IMX866,这或许意味着VCS仿生光谱技术是应用在X90普通版本上的技术。
长焦的升级也是下一代机型的一大亮点,毕竟解析力能一下提升60%以上。值得注意的是,这里有几个关键词——“光学超分算法、配合下一代产品的长焦镜头、5X以上焦段”。
什么是光学超分算法?我们继续引用一下vivo官方的技术资料:
由于手机体积限制,潜望摄像头原始图像经过镜头之后会损失50%的信息。vivo研发的“光学超分算法”通过对镜头的缺陷做建模分析,可以恢复了约35%的损失信息。
此外,vivo耦合了Denoise、Demosaic、Deblur等模块,经过1亿多次的场景训练,将上一代算法深度运算能力提升10倍,构建了全新的超清画质引擎,将画质处理从单点方案,升级为系统性的AI解决方案。
剩下两个关键词就比较好理解了,这或许意味着X90上将搭载升级的长焦镜头,长焦镜头至少有5倍光学变焦的能力。
最后比较显著的升级就是下一代的自研影像芯片。vivo自研的V1芯片我们已经比较熟悉了,它属于ISP芯片,用以扩充成像算力,释放主芯片ISP负载,同时服务拍照和录像的需求,还能当成独显芯片来用。下一代自研芯片vivo并没有给出明确的命名,但明确了是从ISP升级到了AI-ISP。
我们仍引用一段vivo的官方资料来解释AI-ISP——
“传统ISP能以极低延时处理大量的数据流水,但是只能解决已知的、特定的问题。AI擅长处理复杂的、未知的问题,但是延时较大。
AI-ISP结合两者的优势,相当于给传统ISP芯片加一个新的AI大脑,这个AI大脑的神经元分布是网状结构的,更适合海量的发散式信息处理。相比于传统的架构,AI-ISP能够通过硬件直连的方式将AI计算直接融入ISP Pipeline中,完成数据的无缝缓冲和处理,处理能力、处理能效都有大幅提升。
基于AI-ISP这个架构革新,vivo在下一代自研芯片上实现了三大突破:片上内存单元的突破、AI计算单元的突破、图像处理单元的突破。”
通俗地说,AI-ISP运算可以更快延迟更低(数据吞吐速率达到1.3万亿比特)、能效比更高(峰值能效比达到每瓦16.3万亿次运算),结合全新的算法就可以实现更好的拍摄效果了,比如AI-NR降噪算法让夜景降噪效果提升了20%,HDR影调融合算法让动态范围较之前理论最大提升4EV。
算法技术大集合,人像风景全升级
除了硬件方面的升级外,下一代产品的算法技术也有系统性地升级,首先是三个“引擎”,我们引用一段vivo官方的技术资料——
臻彩还原引擎
主要支撑技术为智能AWB和智能白加黑减,能够提升白平衡准确性和大面积“白”“黑”场景的曝光准确性,将vivo的色彩表现和影调观感优化到极致。
超清画质
超清画质引擎的典型技术为光学超分算法,通过对镜头的缺陷建模分析,恢复了约35%的损失信息。光学超分算法是实现超清画质的起点,引擎中还有Denoise、Demosaic、Deblur等模块,进行耦合训练,形成了系统性的AI画质方案——超清画质引擎。可以实现多帧画质重建,达到更好的画质和更广的动态范围。
算力加速引擎
算力加速引擎,是一套软硬结合的加速方案,vivo基于自研芯片和平台SOC设计研发了CV异构加速引擎和vDNN深度学习加速引擎,是分别针对传统CV算法和AI算法的加速引擎,可支撑多芯结合的异构加速,实现多信息协同并高速处理。
后两者与上文提到的内容都有所关联不再赘述,这里我们详解说一下臻彩还原引擎。以往我们拍摄白色较多的场景,往往会感觉直出的照片灰突突的,黑色较多的场景,画面反而泛白不能还原肉眼所见。臻彩还原引擎则可以进行智能白加黑减,让曝光准确性更高,画面观感更通透。
从字面上看还有一项更加智能的技术,就是环境理解技术。这项技术可以让设备对环境场景进行识别,基于从环境提取的信息对自动对焦、自动曝光、自动白平衡进行更加精准地拍摄判断。
苍穹夜景系统看名字就知道是干什么用的了,对此vivo官方如此解释——
“苍穹夜景系统进行全面AI升级,基于百万夜景照片训练出三个全新模型:超感光模型、全分割语义模型和臻彩影调模型。超感光模型:将感光能力最大提升了100%,ISO最高可支持102400;全分割语义模型和臻彩影调模型联合,实现了自适应的影调和色彩调整能力。 ”
当然,说影像自然也少不了vivo的看家本领——人像拍摄。对此,vivo推出了超感人像系统,其中包含人像理解、人像美化、人像氛围三大环节——
第一步,人像理解——像摄影师一样读懂人像信息
vivo“人像理解技术”会像专业修图师一般进行分区检测,对人脸进行语义重点和轮廓细节的提取,建立多达103个特征点的关键人脸坐标,点位精度误差小于2像素。同时,会对画面中的皮肤、手势、肢体关键点进行检测,主体分割IOU达到了96.15%的精确度,为静态人像重塑和动态人像抓拍提供了精细化的处理能力。
第二步,人像美化——微米级人像细节美化
vivo以不同年龄、性别、场景的数以百万计的素材,经过反复的机器学习成长,推出vivo全新升级的微米级焕肤塑颜技术,使皮肤观感更加自然、健康,也更好地保留了五官的立体感。
第三步,人像氛围——营造独特的氛围感
vivo对于人像的思考不止于人,人与景的关系是人像的另一个重要的维度。vivo“人像氛围融合”技术,基于人像语义理解,在影调、色彩、亮度、虚化等层面上进行人与场景的融合处理,实现人与景和谐、自然的效果。
vivo手机的人像影像配置也一直非常豪华,发布会提到,vivo有专业人像镜头、超感人像系统、前置柔光自拍、蔡司镜头包等优势配置。vivo X90系列是不是全都搭载尚未可知,但可以期待一下。
写在最后
当然,以上只是我认为比较重要的内容,还有SuperRAW、HDR影调融合算法、专业LOG模式等等。而vivo的影像技术矩阵追求的“三个比肩”无疑彰显了自信:比肩专业影像设备、比肩专业摄影团队、比肩专业后期能力。
可以说,vivo此次的影像战略发布会狠狠地秀了一次肌肉,这也让“下一代”机型vivo X90系列愈发让人期待。
文章出处:中关村在线