谷歌详细介绍了Pixel的PortraitLight功能背后的技术

2021-02-09 17:07:01 来源: INeng财经

经过几次泄漏和谣言,Google终于在今年9月初推出了Pixel 5和Pixel 4a 5G。如预期的那样,这些设备具有许多新的Google相机功能,从而使其与市场上的其他Android手机区分开来。这些功能包括可在视频上进行无晃动平移的Cinematic Pan,锁定和主动稳定模式,人像模式中的Night Sight支持以及人像灯功能,可自动调整照明的人像拍摄。推出几周后,Google通过Google Photos更新为旧版Pixel设备发布了其中的大多数功能。现在,该公司已经分享了有关肖像灯功能背后的技术的一些细节。

根据该公司最近的一篇博客文章,“肖像灯”功能的灵感来自肖像摄影师使用的机外灯。它通过对可添加到场景中的可重定位光源进行建模来增强人像拍摄效果。自动添加后,人造光源会使用机器学习功能自动调整方向和强度,以补充照片的现有照明。

正如Google所解释的那样,该功能利用了新颖的机器学习模型,这些模型是使用Light Stage计算照明系统中捕获的各种照片数据集进行训练的。这些模型启用两种算法功能:

自动定向光放置:基于机器学习算法,该功能自动放置人造光源,该光源与专业摄影师在现实世界中放置摄像机外光源的方式一致。

合成后重新照明:基于人像镜头中现有光线的方向和强度,机器学习算法会添加看起来逼真的自然合成光。

对于自动定向光的放置,Google训练了机器学习模型,以根据输入的肖像估算场景的高动态范围,全向照明轮廓。这种新的照明估算模型可以将面部视为光探测器,从而找到来自所有方向的场景中所有光源的方向,相对强度和颜色。它还使用MediaPipe Face Mesh估计对象的头部位置。基于上述数据,该算法然后确定合成光的方向。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。