教学参考-22

来自cslt Wiki
2022年8月10日 (三) 09:48Cslt讨论 | 贡献的版本

(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
跳转至: 导航搜索

教学目标

  • 了解两种美颜策略的基本原理
  • 讨论美颜可能带来的社会问题


教学内容

人工智能为你美颜

  • 爱美之心人皆有之,每个人都想把自己最美的一面展示给别人。传统美颜都是修图师手工来做的,他们很擅长用各种图像编辑软件对照片进行处理,如去掉雀斑和皱纹,调亮肤色,修饰眼眉和睫毛等。这种人工处理方式要花费很长时间,还需要有专业技能。
  • 现在人工智能也可以帮我们美颜了。打开一款主流相机,选择“打开AI美颜”功能,就可以拍出让自己眼前一亮的靓照了。
  • 人工智能美颜有很多种方法,比如对皮肤进行平滑,颜色加亮,头发加黑或变色等。
  • 本节介绍两种美颜方法,这两种方法都基于对抗生成网络(GAN ),可以生成高质量的美颜图片。
  • 和很多细节型的美颜方法不同,基于GAN的方法更多是“整体”美颜,基于端到端神经网络建模方法,直接学习漂亮人脸的隐藏特征。因此,这一美颜方法更自然,但因为并不知道学习到了什么特征,更加不可控,有时可能美的非常夸张。

初级美颜:加彩妆的BeautyGAN

  • BeautyGAN的目的是给定一张无妆照片和一张带妆的参考照片,努力将参考照片的妆容迁移到原始无妆照片上。
  • BeatyGAN将原始照片(无妆)和参考照片(有妆)同时输入一个生成模型G,生成一对交换妆容的照片,即原照片上妆,而参考照片去妆。两个区分器DS和DA保证两张生成的照片分别属于有妆和无妆两个类。
  • 为增加妆容迁移效果,BeautifyGAN还将眼、唇、面颊等关键部分抽取出来,并强制使生成的加妆照片在这些部件上的颜色分布和参考照片相近。
  • 直观上,BeautyGAN并不改变人脸外观,而是通过调节颜色分布来达到美颜效果。

高级美颜:因子分解

  • BeautyGAN只能调整人脸部件的颜色,美颜效果有限。为了进一步增强美颜能力,研究者提出了因子分解方案。这一方案的基本思路是把一张人脸照片分解成两个主要因子:内容因子代表是谁的脸,风格因子代表人脸的美丑胖瘦、是否画妆等风格。如果分解成功,就可以把漂亮照片的风格因子迁移到待美颜的照片上,实现美颜。
  • 模型的结构依然是一个GAN网络。模型的输入是两张人脸照片A和B,A为待美颜的照片,B为参考照片,表示美颜的目标。模型生成一幅照片AB,使之看起来与照片A是同一个人,但在风格上与照片B更加接近。模型首先将照片A和B分别拆解成内容因子Ca/Cb和风格因子Sa/Sb,再提取A的内容因子Ca和B的风格因子Sb,通过生成器G生成图片AB。
  • 模型训练时,首先使得A和AB在一个预训练好的人脸识别系统中得到相似的特征,从而保证两者是同一个人;其次,使得AB和B在一个漂亮度打分的预训练模型中获得相似的分数,从而保证AB和A一样漂亮;最后,还需要一个判别器D,使得AB看起来和B来自同一个集合,即都是漂亮人群的真实照片。经过这样的训练后,GAN网络就学会了美颜技巧。
  • 在生成照片AB时,也可以综合原照片A和参考照片B的风格因子,对其加权求和作为目标风格因子。显然,照片B的风格权重越大,美颜程度越高,从而实现按需美颜的效果。

美颜可能带来的社会问题

  • 美颜和换脸具有相似的技术,事实上是对自身身份的标识的一种隐藏,可能引起信任风险。