Google轻量化脸部编辑GAN模型,低端手机也可即时生成高品质输出
· 2023-09-22

Google针对生成对抗网络(Generative Adversarial Network,GAN)的高运算复杂度提出解决方案,将原本需要在服务器执行的脸部编辑模型轻量化,推出可在手机上运行的少样本脸部风格模型MediaPipe FaceStylizer,提供高品质脸部图片生成,并且通过MediaPipe平台公开,让用户能够自订部署到移动设备上。


Google针对生成对抗网络(Generative Adversarial Network,GAN)的高运算复杂度提出解决方案,将原本需要在服务器执行的脸部编辑模型轻量化,推出可在手机上运行的少样本脸部风格模型MediaPipe FaceStylizer,提供高品质脸部图片生成,并且通过MediaPipe平台公开,让用户能够自订部署到移动设备上。


生成对抗网络是一种深度学习模型,其包含生成器和鉴别器两部分,生成器负责生成图像,而鉴别器的任务则是分辨图像是不是真实的,也就是发现该图像是否由生成器所产生。而MediaPipe FaceStylizer针对脸部风格化设计,具有脸部生成器和脸部编码器两个主要组件。脸部编码器的主要功能用于生成对抗网络反转(GAN Inversion),将图像映射到生成器的潜在码(Latent Code)中。


生成对抗网络反转是指用于寻找导致模型输出的输入,这个输入再经过生成对抗网络的生成器时,会产生特定图像,换句话说,当存在一张图片,想要知道生成对抗网络的生成器中,可以产生该张图片的潜在码,这个过程便称为生成对抗网络反转。脸部编码器便是找出潜在码的角色,以便脸部生成器可以再次使用该潜在码,生成相同或是类似的脸部图像。


除此之外,研究人员为了优化生成器,特别设计了一些损失函数,并且结合常用的生成对抗网络损失函数,借以最小化生成器的错误,他们从一个较为复杂的StyleGAN模型,提炼出一个更轻量的生成器BlazeStyleGAN。轻量生成器虽然容量小、执行快,但生成的图片品质仍然很高。下图研究结果显示,BlazeStyleGAN生成的图像品质很好(图下),而且因为研究人员在损失函数的设计,进一步减少了StyleGAN可能产生的瑕疵和伪影(图上)。



从参数数量和计算FLOPs评估模型复杂度,与StyleGAN拥有3,340万参数相比,BlazeStyleGAN的复杂度大幅降低,在输出图片分辨率为256x256的情况下,仅需要约200万参数和1.28G FLOPs的BlazeStyleGAN模型。当输出分辨率为1024x1024,BlazeStyleGAN-1024可减少95%运算复杂度,而且输出图像品质与StyleGAN-1024模型没有明显差异,甚至抑制来自StyleGAN模型的伪影。


研究人员在高性能的设备上,对MediaPipe FaceStylizer的推论时间进行基准测试,BlazeStyleGAN-256和BlazeStyleGAN-512在所有拥有GPU的设备上都能达到即时运算,在更高端手机的执行时间甚至不到10毫秒。BlazeStyleGAN-256还可以在iOS设备上以CPU即时生成结果。


Google将会通过MediaPipe平台,向用户公开MediaPipe FaceStylizer。BlazeStyleGAN模型经过训练之后,只需要几行程序代码,就能通过MediaPipe Tasks FaceStylizer API部署已导出的TFLite模型到各平台的应用程序。


熱門文章
英國確認各垂直行業的賭博稅稅率
合規與政策
菲律賓網絡賭博和加密貨幣仍構成持續的洗錢風險
東南亞資訊
哈薩克計劃對線上賭場促銷活動進行處罰
合規與政策
灰度在iGB L!VE 2026展位T70和你相約7月,一起點燃倫敦的熱情!
灰度頭條
巴西擬將博弈稅率提高至24% 稅收將用於社保與醫療領域
合規與政策
橫跨全球6個城市,灰度8場派對邀你共看世界盃,重塑高質量社交新場景
灰度頭條
斯里蘭卡博弈產業大轉型,官方:劍指南亞拉斯維加斯
合規與政策
越南博彩管控逐步放寬,惟本土需求仍顯乏力
東南亞資訊
印第安納州在線賭場法案在眾議院委員會停滯不前
合規與政策
超級PAC籌資4800萬美元:體育博彩勢力加碼
合規與政策
GGC Awards 2026 璀璨科倫坡:致敬 iGaming 行業的領航者與創新力量
灰度頭條
越南在線博彩業政策收緊 催生市場新機遇
東南亞資訊
菲律賓博彩技術賽道迎來新變局,B2B 供應模式加速滲透
東南亞資訊
西班牙監管機構警告在線賭博平臺存在身份盜竊行為
合規與政策
JILI 宣佈與全球板球傳奇 AB de Villiers(ABD)達成重磅戰略合作
體育遊戲
首頁
遊戲
合作
發現
我的