這款app可一鍵AI生髮,拯救你的自拍焦慮!

近年來,容貌焦慮和髮際線危機已經不止一次搬上話事桌,甚至讓大眾誤以為這並非為資本或是人的思維創造物。

實際上,這是一個由意識形態到符號結構再到技術決定的邏輯蛻變過程,美圖公司在後排默默觀察。

去年9月,美圖秀秀推出增發功能,可填充發際線、增加劉海 。

這款app可一鍵AI生髮,拯救你的自拍焦慮!

今年2月,美圖秀秀髮布《00後圖片社交報告》,報告顯示,當00後被問及“最在意的修圖部位”,出乎意料的是00後用戶不僅關注腹肌、鎖骨和黑眼圈這些細節,也關注髮際線的完美程度。

這款app可一鍵AI生髮,拯救你的自拍焦慮!

其背後的美圖影像實驗室(MT Lab),目前已經落地了多個頭發生成專案,在美圖旗下核心產品美圖秀秀及海外產品AirBrush上線劉海生成、髮際線調整與稀疏區域補發等功能。

這款app可一鍵AI生髮,拯救你的自拍焦慮!

其中,劉海生成功能可以基於自定義的生成區域,生成不同樣式的劉海;髮際線調整功能在保持原有髮際線樣式的情況下,可以對髮際線的不同高度進行調整;稀疏區域補發則可以在指定區域或者智慧檢測區域中,自定義調整稀疏區域的頭髮濃密程度。

成立於2010年的MT Lab是致力於計算機視覺、機器學習、增強現實、雲計算等人工智慧相關領域的研發團隊,深耕人臉、美顏、美妝、人體、影象分割、影象生成等多個技術研發領域,目前已廣泛應用於美圖旗下產品。

如今,美圖秀秀不僅在人臉上做“減法’,還做起了“加法”,推出面部豐盈、整牙以及髮際線調整、稀疏區域補發的新功能。

這款app可一鍵AI生髮,拯救你的自拍焦慮!

美圖秀秀的整牙和麵部填充對比圖

"做加法",難在沒東西可加

但怎麼解決當下大家最關注的頭髮生成問題,在落地過程中仍面臨幾個亟待突破的關鍵技術瓶頸:資料缺少、髮絲細節不足和清晰度低。稍有不慎,頭髮就容易糊成一片。

這款app可一鍵AI生髮,拯救你的自拍焦慮!

首先是生成資料的獲取問題以劉海生成任務為例,在生成出特定款式的劉海時,需要大量劉海資料,但是透過蒐集真實資料的形式做資料餵養,其實就是個“體力活”:有劉海、無劉海的真實資料難獲取;斜劉海、直劉海、八字劉海等特定款式的劉海資料耗費高成本。這兩種方式基本都不具備可操作性。

其次是高畫質影象細節的生成問題要麼頭髮太假,要麼像是用座機拍出來的糊圖。

由於頭髮部位擁有複雜的紋理細節,透過CNN難以生成真實且達到理想狀態的髮絲。

其中,在有配對資料的情況下,雖然可以透過設計類似Pixel2PixelHD、U2-Net等網路進行監督學習,但目前透過該方式生成的影象清晰度仍然非常有限。

而在非配對資料情況下,一般透過類似HiSD、StarGAN、CycleGAN的方式進行屬性轉換生成,利用該方式生成的圖片不僅清晰度不佳,還存在目標效果生成不穩定、生成效果不真實等問題。

真實的頭髮資料沒有,自己造“假”又太假,針對上述情況, MT Lab基於龐大的資料資源與突出的模型設計能力,藉助StyleGAN解決了頭髮生成任務所面臨的配對資料生成與高畫質影象細節兩大核心問題。

基於StyleGAN的頭髮編輯方案

StyleGAN作為當前生成領域的主要方向(Gan生成式對抗網路),是一種基於風格輸入的無監督高畫質影象生成模型。

能夠基於7萬張1024*1024的高畫質人臉影象訓練資料FFHQ,透過精巧的網路設計與訓練技巧生成清晰逼真的影象效果。

這款app可一鍵AI生髮,拯救你的自拍焦慮!

基於StyleGAN生成的圖片

此外,StyleGAN還能基於風格輸入的方式擁有屬性編輯的能力,透過隱變數的編輯,實現影象語意內容的修改。

具體有三步:配對資料生成(生髮)——配對資料增益(控制髮量)——image-to-image生成(高畫質)。

1.配對資料生成

StyleGAN生成配對資料最為直接的方式就是在w+空間直接進行相關屬性的隱向量編輯,生成相關屬性。其中隱向量編輯方法包括GanSpace、InterFaceGAN以及StyleSpace等等。

但這種影象生成方式通常隱含著屬性向量不解耦的情況,即在生成目標屬性的同時往往伴隨其他屬性(背景和人臉資訊等)產生變化。

因此,MT Lab結合StyleGAN Projector、PULSE及Mask-Guided Discovery等迭代重建方式來解決生成頭髮配對資料的問題。該方案的主要思路是透過簡略編輯原始圖片,獲得一張粗簡的目標屬性參考影象,將其與原始影象都作為參考影象,再透過StyleGAN進行迭代重建。

以為頭髮染淺色髮色為例,需要先對原始圖片中的頭髮區域染上統一的淺色色塊,經由降取樣獲得粗略編輯簡圖作為目標屬性參考影象,在StyleGAN的迭代重建過程中,生成圖片在高解析度尺度下與原始圖片進行相似性監督,以保證頭髮區域以外的原始資訊不發生改變。

另一方面,生成圖片透過降取樣與目標屬性參考影象進行監督,以保生成的淺色髮色區域與原始圖片的頭髮區域一致,二者迭代在監督平衡下生成期望中的影象,與此同時也獲得了一個人有無淺色頭髮的配對資料。

值得強調的是,在該方案執行過程中既要保證生成圖片的目標屬性與參考影象一致,也要保證生成影象在目標屬性區域外與原始圖片資訊保持一致;還需要保證生成影象的隱向量處於StyleGAN的隱向量分佈中,才能夠確保最終的生成影象是高畫質影象。

這款app可一鍵AI生髮,拯救你的自拍焦慮!

染淺色頭髮 StyleGAN 迭代重建示意圖

此外,基於該方案的思路,在頭髮生成領域還可以獲取到髮際線調整的配對資料、劉海生成的配對資料以及頭髮蓬鬆的配對資料。

但是想用補發功能,前提得還沒毛光光。不然基於頭髮原本顏色的補色,系統一律按膚色計算了。

這款app可一鍵AI生髮,拯救你的自拍焦慮!

從下面這張表格中可以看出,在1080p影片上RVM的處理速度是最快的,在512×288上比BGMv2略慢,在4K影片上則比帶FGF的MODNet慢一點。研究人員分析,這是因為RVM除了alpha通道外還預判了前景。

這款app可一鍵AI生髮,拯救你的自拍焦慮!

不同膚色做出來的髮色不一致

2.配對資料增益

基於迭代重建,還能夠獲得配對資料所對應的StyleGAN隱向量,透過隱向量插值的方式還能實現資料增益,進而獲得足夠數量的配對資料。

以髮際線調整的配對資料為例,在每一組配對資料間,可以透過插值獲得髮際線不同程度調整的配對資料。同樣的,兩組配對資料間也可以透過隱向量插值獲得更多配對資料。

此外,透過插值獲得的配對資料也能夠生成新的配對資料,基於此可以滿足對理想的髮際線調整配對資料的需求。

這款app可一鍵AI生髮,拯救你的自拍焦慮!

3.image-to-image生成

基於StyleGan的迭代重建獲得配對資料後,就可以透過pixel2piexlHD模型進行有監督的學習訓練,這種image-to-image的方式相對穩定且針對各類環境都有穩定的結果輸出。

但生成影象的清晰度還無法達到理想的效果,因此選擇透過在image-to-image模型上採用StyleGAN的預訓練模型來幫助實現生成細節的提升。

傳統的StyleGAN實現image-to-image的方式是透過encoder網路獲得輸入圖的影象隱向量,然後直接編輯隱向量,最後實現目標屬性影象生成,但由這種方式生成的影象與原影象比對往往相似度較低,無法滿足基於原影象進行編輯的要求。

因此MT Lab對這種隱向量編輯的方式進行了改進,一方面直接將原影象encode到目標屬性的隱向量,省去進行中間隱向量編輯的步驟;另一方面將encoder網路的特徵與StyleGAN網路的特徵進行融合,最終透過融合後的特徵生成目標屬性影象,以最大限度保證生成影象與原影象的相似度,整體網路結構與GLEAN模型非常相似。

該方式兼顧了影象高畫質細節生成與原圖相似度還原兩個主要問題,由此也完成了高畫質且具有真實細節紋理的頭髮生成全流程。

這款app可一鍵AI生髮,拯救你的自拍焦慮!

這種StyleGAN編輯生成方案也具有很高的擴充套件性。日後影象編輯和影象清晰度的難題,可以套用頭髮生成的“三步走”技術。

其中,結合StyleGAN生成理想頭髮配對資料的方式極大地降低了影象編輯任務的難度,如將該方案關注的屬性拓展到頭髮以外,就能夠獲得更多屬性的配對資料,例如五官更換的配對資料,藉此可以嘗試對任何人臉屬性編輯任務進行落地實踐。

講在最後

藉助StyleGAN預訓練模型實現image-to-image的方式能夠保證生成影象的清晰度,還可以將其推廣到如影象修復、影象去噪、影象超解析度等等更為一般的生成任務中。

這款app可一鍵AI生髮,拯救你的自拍焦慮!

這款app可一鍵AI生髮,拯救你的自拍焦慮!

客服:小睿

(新增請註明來意)