詳細介紹

上篇2個頂會的虛擬試衣的文章內容全是來自于中大的工作中，在這個系列產品后，她們又干了一個可變性pose每日任務，并融合了抵抗訓練的工作中，臨時按下不表。

回望一下，VITON和CP-VTON2個實體模型都會形變衣服褲子的Stage 1上花了比較多的時間。一個用了Non-param TPS，一個用GMM互聯網來做轉換，另外都必須對圖象開展human parse和pose estimate流程，花銷很大。
在CP-VTON上，在小編的試驗中，因為LIP數據自身不足整潔，Stage 1的GMM的訓練實際效果就并不是很理想化，針對擋住等狀況不魯棒性。文中詳細介紹的這篇新文章內容關心于端到端的訓練方法改進。

"End-to-End Learning of Geometric Deformations of Feature Maps for Virtual Try-On"

方式

互聯網架構如圖所顯示，Agnostic person 指的是相近之前應用human parser和pose estimator的身體特點，用以保存identity和去強監管，以前的CP-VTON必須摳出來身體的mask和pose，文中只必須身體上邊一部分的mask。
能夠見到其構造和CP-VTON十分類似，上邊一部分的互聯網應用2個卷積網絡各自獲取 , 的特點后，過Correlation Layer，再次做卷積和得到 一組開展幾何變換的主要參數，用這組主要參數用于開展規范衣服圖片的轉換。在CP-VTON中這就是Stage 1的互聯網，是必須應用L1 Loss獨立訓練的。

文中明確提出的端到端方式則是應用這套主要參數對下邊一部分的U-Net的Encoder的skip connection的每一個scale的feature map做幾何變換，這一步是為了更好地可以在下邊一部分的互聯網中能夠立即鍵入一個規范衣服圖片，只做為端到端互聯網的一個子一部分，另外防止不兩端對齊的難題。在CP-VTON中，則是應用了Stage 1輸出的兩端對齊好的衣服圖片做為鍵入的方式開展避開，因此 只有階段性訓練。

下半一部分的U-Net中，鍵入的二張照片各自用不一樣的Encoder，歷經轉換后concat來養Decoder。文章內容設計方案了二種抵抗loss的方法，各自為匹配和未配對，指的是Discriminator的負樣版是模仿原照形成的 ，還是依據別的規范衣服褲子圖片生成的 。
如果是要測算unpaired adversarial loss得話，規范衣服圖片必須鍵入二張，輸出二張合成圖片，paired用于得到 L1和VGG Loss，unpaired用于抵抗訓練。Adam提升一共四個Loss。

文中用了LPIPS (linear perceptual image patch similarity)做為新的評價方法，用paired adversarial loss的實體模型得分最好是。LPIPS是一個相近perceptual loss的設計方案，用AlexNet做獲取。
覺得是依然想要perceptual的方法，但怕變為立即提升指標值？

人測評得話，是unpaired抵抗訓練的實體模型得分最好是。

暫時沒有源代碼。在V100上訓了三天三夜，前向算不上parse，一個4幅圖的batch只必須0.31s。

念頭

有關在身體特點ap上的改動，實際上在訓練的情況下也發覺到，用一些SOTA的pose estimator針對實體模型提高沒什么實際效果。想不到cp-vton上拆換ap也是有實際效果。

試驗里提及，在inference的情況下，mask摳的不太好都不太危害照片品質，這一結果挺趣味的，或許能夠減少前向預備處理的花銷，但如今看來，為了更好地維持identity，對秀發還是得摳準的，因此 還是得用SOTA的parser。

把前文一直延用的compose mask做refine的方式換為了端到端一次性的形成全過程，就便捷導入抵抗訓練來提升 照片品質，用組成mask的方法過度依靠coarse result的品質了，非常容易出現規格不搭配，如胳膊衣服褲子邊沿不搭配的難題。對feature map做轉換的構思，在STN一文中也曾提及過。

這類每日任務的最終目地便是，確保照片真實性，保存衣服褲子、身體關鍵點，沒有很通用性的評價方法。有一半之上的畢業論文都用了Amazon的眾包平臺來評定。

Reference

End-to-End Learning of Geometric Deformations of Feature Maps for Virtual Try-On, Thibaut Issenhuth, Jérémie Mary, Clément Calauzènes