박종환 2022-05-27

• UV Texture Extraction 주제 관련 조사중 가장 최근 알고리즘인 OSTeC 논문 조사 게시글
• Computer Vision and Pattern Recognition (CVPR), 2021, pp. 7628-7638
• Github 코드 존재

<aside> 💡 Main Contribution

1. One-shot optimisation-based approach를 통해 3D facial texture를 생성하며, 새로운 cost function 제안
2. UV Texture 추출과정에서 2D 이미지에서 관측되지 않는 부분을 3D로 회전시켜서 복구
3. 다량의 3D facial texture을 학습하지 않고 Wild Image를 학습한 3D face reconstruction 알고리즘을 제공-

</aside>

Introduction

• 3D face texture completion에서 문제점은 non-visible 부분에 대한 재현과정.

• GAN & Regression based model을 통해 연구된 사례가 다수 존재, 하지만 근본적인 문제는 fully supervised training.
  • 3D facial texture가 일부 누락된 데이터를 사용함
  • 최근에는 이미지 렌더링 & self-supervised training으로 극복중
• 본 논문에서는 3d facial texture 예측 및 rotated generation 자체를 최적화 문제로 관점 전환하고, one shot texture completion 접근법을 제안함.

  • 기존의 회귀기반 연구는 배우는 과정에서 identity가 사라진다고 함

  • 본 논문의 접근법은 identity 관련 feature를 최적화를 하여 face frontalization 및 3d texture completion에서 결과가 뛰어남을 확인

  • wild image를 기반으로 학습하여 GANFit과 같은 3D face reconstruction 알고리즘으로 활용 가능함을 확인 (wild image의 경우 not released to the public이라고 함.. pre-trained model만 있으면 활용 가능할 듯)

    

OSTeC

• 해당 논문은 Unsupervised UV Completion을 구축하기 위해 선행연구에서 다루는 요점의 일부를 변경하여 시행함

  

  OSTeC Structure

• 주요 요점들은 다음과 같음.

  • 3DMM Fitting & input texture acquisition
  • Re-Rendering of the Mesh
    • Building a Visibility Index
  • Inpainting by Projection
    • Masking
    • Face Generation
    • Energy Functions
      • Photometric Loss
      • Identity Loss
      • Perceptual Loss
      • Landmark Loss
    • Projection
      • Initialization by Regression
      • Optimization
  • Progressive Texture Building for Consistency
    • Blending
    • Face Frontalization

3DMM Fitting & input texture acquisition

• $I_0$의 2D face 이미지, 3DMM(3D Face Morphable Model) space $S \in \mathbb{R}^{n\times3}$, 카메라 파라미터 $c = [f,r_x,r_y,r_z,t_x,t_y,t_z]$

• 기존의 3DMM 알고리즘에서는 2D Projection을 진행. Projection된 2D plane을 dense landmarks라고 함

  $P(S,c) : \mathbb{R}^{n\times3},\mathbb{R}^{7} \rightarrow \mathbb{R}^{n\times2}$ / Dense landmark : $S' = P(S,c)$

  $P$는 Pinhole camara function. 2D Projection에 사용.

  이전 기법의 경우 3D Texture Data → 2D Plane에 Projection. 본 논문의 접근법은 3D Texture Data → UV space로 Projection 하는 방법을 제안.

  • UV plane상의 2D vertex coordinate $t_{coord} \in \mathbb{R}^{n\times 2}$, UV Texture map $T\in \mathbb{R}^{w\times h\times 3}$이 주어질때, UV → image 좌표 변환 barycentric interpolation 전개방식은 다음과 같음.
  • Barycentric interpolation : $\mathcal{R} : (\mathbb{R}^{n\times 2}, \mathbb{R}^{w\times h\times 3 },\mathbb{R}^{n\times2} ) \rightarrow \mathbb{R}^{w' \times h' \times 3}$
    • 해당과정의 정확한 Annotation 해석은 없으나, UV map과 실제 이미지(3DMM)의 무게중심이 다르기때문에 이를 변환하는 과정이 있다정도로 보면 될 듯.
  • $w', h'$ : 3D reconstruction’s coordinates, $w, h$ : UV map coordinates
  • 이미지로부터 텍스처의 가시적인 부분을 획득하기 위한 Image → UV map은 Barycentric interpolation의 변환연산으로 생성됨
    • $T_0 = \mathcal{R}'(t_{coord}, I_0, S') \rightarrow \mathcal{R}'(\mathbb{R}^{n\times2},\mathbb{R}^{w\times h\times 3},\mathbb{R}^{n\times2})$

      • 여기서 $t_{coord}$는 실제 이미지를 UV space로 펴주기 위한 좌표이며, $I_0$는 실제 input 이미지, $S'$는 pinhole camera function으로 생성된 dense landmark.

      • 변환된 Barycentric interpolation $\mathcal{R}'$를 통해 UV space $T_0$를 렌더링함