try-on research

Deep Fashion 3D 테스크도 있음

tryon task 정리 사이트 : https://github.com/minar09/awesome-virtual-try-on?tab=readme-ov-file

Try on DataSet별 특징

1. VITON

  • 트렌드: 가상 의상 착용의 초기 모델 중 하나로, 인물의 이미지에 옷을 자연스럽게 입히는 것을 목표로 함.
  • 데이터셋: VITON 데이터셋 – 인물 이미지와 의상 이미지를 페어링하여 의상 착용을 시뮬레이션하는 이미지 데이터셋.
  • 베스트 모델: Flow-Style-VTON – 의상 이미지를 사람 이미지에 맞춰 변형하고 스타일을 전이하는 모델.
  • 논문: VITON 논문 – VTON의 기초 논문으로, 가상 의상 착용의 초기 연구를 담고 있음.
  • 코드: GitHub에서 제공되는 관련 코드를 활용하여 가상 의상 착용을 실험할 수 있음.
  • 비교: VITON은 가상 의상 착용 분야에서 기본적인 벤치마크로 사용되며, 후속 모델들이 이 모델을 개선함.

2. VITON-HD

  • 트렌드: 고화질 가상 의상 착용으로, 더 높은 화질의 이미지를 처리하여 현실적인 결과를 도출함.
  • 데이터셋: VITON-HD 데이터셋 – 고화질 이미지를 사용하여 의상 착용을 시뮬레이션.
  • 베스트 모델: IDM-VTON – 고해상도의 의상 이미지를 정확하게 변형시키기 위해 Iterative Deformation Modules (IDM)을 사용함.
  • 논문: VITON-HD 논문 – VITON에서 더 높은 화질과 정밀함을 목표로 한 연구 논문.
  • 코드: VITON-HD 관련 코드는 GitHub에서 제공됨.
  • 비교: VITON-HD는 기존 VITON을 개선하여 고화질 의상 처리와 더 나은 세부 표현을 가능하게 함.

3. Deep-Fashion

  • 트렌드: 의상 인식, 분할, 가상 착용 등 다양한 패션 관련 태스크에 사용되는 대규모 데이터셋.
  • 데이터셋: DeepFashion 데이터셋 – 의상 인식과 분류, 착용 시뮬레이션에 적합한 대규모 데이터셋.
  • 베스트 모델: MG-VTON – 다중 그라니큘러리티(Multi-Granularity) 기반의 모델로, 세부적인 의상 요소를 정밀하게 처리함.
  • 논문: DeepFashion 논문 – 대규모 패션 데이터셋을 소개하고 이를 활용한 다양한 패션 태스크를 다룸.
  • 코드: 다양한 패션 관련 태스크에 사용할 수 있는 코드가 GitHub에서 제공됨.
  • 비교: DeepFashion은 가상 착용 뿐만 아니라 의상 인식, 분류 등 더 광범위한 패션 관련 연구에 사용됨.

4. MPV (Multi-Pose Virtual Try-On)

  • 트렌드: 다양한 자세에서 의상을 착용하는 가상 착용 연구.
  • 데이터셋: MPV 데이터셋 – 다양한 인체 자세에서 가상 착용을 시뮬레이션하기 위한 데이터셋.
  • 베스트 모델: PF-AFN – Progressive Fashion Alignment and Normalization 모델로, 다양한 포즈에서 의상이 자연스럽게 착용되도록 함.
  • 논문: PF-AFN 논문 – 여러 포즈에 맞게 의상을 자연스럽게 적용하는 기술을 소개함.
  • 코드: 다중 포즈 환경에서의 의상 착용 코드가 GitHub에서 제공됨.
  • 비교: MPV는 다양한 자세에 맞는 의상 착용에 중점을 두며, 정적인 이미지에서 착용을 목표로 하는 VITON과 차별화됨.

5. FashionIQ

  • 트렌드: 텍스트 기반 의상 검색 및 추천 시스템에 사용됨.
  • 데이터셋: FashionIQ 데이터셋 – 패션 관련 설명과 의상 이미지를 페어링하여 텍스트 기반 의상 추천에 사용됨.
  • 베스트 모델: mm (Multimodal) – 텍스트와 이미지를 동시에 처리하여 적합한 의상을 추천하는 멀티모달 모델.
  • 논문: FashionIQ 논문 – 텍스트 설명을 기반으로 의상을 검색하는 새로운 접근법을 다룸.
  • 비교: FashionIQ는 이미지 기반의 착용 시뮬레이션보다는, 텍스트 기반의 의상 검색과 추천에 더 중점을 둠.

6. StreetTryOn

  • 트렌드: 스트리트 패션을 위한 가상 착용 연구.
  • 데이터셋: StreetTryOn 데이터셋 – 스트리트 패션 스타일에 맞춘 가상 착용 데이터셋.
  • 베스트 모델: Street TryOn – 스트리트 패션에 특화된 가상 착용 모델.
  • 논문: StreetTryOn 논문 – 거리 패션에 맞는 가상 착용을 다루는 연구 논문.
  • 비교: 스트리트 패션에 특화된 데이터셋과 모델로, 일반적인 의상 착용 시뮬레이션과 차별화됨.

7. Microsoft COCO Dataset

  • 트렌드: 객체 탐지 및 분할에 사용되는 광범위한 데이터셋.
  • 데이터셋: Microsoft COCO Dataset – 가상 착용뿐만 아니라 객체 탐지, 분할 등 다양한 컴퓨터 비전 태스크에 사용됨.
  • 베스트 모델: VTON-IT – Microsoft COCO 데이터셋을 기반으로 한 가상 착용 모델.
  • 비교: COCO는 가상 착용보다는 일반적인 객체 탐지 및 이미지 분할에 사용되며, 패션과는 직접적인 연관성이 적음.

기타 조사

  1. try on

https://github.com/gal4way/tpd

  1. 3d로 변경

https://river-zhang.github.io/SIFU-projectpage/

https://github.com/River-Zhang/SIFU -> GPU 사용 가능 체크(readme)