Face Tracking with ARKit 정리 - Tech talks

Face Tracking with ARKit

WWDC: https://developer.apple.com/videos/play/tech-talks/601/

아래 내용과 연관된 링크

• [IGC2017] 에픽게임즈 신광섭 "AR 콘텐츠 개발, 지금이 시작할 때입니다"

이번 내용은 대부분 기술 용어가 많이 들어가기 때문에 또 한글로 해석하는 것보다 영어로 옮긴다. (거의 PPT를 따라 적은 것...)
스크립트를 다운받아 열심히 읽고 해석도 해봤는데 길이는 짧지만 내용은 어렵다.. ;(

ARKit

• 위치 추적
• Scene understanding (물리적인 환경을 이해해서 가상의 오브젝트를 놓을 수 있도록 하는 것)
• Rendering integration

Face Tracking with ARKit

• 강력한 얼굴 인식과 추적 (이때 6자유도를 사용함)
• 실시간 표정 추적 (50개 이상의 특정 근육의 움직임을 나타냄)
• Front color image, front depth image
• Lighting estimation (캡처된 이미지의 환경과 가상의 오브젝트를 조금 더 어울리게 하는 기능)
• iPhone X 지원

Common uses

Selfie effects

• Custom rendering over face mesh
• 가상 타투, 페이스 페인트, 화장, 수염이나 콧수염을 기르는 것, 아니면 mesh에 오버레이해서 주얼리, 마스크, 모자, 안경과 같은 효과를 위해 얼굴 mesh에 렌더링하는 효과

Face capture

• Project expressions onto avatar or 3D model
• 얼굴 표정을 실시간으로 캡쳐하고 아바타에 장비를 표현하거나 또는 게임 속 캐릭터를 위해 사용하는 기능

Getting Started

Face tracking을 시작하는 방법

1. ARSession 만들기
2. face tracking을 설정하기 위한 ARConfiguration 생성하기
3. run 메소드 실행
4. ARSession은 카메라 이미지와 센서 데이터를 받기 위해 AVCaptureSession, CMMotionManager 구성함 (안에서 알아서 하는 것)
5. 결과가 ARFrame으로 출력된다

ARFaceTrackingConfiguration

• New configuration subclass
• Availability check
• Lighting estimation option

ARFaceAnchor

• 오른쪽의 무서운 가면이 결과입니다.

• Added when face detected (얼굴이 인식되었을 때 todtjd)
• Position and orientation
• 3D topology and facial expression (3D 토폴로지와 현재 얼굴 표정의 매개 변수를 제공)
• Tracked in real-time (실시간 추적)

Face Topology

ARFaceGrometry

• List of vertices
• Triangle indices
• Texture coordinates

ARSCNFaceGrometry

• SCNGeometry object

Blend Shapes

ARBlendShapeLocation

• High-level model of facial expression (얼굴 표정에 대한 고차 레벨 모델)
• Recognizes 50+ specific features (50개 이상 특정 기능 인식)
  • 예시 - 눈꺼풀, 눈썹, 턱뼈, 코 등
  • 0부터 1 까지의 부동 소수점으로 표현되며 실시간 업데이트된다
• Movement relative to neutral position

ARDirectionalLightEstimate

• Uses face as light probe
• Primary light intensity, direction
• Spherical harmonics coefficients

Front-Facing Depth Image

AVDepthData

• Depth image provided to ARFrame
• Lower frame rate than color image (컬러 이미지보다 낮은 프레임 속도)

Microphone Audio

• Capture audio during an AR session (오디오 캡쳐 가능)
• Audio session buffer provided to ARSession delegate