[UE] Live Link

(편집 중입니다.)

개념

외부 소스에서 언리얼 엔진으로 애니메이션 데이터를 스트리밍하고 소비하는 공통 인터페이스를 제공하는 것

라이브 링크 탭 모습 (예시)

Subject 이름 선택 여기서 소스 머신은 엔진 실행 중인 PC 이름

Subject의 하위 항목 선택 여기서 소스 머신은 엔진 실행 중인 PC 이름

구분

Source

데이터 수신 방법.

Subject

정적 데이터 (Static data), 프레임 데이터 (Frame data)

Role

어떤 데이터가 들어오는지 정의. 사전적 의미로 "역할"을 뜻하므로, "들어온 데이터가 가지고 있는 역할"이라고 생각하면 된다.

Role 종류

Basic

가능한 함수 목록 (Blueprint)

Apple AR Face Tracking도 이쪽으로 소속되어 있음

아래는 Apple AR Face Tracking에서 들어오는 Face 데이터의 정보이다. (오른쪽 값은 인덱스라고 생각하면 된다. 총 61개의 float 값이다. 이 값은 Live Link Face 앱에서 얼굴 애니메이션 녹화 후, 저장되는 CSV파일에서 확인 가능하다.)

EyeBlinkLeft = 0
EyeLookDownLeft = 1
EyeLookInLeft = 2
EyeLookOutLeft = 3
EyeLookUpLeft = 4
EyeSquintLeft = 5
EyeWideLeft = 6
EyeBlinkRight = 7
EyeLookDownRight = 8
EyeLookInRight = 9
EyeLookOutRight = 10
EyeLookUpRight = 11
EyeSquintRight = 12
EyeWideRight = 13
JawForward = 14
JawLeft = 15
JawRight = 16
JawOpen = 17
MouthClose = 18
MouthFunnel = 19
MouthPucker = 20
MouthLeft = 21
MouthRight = 22
MouthSmileLeft = 23
MouthSmileRight = 24
MouthFrownLeft = 25
MouthFrownRight = 26
MouthDimpleLeft = 27
MouthDimpleRight = 28
MouthStretchLeft = 29
MouthStretchRight = 30
MouthRollLower = 31
MouthRollUpper = 32
MouthShrugLower = 33
MouthShrugUpper = 34
MouthPressLeft = 35
MouthPressRight = 36
MouthLowerDownLeft = 37
MouthLowerDownRight = 38
MouthUpperUpLeft = 39
MouthUpperUpRight = 40
BrowDownLeft = 41
BrowDownRight = 42
BrowInnerUp = 43
BrowOuterUpLeft = 44
BrowOuterUpRight = 45
CheekPuff = 46
CheekSquintLeft = 47
CheekSquintRight = 48
NoseSneerLeft = 49
NoseSneerRight = 50
TongueOut = 51
HeadYaw = 52
HeadPitch = 53
HeadRoll = 54
LeftEyeYaw = 55
LeftEyePitch = 56
LeftEyeRoll = 57
RightEyeYaw = 58
RightEyePitch = 59
RightEyeRoll = 60

Animation

Basic 상속

가능한 함수 목록 (Blueprint)

Transform

Basic 상속

가능한 함수 목록 (Blueprint)

Camera

Transform 상속 (Transform Live Link Role에 있는 항목이 보임)

가능한 함수 목록 (Blueprint)

Light

Transform 상속 (Transform Live Link Role에 있는 항목이 보임)

가능한 함수 목록 (Blueprint)

MetaHuman

MetaHuman에서 사용하는 Role.

FreeD

카메라 포지션 데이터를 가상 현실 제작 시스템으로 직접 보내는 프로토콜

PTZ

Pan Tilt Zoom

기타

Apple AR Face Tracking에서 전송되는 데이터는 11111 포트 (기본 포트 값은 변경가능)를 이용하여 UDP로 전송된다. (By pass되 되는 것을 확인함)

참고 자료

Unreal engine document

[언리얼 엔진 Doc] 라이브 링크 플러그인

Face LiveLink 데이터 관련

Python을 이용한 얼굴 LiveLink 데이터 송수신
[언리얼 엔진 Doc] EARFaceBlendShape
[언리얼 엔진 코드] AppleARKitLiveLinkSource.cpp