技術調査:iPhoneX の FaceTracking
FaceTracking:顔追跡。顔の向き、顔パーツ(目鼻口など)の位置や状態を検出。
iPhoneXシリーズやiPadProでは特別になにか追加しなくても精度の高いFaceTrackingが可能。
アップルのARKitフレームワークから機能にアクセスできる。
UnityやUnrealEngine4からも利用することが可能。
UE4でFaceTrackingして3Dモデルを操作する事例
www.youtube.com
ARFaceAnchor.BlendShapeLocationで顔の各パーツの情報を取得可能なのでLive2Dモデルや3Dモデルを動かすのに使えそう。
ARFaceAnchor.BlendShapeLocationの値は全部で52個(各値は0.0から1.0の範囲)
https://developer.apple.com/documentation/arkit/arfaceanchor/blendshapelocation
目:開閉、視線(左右上下)、すぼめ、みひらき
口とあご:あご移動(左右前)、あご開、口閉、唇の表情(すぼめ開閉、口角上げ下げ(+開閉)など)
眉頬鼻:眉上下(内側、外側)、頬(上下)、鼻(上下)
舌:出すかどうかの1パラメータのみ
※各パーツは左右独立
ARSCNFaceGeometryで認識状態を3Dモデルにして表示させることもできる
出典:
https://developer.apple.com/documentation/arkit/arfaceanchor/blendshapelocation/2928235-mouthstretchleft
iPhone X (2017/11発売)
2020年5月時点での中古価格は4万円前後。