VTuberSys開発めも

VTuberシステムの開発関連めも

技術調査:iPhoneX の FaceTracking

FaceTracking:顔追跡。顔の向き、顔パーツ(目鼻口など)の位置や状態を検出。


iPhoneXシリーズやiPadProでは特別になにか追加しなくても精度の高いFaceTrackingが可能。
アップルのARKitフレームワークから機能にアクセスできる。


UnityやUnrealEngine4からも利用することが可能。

UE4でFaceTrackingして3Dモデルを操作する事例
www.youtube.com



ARFaceAnchor.BlendShapeLocationで顔の各パーツの情報を取得可能なのでLive2Dモデルや3Dモデルを動かすのに使えそう。

ARFaceAnchor.BlendShapeLocationの値は全部で52個(各値は0.0から1.0の範囲)
https://developer.apple.com/documentation/arkit/arfaceanchor/blendshapelocation
目:開閉、視線(左右上下)、すぼめ、みひらき
口とあご:あご移動(左右前)、あご開、口閉、唇の表情(すぼめ開閉、口角上げ下げ(+開閉)など)
眉頬鼻:眉上下(内側、外側)、頬(上下)、鼻(上下)
舌:出すかどうかの1パラメータのみ
※各パーツは左右独立


ARSCNFaceGeometryで認識状態を3Dモデルにして表示させることもできる
f:id:hat0xAA:20200516145455j:plain
出典:
https://developer.apple.com/documentation/arkit/arfaceanchor/blendshapelocation/2928235-mouthstretchleft



iPhone X (2017/11発売)
2020年5月時点での中古価格は4万円前後。


Vtuber箱のにじさんじやホロライブではiPhoneXを各ライバーに配布しているようだ。