「KinectのHD FaceでCTスキャンした自分の顔モデルを動かす」ということに、この数か月取り組んでいました。
こういうイメージです。
前にインテルRealSenseでユニティちゃんの顔を動かすというをやりました。
これはFBX形式のモデルにある「ブレンドシェイプ」という機能にリンクさせています。
今回は、CTスキャンした生のSTLデータ(正確には今回はOBJに変換したもの)を使っています。
環境としては下記のようになっています。
- Windows 8.1
- Unity 5
- Kinect for Windows SDK v2
- PCL 1.7.2
PCL自体、まだそこまで使われている事例はないと思うのですが、Unityと絡めてだとまれな例かと思ってます。
CTデータのOBJモデルと、KinectのHD FaceをPCLで位置合わせして、OBJモデルの頂点座標を動かしています。
これによって、事前の作業なしでモデルを動かすということができるようになりました。
本件について、6月4日行われる「第25回特定非営利活動法人日本顎変形症学会総会・学術大会」にて発表されます。
口演／第 2 会場 1 日目 6 月 4 日（木）
14：30 ～ 15：10
三次元計測② 座長：柴 田 考 典
O-3-2 モーションキャプチャーカメラと CBCT を用いた外科矯正手術後の表情
シミュレーションの試み～ 4D への挑戦～
鶴木クリニック医科歯科 鶴木 三郎 他
これらの要素技術については、「KINECT for Windows SDKプログラミング Kinect for Windows v2センサー対応版」に書いています。
