ブログ@kaorun55

HoloLensやKinectなどのDepthセンサーを中心に書いています。

iPadにDepthセンサーがついた時のアプリを考えて作ってみました

3月ごろに到着して以来、長らくデモだけに使用していた、iOS用のDepthセンサーであるStructure Sensorのアプリを作ってみました。

1つ目は、距離データを使った画像のフィルタリングです。Kinectなどでよくある、背景を除去する機能をiPadに持ってきました。

一定以上離れた画像をモザイク処理することで、見せたくないものを見せないということができます。

また、現在ではRGB画像に対する写真の加工アプリがたくさんありますが、Depthを使った加工アプリも増えてくるのではないかと思います。

2つ目は、距離データを使って3次元での計測です。Structure SensorはKinect v1とほぼ同等のセンサーなので、カメラから見た3次元の位置情報(カメラ座標系)を取得することができます。

位置情報を2点使って、その2点間の距離を計測します。3次元で計算しているので、どんな向きでも測ることができます。

なお、現在のStructure Sensor SDKにカメラ座標系を扱うAPIがないので、フォーラムで教えてもらった独自の変換関数で実装しています。そのためか(おそらく自分のバグの気がしますが)計測すると、それなりに誤差が出ています。ここではプロトタイプの実装ということでご容赦ください^^;

実際の利用イメージはこんな感じです。 iPadに装着することでDepthセンサーがケーブルから解放されるので、従来より柔軟な利用が可能になります。

この辺りもう少し、全体的かつ抽象的に書いた記事もありますので、合わせて読んでみてください。

ss