iOS用赤外線センサー「 Structure Sensor 」ファーストインプレッション

Structure Sensor を少しいじってみたのでファーストインプレッション的な感じで書いていきます。Structure Sensorの概要はこちらをご覧ください。

• iPad を3Dスキャナに変える「 Structure Sensor 」がきました

付属のiPad Airブラケットをつけてみました。ぴったりです。サイトのようなかっこいいものではなく、3Dプリンターで出力したような割と粗い感じです。ブラケットはCADデータも公開されているので、壊しても大丈夫ですね。

iPhoneにも接続してみました。こちらのブラケットは後日公開とのことです。固定できれば Google Tango を一足先取りですね。

センサーの概要です。Carmine互換センサーなのでKinect v1などとも同じように赤外線プロジェクターと赤外線センサーがついています。Structure Sensor独自は2つの赤外線LEDで、これと赤外線センサーで赤外線画像(暗視カメラ)が出来上がります。

ざっくりとしたセンサーの仕様は次のとおりです。 詳しくはこちらをご覧ください。

項目	仕様
Depthカメラ解像度	640 x 480(VGA) / 320x240(QVGA)
Depthカメラセンシング方式	LightCoding
距離認識範囲	0.4m ～ 3.5m
フレームレート	30 / 60 fps

Structure Sensor の赤外線プロジェクターをKinectの赤外線センサーで見てみました。LightCodingのドットパターンが見えます。

デモアプリケーションは2種類あり、ScannerとViewerです。アプリの画像はiPadですが、下記アイコンの通りiPhone 5でも動作します。

Scannerはその名の通りの3Dスキャナーです。スキャンが結構難しい(45cmからというセンシング範囲が少し遠い)のと、モコモコした感じのモデルになります。スキャンした後はデータをメールで送信できます。

ViewerのほうはDepthデータを表示させます。なんとなく懐かしいDepth画像がiOSでも表示されます。カラーカメラはついていませんが、iPad/iPhoneのカメラと合わせて使えます。内部的にはフレームを同期して取得する関数もあります。

先ほどの暗視カメラについて、ViewerのデモはDepthデータを表示していますが、コード上でパラメータを変えることでIR(赤外線)画像を取得できるようになります。これを実行してみると赤外線画像が表示されます。Kinect v2の赤外線がよく見えることがわかります。現在、赤外線LEDはつかえていないのですが、赤外線LEDを有効にすれば、夜でもよく見えるのでしょうね。

先ほどとは逆にKinectのドットパターンを見ることもできます。

一通り触ってみての感想としてはこんな感じです。

• いいところ
  • iOSでのセンシングは思ったより面白い(ケーブルレスは新境地)
  • Depthデータが取れるので、従来のセンサーの活用ができる
    • 作ればスケルトントラッキングもできるはず
  • 暗視カメラに新しい活用法がありそう
    • 赤外線LEDの点灯方法が分かれば、血管も見えそう
  • iPadとiPhoneでまた違った体験がある
  • Google Tangoも同様に裏につけて3Dスキャンがプッシュされているが、手前につけてジェスチャーもよさそう
    • 内蔵ではないため、iPad/iPhoneの裏/表と4パターンで考えられる
• 微妙なところ
  • 動作確認がめんどくさい
    • センサーがLightningケーブルで接続されているため、Macからプログラムをダウンロード→差し替え→実行という手順になる。デバッグが大変そう
  • 持ち運びをどうしよう
    • ケースがないので、iPadにつけっぱなしにするわけにもいかず、とはいえ外しても置き場がなく
  • 充電しながらのセンシングができない
    • Lightningの取り合い
    • 展示会とかは難しそう

いろいろありますが、思ったよりも面白く遊びがいがあります。また、モバイルでのDepthセンサー利用はこれからというときに、いち早く体験できるのは大きなアドバンテージだという話をしていました。