ブログ@kaorun55

HoloLensやKinectなどのDepthセンサーを中心に書いています。

OpenNIとKINECTおよびKINECT SDKのロードマップ

Kinect


ここ数日、KINECT界隈では様々な新しい話題が出てきて、また面白い展開になっていますね。
同時にそれぞれのロードマップも出てきているので、自分なりに整理したいと思います

KINECTおよびKINECT SDKのロードマップ

ここひと月ほどで新しく出てきた情報をまとめると、このようになります

いよいよMSもKINECTアプリケーションに本腰を入れてきた感じですね。

いろいろな情報を見ていると僕の中ではこのように感じています。

商用SDKは有償で、新しいPC用KINECTはその一環

こちらを読んでの感想なのですが、「商用版のライセンスを選択した開発者には「音声追跡と人間追跡の継続的なアップデート」と「完全なサポートつきのWindows向けKinectハードウェア」が提供される」らしいので、おそらくこうなるのではないかと。

ライブラリはジェスチャー認識よりは、画像、音声処理に特化される

現在のKINECT for Windows SDK Beta2 を見ていると、OpenNI相当の機能が主でNITEに相当するジェスチャー認識はありません。とすると、MSの方向性としては、ジェスチャーUIよりは画像処理、音声処理の方向に持っていくのだと思っています。
OpenNIとの差別化のために、一部の報道で見られる指の認識までは入るのかなぁと思います(個人的に入ってほしい)

またPC向け「Kinect」ハードウェア、2012年に登場へ--PC用に一部を改良 - CNET Japanからの推測として

  • 「Kinectの深度カメラが最短で50cm離れた位置にある物体を認識できるよう」から「上体トラッキング」も可能になりそう
  • 「数のデバイスが同じUSBポートを利用できるようにUSBケーブルを短くし、ドングルを追加する」から複数KINECTを念頭に置いている
    • 複数KINECTについてはBeta2でも修正が入っているので、需要があるのですね

OpenNI(Xtion)のロードマップ

先日のOpenNIアップデートにて、骨格の追跡にポーズがいらなくなりました。
このアップデートは、2011年5月の時点で明らかにされていたのですね(僕は知りませんでした)。
The Future of OpenNI, PrimeSense (Makers of Kinect)

この内容からOpenNIのロードマップを考えてみます(訳に不備があればコメントください)。

  • By the end of the year, PrimeSense will release an update that makes it possible to initiate user skeleton tracking on OpenNI/NITE without requiring the “Psi” calibration pose. PrimeSense’s internal milestone for this functionality is September/October, with release shortly thereafter. (And in case you were wondering why XBox titles don’t require the pose, Microsoft actually wrote all their own middleware–they don’t use OpenNI or NITE at all.)
    • 今年の年末までに、PrimeSenseは「Psi」ポーズ*1を要求せずに、OpenNI/NITEの上の骨格追跡ができる最新版をリリースするでしょう。この機能用の内部マイルストーンは9月/10月です(なぜXBoxのタイトルがポーズを要求しないのかいう質問に対して、マイクロソフトは専用のミドルウェアを開発し、OpenNI/NITEは全く使用していません)
  • Moreover, PrimeSense will introduce a robust subset of skeleton tracking for the torso only, called the “Upper Body Skeleton.” Many applications don’t require full skeletal tracking but can benefit from using more than a single hand point.
    • さらにPrimeSenseは、「上体スケルトン」と呼ばれるトルソ*2のみのための、骨格追跡を導入するでしょう。多くのアプリケーションが全体の骨格のトラッキングを要求しません。さらに、手の追跡以上のことをやりたいアプリケーションに対してもメリットがあるでしょう。
  • PrimeSense is working on bundling the three packages you need to run a Kinect app–OpenNI, NITE, and SensorKinect–into one.
    • PrimeSenseは、Kinectアプリケーションを実行するために必要とする3つのパッケージ(OpenNI、NITEおよびSensorKinect)のバンドルに取り組んでいます。
  • Finally, PrimeSense will be porting OpenNI and NITE to Android as well as ARM-architecture devices.
The Future of OpenNI, PrimeSense (Makers of Kinect)

この4つのマイルストーンについて、現状で「上体スケルトン」以外は実現されていますね。

僕の感覚としては、小さなARMボードにAndroidとOpenNIを載せてOmniTouchのようなデバイスを実現するのが、一つの目標のような気がしています。


OpenNI陣営は初期リリースからNITEという強力なジェスチャーライブラリをリリースしたこと、OpenNI陣営であるASUSがジェスチャー認識のために距離センサーのみのデバイスである「Xtion Pro」をLIVEより先にリリースしたことから「ユーザーインタフェースの進歩」を目的としている気がしています。Xtionの用途がリビングデバイスであることも含めて。

NUIというインタフェースは、フィードバックが十分でないためになかなか難しい側面がありますが、それをどのように進歩させるか、という難題に取り組んでいるように見えます。

まとめ：優劣ではなく、状況に応じた適切な選択を

それぞれの今とこの先から見える自分の想いを書いてみました(素人考えなので的を得ていないところも多々あるとは思いますが)。
いまのこの状況は、それぞれ日進月歩の状況ですので、追うのが大変な反面、とても面白い状況だと思います。この状況をより楽しむために、お互いの優劣よりも違いを把握したうえで、自分がやりたいことに適切な組み合わせを選択できるようになりたいものです。

*1:訳注：俗にいう「コロンビア」

*2:訳注：トルソ→胴、頭および手足のない裸身の彫像(http://ejje.weblio.jp/content/torso)