2019/7/27(土) 「Azure Kinect DK触ってみる会」 を開催しました。
イベントページはこちら
当日のまとめはこちら
ホロラボで5台調達できて色々触っていたのですが、Twitter見てると見てみたい、触ってみたい方が多かったので急遽開催してみました。
デザイニウムでも3台調達できたでので、7人の開発は1人1台＋見学用に1台という、この時期で豪華な買いになりました。スタッフ含めてご協力いただいた方に感謝します。
Kinect v2までのゲームコントローラーからブランディングを変えたことで、いままでHoloLensを扱っていたお客さんも興味を持ってくれるようになりました。Kinect v2も最後のほうは産業用途が増えていたので、HoloLens 2と同様にいい場所に配置されたのではないかと思っています。
Azure Kinect DKには複数台のシャッターを同期させるExternal Sync(外部同期)という機能があります。Azure Kinect DKのPVにも複数台をつなげる描写があるので、複数台を使った空間スキャンのシナリオが考慮されていることがわかります。
このエントリでは外部同期の手順について解説します。
ドキュメントはこちら
外部同期は複数台のAzure Kinect DKをオーディオケーブルで接続し、Depthのシャッターを同時に切ることができます。これによって複数台のAzure Kinect DKで同一タイムスタンプのDepth、IRのデータが生成されるので、同じタイミングでの空間スキャンができます。また、タイムスタンプが同一なので、それぞれのデータをクラウドにアップして後処理するなどの利用が考えられます。
ポイントは下記になります
なお、オーディオケーブルを接続する場所は付属のドライバでネジを外し、ケースを外すと出てきます(めんどくさい)。
Azure Kinect Viewerを使用しても外部同期を行うことができます。
デバイスを開き、ケーブルの状態を確認します。
Azure Kinect Viewerでの表示
起動してしばらくするとDepthのタイムスタンプが同じ値になります。
4台までの接続は確認しています。
スプリッタは2分岐でも5分岐でも動作しました。
ケーブル(5m/10m)
サンワサプライ オーディオケーブル 5.0m ブラック KM-A2-50K2
分岐
3.5mmオーディオ分配ケーブル 音声出力分岐コード イヤホンマイク機能搭載 ステレオミニY分岐ジャックコネクタケーブル 4極メス x 2-4極オス x 1 延長コード 多用型
Amazonベーシック 5ウェイ マルチヘッドホンオーディオスプリッター コネクター レッド
外部同期することでセンサーデータの同期の保証や後処理が可能になります。
ケーブルの取り回しが大変ですが、複数台のAzure Kinect DKを使う場合には導入を検討してみてください。
Azure Kinect SDKのインストールと各種ツールの使い方を紹介します。
Azure Kinect SDKをインストールすることで、開発に必要なファイルやビューアーツール、Azure Kinect DKデータのレコーダー、ファームウェアアップデートツールなどが利用可能になります。
公式のドキュメントはこちら
Azure Kinect のSensor SDKはこちらからダウンロードして、インストールします。
BodyTracking SDKはこちらから
Azure Kinect DKのプログラムを開発環境以外で動作させるときはSDKのインストールは不要で、実行ファイル(exe)と関連DLL(k4a.dll, depthengine_1_0.dll, k4arecord.dll)のみで動作します。
Azure Kinect DKはUVC(USB Video Class)という標準ドライバで動作し間に入るサービスもないため、センサーをUSB接続し、アプリ一式のみで実行可能となります。
デフォルトのビューアーです。最初の動作確認に使用します。
スタートメニューから「Azure Kinect Viewer」を検索するか、インストールフォルダ(通常は C:\Program Files\Azure Kinect SDK vX.Y.Z)のtools以下にある「k4aviewer.exe」を起動します。
通常は「Open Device」から該当のシリアル番号(複数接続されているときのAzure Kinect DKの識別子)を開きます。1つのAzure Kinect Viewerアプリでは1台のAzure Kinect DKのみ扱えるので、複数台のAzure Kinect DKを操作する場合には複数のAzure Kinect Viewerアプリを起動しOpenするAzure Kinect DKを変更します。
記録データの再生を行う場合には「Open Recording」に録画ファイル(拡張子 mkv)のパスを入力(ダイアログはないのでパスをコピペしますｗ)してmkvファイルを選択します。
Azure Kinect DKの動作を開始する前にデバイスの設定を行います。
基本的な設定としては、Depthのモード、カラーのフォーマットと解像度、フレームレートになります。
Depthのモードとモードによる見え方の違いは下記になります。
カラーのフォーマットと解像度は下記になります。 BGRAについてはMJPEGをSDKでデコードして作成しているようです。
フレームレートはDepthとカラーの最大値の小さい方に引きずられます。
「Color Control」を開くとカラーカメラの各種設定を変更できます。
外部同期の設定を行います(詳しくは後述)。同期ケーブルの接続はハード的に検出しておりSDKで取得ができます。
Azure Kinect DKの動作を開始すると、2Dでの画面が表示されます。IR、Depth、カラー、IMUとセンサー温度、マイクが取得できます。
3D表示に切り替えると点群で表示されます。
再生モードの場合は、自動で再生が開始され録画データのフォーマットが表示されます。
録画ツールです。コマンドラインアプリのため、コンソール画面やbatファイルで起動します。
ドキュメントはこちら
パラメーターは下記の通りです。
よく使うのはカラーモードの「-c」やDepthモードの「-d」あたりでしょうか。
例えば1080pのNFOV、Binnedは下記のようになります。
k4arecorder.exe -c 1080p -d NFOV_2X2BINNED -r 30 nfov_bined_1.mkv
1080pのWFOV、Unbinnedは下記のようになります。
k4arecorder.exe -c 1080p -d WFOV_UNBINNED -r 15 wfov_unbined_1.mkv
録画されたmkvはAzure Kinect Viewerで再生できます。
BodyTracking用のサンプルアプリです。BodyTracking SDKをインストールすると「C:\Program Files\Azure Kinect Body Tracking SDK\tools」にインストールされます。
k4abt_simple_3d_viewerはONNXを使用しているため、関連するCUDAのインストールが必要です。
インストールに関するドキュメントはこちらです。
CUDAは10.0固定となっており、インストールしてPCを再起動することで利用可能となります。CUDAをインストールする際に、GeForceのドライバのバージョンが下がる場合があるので、最新のドライバをインストールしなおします。
cuDNN はZIPでダウンロードするので、展開して「cudnn64_7.dll」にパスを通すかexeと同じ場所に置きます。
最後にVisual Studio 2015のRuntimeをインストールします(すでにインストール済みと出る場合にはそのまますすみます)。
この状態で実行すると動作し、下記のキーボード操作が可能になります。
下記の動画は「body visualization mode」と「3d window layout」を有効にした状態です。
うごいたーｗｗｗｗ pic.twitter.com/0GU3C1lKYU
— 中村 薫(Kaoru Nakamura) (@kaorun55) July 25, 2019
下記のようなエラーでしばらく動かなかったのですが、GeForceのドライバがエラーになっていたのでドライババージョンの問題だった可能性が高いです(今回はPCをリセットしてインストール手順を順に行いました)。
SDKをインストールすることでAzure Kinect DKの動作確認とデータの録画ができます。
録画することで、アプリ開発の際に再現性のある状態にできるので、現場データの録画は開発の最初に行うと良いかと思います。
Azure Kinect DKが到着したので概要および各種リンクをまとめます。
米国と中国のみ。日本へは一度現地の住所に送って転送。電波は出してないので技適は対象外。
URLは「en-us」にすること。「ja-jp」はNotFoundになる。
SDKはオープンに開発されています。
動きがないので微妙だけどないよりはマシ
こちらご覧ください
Depth性能が素晴らしく良い。
とりあえず、動作確認 pic.twitter.com/OjQxXin0FL
— 中村 薫(Kaoru Nakamura) (@kaorun55) 2019年7月8日
複数台のAzure Kinect DKのシャッタータイミングをハード的に同期させる機構。Azure Kinect DKは複数台運用も含めて設計されていることがわかる。
1 PCで4 KinectをExternal Syncで動かせたｗ pic.twitter.com/FhumU0EfQP
— 中村 薫(Kaoru Nakamura) (@kaorun55) 2019年7月10日
OpenCV + PCL(Point Cloud Library) + 1 Kinect pic.twitter.com/Y0wMyRih2i
— 中村 薫(Kaoru Nakamura) (@kaorun55) 2019年7月8日
外部同期はいったん置いておいてC#のプロジェクトを動かしてみた #AzureKinect pic.twitter.com/gqwkpxHI8U
— 中村 薫(Kaoru Nakamura) (@kaorun55) 2019年7月8日
C#でできればUnityに行ける pic.twitter.com/0c09eiSpnu
— 中村 薫(Kaoru Nakamura) (@kaorun55) 2019年7月8日
おかげさまで今年もMicrosoft MVPを受賞できました。
呼んでいただいたみなさん、ありがとうございました。
今年はHoloLens 2とAzure Kinect DKが発売されるので、また楽しい一年になりそうです。ぜひ色々なところに広げていきたいので、ご連絡いただければと思います！
いまの受賞分野はWindows Developmentですが、昔はKinect for Windowsだった時期もありました。
ビジネスメディアのBeyondにて「xR（AR、VR、MR）の「ビジネス活用」最前線」というお題で全4回にわたりインタビュー記事を掲載していただきました。
一応会社ブログにはリンクだけまとめたんですが、個人的な思いというか考えてることは切り離した方がいいかなと思い、こちらにもまとめます。
第一回で「実際の導入を見据えた案件も少しずつ出始めています」としていますが、これはホロラボでの開発期間、契約期間からも実感しています。
2018年は長くても半年くらいのプロジェクトがいくつかでしたが、2019年は1年分の予算を確保していただき開発や調査にそれだけのコスト(時間、費用)をかける企業が増えてきました。プロジェクトはEnvisioning(導入) → PoC(概念実証) → Pilot(部分導入) →Deploy(実導入)と進んでいき、Pilot以降を見据えた取り組みが増えてきています。
去年あたりから、プロジェクト数の数字などを出すようにしています。これは外からあまり見えない実態みたいなものを出していきたいという気持ちがあります。HoloLensはいろいろなところで使われ始めています。とはいってもどのくらいの会社が使ってるの？ どのくらいのプロジェクトが回ってるの？という数字が見えたほうがイメージしやすいのではと思っています。
例えば2018年の数字的なところはこちらです。2019年上半期もまとめてもらったので、どこかで出せるといいとは思ってるのですが、なかなか機会がなく。単純な数字でいうと、2019年半分で2018年一年分くらいにはなってます(プロジェクト数、売り上げなど)。
HoloLensの導入は手段であって目的ではありません。目的は業務の効率化であり、業務の効率化は線であって点ではありません。第二回で「自社の業務について「めちゃめちゃ考える」こと」と入れていますが、お客さん自身が自分たちの業務を考えること自体に意味があると感じています。実際にボトルネックはどこなのか？それはHoloLensでなければ解決できないのか？
MRPPのトレーニングで最初に言われたことは「Why? HoloLens?」でした。これは「なぜHoloLensでなければならないのか？」、「HoloLens以外の方法が最適ではないのか？」という問いに答えられるようにしなさいということです。これをお客さんとの会話の中で見つけ出さないといけません。なので、お客さんとの会話は大切で、もしHoloLens以外が最適であれば、HoloLens以外を選択するという提案をすることもあります。あくまでもぼくらの仕事はお客さんの業務の課題の解決なので。
業務課題の解決という意味では、点で見るとHoloLensが最適でも線で見るとHoloLens以外が最適なケースも往々にしてあります。ある業務ではHoloLensを使って改善ができるとしても、よくよくワークフローで話を聞くと、その前工程が実はボトルネックで、そこにはHoloLens以外の解決手段が適している場合があります。
なので仕様含めて丸投げされる場合は非常に厳しいですし効果も出にくいと考えています(これはHoloLensに限らないですが)。ぼくらは技術の提供はできますが、業務プロセスに関しては素人なので、そこはお客さん側でやってもらうこと。それをベースに技術的に解決することが自分たちの仕事と思っています。
とはいえ、多くのお客さんと話していると、課題は似ていたり、やりたいことが似ていることは多く、そういう共通項を見つけやすいことがお客さんと接している時間が長いことのメリットかなと思っています。
最近ちょっと考えてるのが、デジタルトランスフォーメーションだったり出社だったりというのは、技術ではなく文化(気持ち)の面が大きく作用するのかなと思っています。
たとえばデジタルトランスフォーメーションで紙をなくすといった場合に、いままで紙でやり取りしていたものが一切なくなるとして、それで業務が回るのか？という心配が変化を阻害するのではないかと思っています。
人間は変化を恐れるものなので、先に不安があると変化しない方を選択します。であれば、技術的な解決と並行して、心理的な不安を取り除くというなことも必要なんだろうなとぼんやり考えています。それをしないと表面上の導入に過ぎず、時間が経つともとに戻ってしまい、本当の意味での変革にはならないと思っています。
第三回にもありますが、個人的には今ビジネス向けVRをやりたいと思っています(諸々のリソースの関係でなかなか難しいのですが)。自分の中では昨今のスタンドアロンVRをVRとして見ていない節があり、HoloLensと同列に考えています。HoloLens、Mirage Solo、Oculus Go、Oculus Quest、それぞれ、性能、値段、機能によってメリット、デメリットがあり、それぞれ排他ではなく選択肢として考えると自分の中ではすっと入ってきたりします。HoloLens 2になり性能も似たようになったので性能的なひっかかりは少なくなると考えています。そういう意味ではWindows MR Immersiveのスタンドアロンが出てくれることを期待していたりします。
HoloLensは光学シースルーデバイスとして高性能ではありますが値段が高いことがとにかくネックになる。それに対してOculus Go、Oculus Questは10分の1程度に収まる。HoloLensでやっていることが必ずしもHoloLensでなくても良くてOculus Go、Oculus Questでも問題ない場合、単純にデバイス量で10倍は見込めます(ソフトウェアの費用は入れていませんが、そこは全体で調整すればいいのかなと思っています)。
第一回にある「米ウォルマートが従業員向けのVRトレーニングでOculus Goを17,000台購入」というのがありますが、ここまではいかなくてもまとまった台数の導入というのは非現実的なものではないかなと思っています。
2019年5月2日、3日に レドモンドのマイクロソフト本社にてMR DevDaysというイベントが開催されました。 名前の通りMRに関する開発セッションやアプリ開発体験ができます。今回は2019年中に発売予定のAzure Kinect DKのアプリ開発を行ってきました。 セッションは下記ですが、英語は...なのでハンズオンラボにてアプリ開発を進めていました。
ちょうど公開されたようです。
良くも悪くも今まで通り。Intel RealSense D435に近い印象。 現状ではCのSDKしかないので差別要因も不明。C#のSDKが出たらCognitiveとの連携などは簡単にできるようになるはず(ただ、それはRealSenseでもできるので、決定的な差別化要因にはならないと思う)。
単体であればIntel RealSense D435、複数台であれば日立LGのToFセンサーとの比較が必要になると思う。
セットされていた環境はUSB-C to Aのデータケーブルと、USBの電源ケーブルでした。USB-Cでバスパワーできないものどうなんだろう？と思ったので、HoloLens 2のUSB-Cケーブルを拝借してKinectに接続してみたところ、USB-Cケーブル1本のみで接続できました。
Azure Kinect DKの全体観についてはこちらでまとめていますので合わせてどうぞ。
