HoloLensは左右にスピーカーがついており、耳元で音をだすことができます。
ソフトウェア的にも空間音響をサポートしており、カメラ(HoloLens)の位置に対して音源(GameObject)から音が出ているように聞こえます。
例えば、音源が右にあるときは右のスピーカーから、左にあるときは左のスピーカーからという感じです。
空間音響は、音源となるGameObjectにAndioSourceを追加し、設定を少しいじるだけです。AndioSourceの設定もスクリプトにしたので、コードなしで立体音響になります。
まず、カメラの周辺にGameObjectを配置し音を鳴らします。
それぞれのGameObjcetにAudioSourceを追加し、音声データを設定、「Play On Awake」のチェックを外します。
あと空間音響の設定用にSpatialSoundスクリプトを張り付けています。
SpatialSoundスクリプトはこんな感じで、AudioSourceのspatialize、spatialBlendを設定しているだけです。これだけで空間音響になります。
HoloLensには単語の音声認識機能があり、登録した単語を「英語で」発音すると、それを認識します。認識をトリガーにして処理を行うことで音声コマンドを実装できます。
サンプルの実行風景です。英語がアレなので、ちゃんと認識してくれませんが、こんな感じになります。英語の発音の学習には最適かもしれません。。。
プロジェクト全体はこちらにあります。
例によってHoloToolkitを追加します。導入方法についてはこちら。
音声認識はKeywordRecognizerクラスで行います。これはUnityEngine.Windows.Speech名前空間にあります。
KeywordRecognizerに認識させたい単語を登録すると、それを認識したタイミングでイベントが発生します。そのイベントで関連付けた処理を実行すると音声コマンドになります。
Holograms 101を参考に、音声認識した結果によってSendMessageまたはBroadcastするコマンドを実装してみます。
SendMessageは音声認識した際に注視しているGameObjectにSendMessageを発行します。AirTap相当です。
Broadcastは該当GameObjectの子オブジェクトに対してメッセージを発行します。
Holograms 101ではコードで登録していますが、今回はInspectorビューから設定でききるようにしています。コマンドとメソッド名を設定し、コマンドの単語を認識したらメソッド名をSendMessageまたはBroadcastします。
Broadcastは子オブジェクトに対して発行するので、空のGameObjectをVoiceCommandとして、Cubeをその下に配置します。VoiceCommandにVoiceCommandManagerスクリプトを貼り付け、認識させたいコマンドと発行するメソッド名を設定します。スクリプトは次のようになっています。
HoloToolkitには音声認識後にイベント(UnityEvent)を発行する仕組みでの実装があります。
gist618a0c184be6f105ab518902afa927cc
次はコマンドを受けた側です。メソッド名に設定した名称のメソッドを作成します。そこにコマンド処理を実行します。
gistc08017e37ad186a415fa2841e93fc25b
これで音声で色を変え、ブロードキャストで色を戻す処理ができました。
HoloLens の視線カーソル(Gaze)とAirTap(Gesture)を使ってみます。
HoloLensの選択処理は現状これしかないので、なんらかのアプリを作る上では必須の機能となるでしょう。
プロジェクト全体はこちらにあります。
今回はHoloToolkitを使用します。HoloToolkitの視線カーソルにはいくつかあり、通常のカーソルや手の検出を見せるカーソルなどがあります。アプリによって使い分ければよいでしょう。
通常のカーソル
手の検出を示すカーソル
HoloToolkitを追加します。導入方法についてはこちら。
Hierarchyビューにあるものを削除して、UtilityのMain Camera Prefab、InputにあるCursor Prefab(通常のカーソル)、Cubeを二つ配置します。GestureManagerについては後述します。
Cubeはこのように配置します。
Transformの値はこんな感じで。もう片方はPositionのXが0.3になってます。
GestureManagerは空のGameObjectを追加し、InputのScriptsにある「GazeManager」、「GestureManager」、「HandsManager」を追加しています。
カーソルの使い分けで「HandsManager」を入れていますが、Cursor Prefabであれば「GazeManager」と「GestureManager」だけで動作します。
以上で視線カーソルとジェスチャーの実装は完了です。この状態で実行すると、Cubeに当たるとドーナツ型になるカーソルができあがります。
クリックを検出したら、そのときの視線の先にあるGameObjectに対して「OnSelect」メッセージが発行されます。GameObjectにOnSelectメソッドが実装されているスクリプトを貼り付けます。
例えば今回はAirTapごとに色を変える実装の「CubeCommand」をCubeに貼り付けています。
スクリプトの実装は次の通りです。
gist6ef1b1e5fbd40407c8cb9e7683e1a7bb
これでAirTapごとに色が変わるようになります。
カーソルを「CursorWithFeedback」に変更すると、手を検出するとモデルが変わるカーソルになります。
UntiyでHoloLensアプリを開発する場合、カメラ位置の変更や各機能の追加など、アプリ開発に入る前に結構やることがあります。
Academyに入っているPrefabを使ってもよいのですが「HoloToolkit-Unity」というツールキットがかなりよいので紹介します。
上記リポジトリはcloneなりダウンロードなりで手元に持ってきます。
Unityで新しいプロジェクトを作成します。
「HoloToolkit-Unity\Assets」にあるものすべてをProjectビューにコピーします(ここではGitHubからZIPでダウンロードしたのでmasterがついています)。拡張子がrspとmetaのものも入れてください。これらがない場合、コンパイルエラーになります。
HoloToolkitフォルダ以下に機能ごとのフォルダがあります。
例えば、Hierarchyのものをすべて削除して、UtilityにあるMain Camera PrefabとSptialMappingにあるSptialMapping Prefabを配置します。Build SettingsからVR SupportとSptial Mappingの設定をすれば、空間マッピングをワイヤーフレームで表示してくれるアプリができあがります。
ほかにもジェスチャーもPrefabを配置するだけで、その機能を使えるようになります。
HoloLensアプリで共通で必要な機能についてはおおよそ網羅されているので、かなり便利に使えます。
Utilities\Editorの下にプロジェクト設定に関するスクリプトがあります。
HoloToolkit-Unityを追加すると、Unityのメニューに「HoloToolkit」が追加されます。
この中ではScene Settings(シーン設定：カメラの設定)、Project Settings(プロジェクト設定：VRモードやクオリティ設定、UWP出力の設定)、共有サーバーの起動などがあります。
Scene Settingsを実行するとカメラ設定がHoloLens用に変更されます。
Project Settingsでは、出力設定やVRモードのチェックなどを行ってくれます。
シーンの追加やCapabilityの設定は別途必要ですが、最初の忘れやすい設定を自動で行ってくれるので、非常に助かります。
動画とってみました
Introduction to HoloLens developed in Unity
I/O 7月号にHoloLensの記事を書きました。 pic.twitter.com/BpHYXn2xii
— 中村 薫 (@kaorun55) 2016年6月16日
3ページでざっと概要を書いています。
初音さんの記事も昨日公開されていました。少しずつHoloLensの記事が出てきましたね。
HoloLensのToolkitに、HoloLensが認識した空間を元に平面を検出する機能があります。
上の画像は部屋の隅をキャプチャしたものです。壁2枚と天井を検出しています。
動きは次の動画を見てください。平面検出によって、床、壁、天井、テーブルの検出ができます(手持ちのテーブルは小さいためか、検出できませんでした)。平面および種別床や壁など)はそれぞれアプリで取り出すことができ、壁を使ったアプリケーションに応用できます。
HoloLensが認識した空間から、床や壁、天井などの平面を検出する
平面検出のコードはこちらにあります。C++/CXでビルドされていますが、コード自体はほぼ普通のC++です。
最初に平面検出を試す際は、AcademyのHolograms 230を動かすとよいです。
動画のサンプルプロジェクトはこちらに置いてあります。
このサンプルプロジェクトは、Holograms 230からいくつかのスクリプト、マテリアル、シェーダーを持ってきています。 HoloToolkit-Unity にある平面検出のスクリプトと合わせて「SurfaceMeshesToPlanesプレファブ」を作りました。「SurfaceMeshesToPlanesフォルダ」以下にまとめてあるので、これを別プロジェクトにコピーすればOKです。先の動画のサンプルは、この「SurfaceMeshesToPlanesプレファブ」と、HoloToolkit-Unityに入っている「SpatialMappingプレファブ」をシーンに置いただけです。特にコードなどは必要ありません(Player SettingsでSpatialPerceptionにチェックするのを忘れずに)
PlaySpaceManagerスクリプトにSurfaceMeshesToPlanes_MakePlanesComplete()があり、平面を検出するとこのメソッドが呼ばれます。これはもともとHolograms 230にあったもので、壁や床に対する処理の例が載っていますので参考にできるでしょう。
これを使うとRoboRaidのような壁から敵が出てくるようなゲームの開発が可能となります。
プロジェクト内で使用しているHoloToolkitについてはこちら
「Intel RealSense SDK 2016 R2」がリリースされています
SDKバージョンは10になりました。前回8だったので9はスキップでしょうか。
今回はAPIの追加変更だけのようです。これまでが新しいデバイス対応、新しい環境対応があったので、落ち着いた感じがします。
とはいえ、Person Tracking、EnhancedPhoto、ScenePerception、3DScanあたりの更新が目立つので、環境センシング、スキャンが強化されそうな感じです。
Person Trackingについてはこちらが詳しいです。
![IO 2016年 07 月号 [雑誌]](http://ecx.images-amazon.com/images/I/61q0clA-UQL._SL160_.jpg "IO 2016年 07 月号 [雑誌]")