NOLOとUnityで簡易的なVtuber制御システムを作る
■NOLOとは？
NOLOはキックスターター発の、6DoFに対応していないヘッドマウントを6DoF対応にしてくれるハードウェアです。Oculus GOやGearVRのような移動ができないVRヘッドマウントを、Oculus Rift CV1やHTC VIVEのように6DoF対応にしてくれるものです。PCにもモバイル機器（Android、iOS）も対応しています。
PCを使用した、頭と上半身をトラッキングして簡易的なVtuber制御システムを作ります。リップシンクは今回の記事では入れていません。
僕はキックスターターでバックして購入しましたが、現在は国内の正規代理店よりAmazonで購入することができます。
■NOLOの基本構造
ベースステーション１つ、左右のコントローラ、ヘッドマーカーのセット。
ベースステーションを親機として、左右のコントローラとヘッドマーカーをBluetoothでペアリング、ヘッドマーカーとPC（あるいはモバイル機器）をUSBコードで接続します。
ヘッドマーカーとPC（あるいはモバイル機器）との接続は付属のUSBコードを使いますが、市販のものでも構いません。（付属のものはあらゆる機器に対応するため何本も束ねてあり鬱陶しいので個別に交換したほうがおすすめ）
ちなみに付属の3股に別れたコードは充電用です。
ベースステーションは充電しながら使用できます。VIVEと違って１つだけなので、適用範囲は狭い。（FOV100°、5mx5m）
VRヘッドマウントの仕様を前提にはしているが、VRヘッドマウントは別に必須ではない。今回のVtuber制御もヘッドマウントは不使用。
■NOLOを開封してペアリングする
公式のペアリングガイド、動画を参照のこと。
https://www.nolovr.com/pairing-en
https://www.youtube.com/watch?v=wrEywuWb8zQ&feature=youtu.be
A.ベースステーションの電源を入れてから、背後のペアリングボタンを振動が止まるまで押す。ベースステーションの振動が止まり、正面から見て１つだけ赤いLEDが点灯している状態がペアリングモード。
B.コントローラーの○ボタンを長押しして電源を入れ、サイドに有る細くて小さなボタン（爪でしか押せない）を長押し。コントローラーの赤いLEDが消えたら成功。
２つのコンロトーラーを同時でなく順番に同じ作業を行う。
C.ヘッドマーカーをUSBでPCと接続し、ペアリングボタンを長押し。LEDが一度点滅したらペアリング成功。（赤→消灯→赤）
D.ベースステーションの背後のペアリングボタンを１度押すと（長押しではない）、数秒後に起動。振動し始める。その状態でコンロトーラーの電源を入れる。
それぞれLEDが緑になっていればペアリング成功。
■NOLO Asistantをインストール
下記よりダウンロードしてインストール
http://download.nolovr.com/download/noloassistant.html
NOLOASSISTANT_Setup.exe
起動して、画面上部の歯車アイコンを押して、設定画面に移動。
「Visualizer」というサンプルアプリがあるので起動して、NOLOが正常動作しているかどうか確認。
■Unityでの開発
A.SDKのインポート
下記にアクセスして、Unity SDKをインポート（UnitypackageをUnityエディタ画面にドラッグ・アンド・ドロップしてインポート）
https://www.nolovr.com/developers
https://github.com/NOLOVR/NOLO-Unity-SDK
NoloVR→Example→General→Test.unityシーンを開く
プロジェクトを実行して、無事に動作するか確認
B.Unityちゃんのインポート
下記よりダウンロード（ライセンスに同意→「ユニティちゃん 3Dモデルデータ」をダウンロード）
http://unity-chan.com/contents/guideline/
※記事執筆時点ではVersion:1.2.1
UnityChan_1_2_1.unitypackageをインポートする。
C.Final IKをアセットストアで購入してインポート
https://assetstore.unity.com/packages/tools/animation/final-ik-14290
※インポート後は「plugins→RootMotion→FinalIK」配下にあるので注意。
※Final IKは有料のアセットです！（90ドルくらい）
D.NoloManager設定
Test.unityシーンを開く。
ヒエラルキーのNoloManager→Hmd(camera)→Main Cameraをオフにする。（客観視点にする）
LeftController、RightController、Hmd(camera)の子として空のオブジェクトを作成する。（それぞれを右クリックしてCreate Empty）
名前は何でもいいが、自分はそれぞれLefthandTarget、RighthandTarget、HeadTargetとした。
LefthandTargetのRotation:Yを90に。
RighthandTargetのRotation:Yを90に。
HeadTargetのRotaion:Yを-90、Zを-90に変える。
※VR IKの設定回転にずれがあるため
E.UnityちゃんのインポートとVR IK組み込み
プロジェクトメニューから
UnityChan→Prefabs→unitychanをシーンに配置。
Positionをすべて0.0.0にする。
カメラをUnityちゃんの正面を写す位置に配置
※ヒエラルキーからCreate→Camera
ヒエラルキーのunitychan（プレハブ）の直下に
Plugins→RootMotion→FinalIK→IK Components→VRIK.csをアタッチ。
unitychanのインスペクタの「VRIK」の以下を設定
Solver→Spine→Head TargetにNoloManagerの先程作ったHeadTargetをアタッチ。
Solver→Left Arm→TargetにNoloManagerの先程作ったLefthandTargetをアタッチ。
Solver→Right Arm→TargetにNoloManagerの先程作ったRighthandTargetをアタッチ。
VRIKの各設定項目は以下を参照
https://qiita.com/_karukaru_/items/b74bb5bdf08f5de32d0e
これでとりあえず上半身と頭の動きが完了！
※コントローラーの動きがカクカクする場合：
→上記のペアリングをやり直すと治ることがある
→赤外線を使用しているので、
強いハロゲンランプ
VIVEのベースステーション
直射日光
のない環境で行うこと
ヘッドマーカーのUSB接続は、ロック機構のないMicro USBなので外れやすい＆端子が劣化しやすいので注意。使用時はテープなどでガチガチに固めるべき。
■その他
もともとVRヘッドマウントを6DoF対応させるためのものですが、僕はVtuber制御のために使うのでヘッドマウントを使用していません。下記のように通常の安いヘッドフォンの上部にヘッドマーカーを固定して使用しています。
＜画像は後ほど＞
PremiereでステレオVR動画（TB）を半分に切る方法
Equirectanglar形式のステレオVR動画は右目が上、左目が下において連結した１：１の動画になります。以下はPremiere Proでこの動画を半分にしてモノラル動画に変換する方法です。
１．プロジェクトパネル下部の新規項目アイコンをクリックし、「シーケンス」を選択。新規シーケンスダイアログボックスの「設定」タブを選択。
２．「編集モード」メニューを「カスタム」に、「ビデオ」セクションの「フレームサイズ」を縦横同じ値に設定します。ドットのアスペクト比を１：１に変更。
これで動画のアスペクト比の設定がかわります。
３．動画を選択し、ビデオエフェクト→モーションで
Y軸（２つめ）のアンカーポイントを切りたい位置のY座標にする
VR ZONE SHINJUKUに行ってきましたレポート
話題のVR ZONE SHINJUKUに行ってきました。同業者的な視点であれこれ感想を述べたいと思います。
■外観
ていうかまさに歌舞伎町のど真ん中。以前に映画館とかあったところまるまるなのねとびっくり。すごいロケーションです。
■内観
わりと広い。オサレ。広さや内装イメージとしてはお台場のジョイポリスに似ている。ゲーセンというイメージはない。
客層は意外にもカップルが多い。カップル、若者（リア充）のグループが大部分。大学生くらい。男も女もシュッとしている。オタクはほとんどいない。あと外国人観光客多し。
■チケット制度
僕は４４００円払って入場券と４色券のセットを予約して買いました。予約だと強制的にこのセットになります。４色それぞれの色ごとにできるアトラクションが決まっており、あるアトラクションをやってしまうと同じ色のアトラクションはできません。
僕は以前お台場にあったVR ZONEに行ったことあるのでその時に体験したものは避けて
を選びました。どれも人気のアトラクション（VR ZONEではアクティビティと呼んでいる）でこの組み合わせで選んでる人はかなりと多いかと。
時間としてはおよそ並ぶ時間も含め３時間位で楽しめる。空いていれば２時間でも行けるか。２－３時間で確実に一人アタマ４４００円払わなければ行けないというのは映画などと比較して若干高めか。遊園地としては安いがあちらは一日楽しめる。逆に言うとそのくらい納得して払えるものを提供しなくていけないということになる。
大人気。ほとんどこれ目当てに来てるんではないだろうか。マリカーをメディアなどで知ってきて、それ以外のアトラクションはまあせっかくだからやっておこう、というくらいの人が多い気がする。女性が絶叫して楽しんでいた。
８月平日の１８時入場で行ったのだが、いきなり長蛇の列で４０分位待たされた。ちなみに平日は夜遅くなればなるほど人は減るので、人気のアトラクションは後回しにしたほうが良い。（土日は知りません）
アトラクションごとにこういうパネルがあり、ベット下敷きみたいにみんなに配って回収する説明書きも用意してある。
基本的には体感筐体にハンドルアクセルがあり運転。VIVEトラッカーを両手に装着して、これで運転中にアイテムを自分の手で取ることができる。アイテムをとったり使ったりする時に特にスイッチを押すようなアクションはないため、手に触れたらゲット、振って加速度が検知されたら投げるくらいの作りだろう。
運転は相当簡単。正直ほとんど操縦しなくてもカーブでは自動的に曲がるイメージ。運転に失敗して事故ることはほとんどなく、アイテムにやられてスピンするのがほとんど。通常のレースゲームに比べて道幅はかなり広く設定しているように思える。
筐体は2台一組でベースステーション２台で仕切ってある。仕切りはカーテンではなくきちんとした建込みの壁。ただゲームは四台一組でネットワーク化してある。台ごとにキャラは固定でゲーム内で選ぶわけではない。つまりキャラを選ぶときは台を選ぶ。
写真は取れなかったがマリカーで使っているVIVEトラッカーはだいたい想像通り。Gopro用に市販されている親指を通すタイプの固定具で、GOPRO マウントをカチッとはめるタイプのアタッチメントがついているものを、3Dプリンタで作ったGOPRO→三脚ネジへ変換してつけている感じ。
■ハネチャリ
非IP系ではハネチャリが断然人気あった。実際面白い。ここだけなぜか待機列のところで店員のお兄さんがずっとトークで間を持たせていて、ずっとしゃべらないといけないので話題が尽きてて大変そうだった。
筐体では風を制御してある。ハンドルを引くと降下、押して漕ぐと上に登っていく。ハンドルは左右に切って移動もできる。後ろを見ながら漕ぐと（VR内の）木でできた歯車のギミックがちゃんと動いていて面白い。CGが綺麗。風もいろいろな方向から出てきて迫力あり。
待機列のところにある程度の人数が座れるベンチがあり、座ることができる。そこでスタッフのお姉さんが事前に操縦の説明を行う。スタッフのお姉さんはエヴァ好きすぎみたいな熱い感じでリア充カップルは引き気味だった。
エヴァの筐体設備。なかなか凝っている。一台200万以上はかかっているだろう。風も出る仕組み。レバー２本で操作する方式でおそらくボトムズなどと共用。
筐体は3台一組で区切り。これが３組か4組あったと思う。うちらのときは三台をスタッフ一人でまわしていた。レバーを毎回アルコールで丁寧に拭いていた。３人をスタッフ１人で装着しているので多少時間がかかる。
この操作体系、レバー両方同じ方向に倒して移動するなら、レバー１本でも同じやんけ！と心のなかで突っ込んだ。まあレバー筐体は共通なのでしょうがないか。
ゲーム内容は使徒をバンバン撃って弾がなくなったら補充してまた撃つ。避ける要素もあると思うんだけどよくわからなかった。そもそも補充するところがよく分からずウロウロ。使徒は硬くて撃ってもどんだけダメージ受けてるのか、あとどのくらい打てば倒せるのかなど全く分からず。ゲームとしてはかなり不親切。ゲームそのものより乗り込んで出発するまでのほうが面白かった。別アトラクションのお兄さんが言っていたが、このゲームクリアできるの一日１組くらいだそうだ。
■釣りVR
釣りは一人でベースステーションのスペース1つ占有するので面積的なコスパは悪い。好きに動き回らないように人間はベルトで固定される。釣るのはブラックバスかと思ったらニジマスらしい。VR内の竿のしなりが妙にリアル。竿持ってプルプル振るのが楽しい。CGはスクショだと綺麗だと思ったが、HMDかぶるとまあ普通だった。
ゲームは魚影の方に投げるというのを最初知らずに無関係な場所にばかりキャストしたので点数は低かった。ルアーを変えられる。タモ網が床においてあるので、年寄りはよっこらしょって感じになる。ヒットしたときの振動はもっと強いほうが良かったなという感じ。
釣りVRのすごさはこの釣り竿コントローラー。VIVEトラッカーはただ固定してあるだけではなくリールの部分と一体化している。ルアー投げる時はスイッチを使用しているので、おそらくVIVEトラッカーのPogoピンを内部で直結して使用している。
リールを巻くときちんと回転数がとれている。
■それ以外の感想
・ボトムズ超人気なくて気の毒な感じだった。まあぼくは前回やったので。アーガイルシフト、ガンダムなども人気なる、客層と異なるというところ、あとは前回お台場にあったものはさほど報道されず人気がないのかもしれない。有名IPといえど、女性ロボットには興味ないのだろう。
は
・かめはめ波は、ディズニーランドのように店員がノリノリでかめはめ波講習をしたりして大声を出させられたりする。俺はそういうの苦手なのでやらなかったが、カップルや外国人観光客はとても楽しそうだった。
・VR ZONEかめはめ波のスタッフ用ツール。VIVEトラッカーの充電状況がひと目でわかるようにしてある。
・ベースステーションは基本的に天井からポールを使って固定。ACアダプタを指すところも天井にあった。基本的に前方に2台置くスタイルで、対角線ではない。アトラクション間の鑑賞を防ぐ仕切りはたてこみの壁で行う。
・１階にはプロジェクションマッピングを使ったチームラボ的な設備もあったが僕は興味ないのでスルーした。ここではVRは全てVIVEを使用しており13歳以上なので子供はこれか風船が膨らむやつしかできないことになる。子供連れにとってはコスパ悪い施設で実際子供連れの家族はほとんどいなかった。
・１階でPSVRサマーレッスンが無料でプレイできるスペース。僕についてくれたスタッフのお姉さんが可愛くて、やはり女性は現実のほうがいいなと思った。
・攻殻機動隊がカミングスーン。かなり広いスペースが確保されてるぽかったので、おそらくゼロレイテンシーみたいに銃持って空間動き回る系だと思う。
・物販スペースもあり。物販大事だと思う。
・アトラクションの説明パネルの右下にはVIVEとアンリアルエンジンのロゴが。開発ツールのロゴをいちいち載せてあげる義務はないと思うが、なんか載せると便宜図ってくれるのかな？それともゲーム業界の慣習？
■VR ZONE新宿の総括
VR ZONE新宿については想像以上にリア充向けのテーマパークとして成立していた。ほとんどカップルかさわやかな若者のグループ。IPを全面に押し出した テーマパークとしてはUSJに近いのではないか。だからこそIPでもボトムズやガンダムなどオタク向けのものはさして人気なかった。
というかさっきも触れたが殆どの人は報道で知ったマリカーVRをやりに来たような感じで、他のアトラクションは券があるからついでにやっとこうくらいものだと思う。いっそ のこと２階あるうちのワンフロア全部マリカーでもいいんじゃないのくらいの人気の差がある。次に人気あったのは意外にもIPではない羽チャリ。
なのでおそらく今後入れていくアトラクションやIPもオタク的なものから徐々に離れていくのではないか。ポケモンなどあるとかなり盛り上がりそうで、サンライズから離れて任天堂路線で行くのではないか。あとは個人的にはトトロVRなどジブリものなどがあると客層的にさぞかし盛り上がるだろうなと思った。
ちなみに「3Dゲームをおもしろくする技術」という本で、ゲームが2Dから3Dに移行した段階でそのまま3Dにするとユーザーにとっては難易度高すぎなのでいかに ソフトで補正してあげるかがキー、というのを最近学んでいたのだが、初見プレイ＋ゲーマーじゃない人が基本のロケーションベースVRでは、気持ちよくプレイできる補正がより大事になってくるのだなと感じた。
■余談～チケットのQR
VR ZONEチケットのQRコードを読み取りアプリで読んだら40桁の数値だった。ぼんやり見ていると基本的に購入番号＋チケットの種別くらいかな。末尾に2017080120170831とあるのは有効期限でしょうか。みなさんも読み込んでみてください。
UNIDUINOが動かない（COMポートが見つからない）ときの解決メモ
超久々にUnityからArduinoをいじりたいと思ってUNIDUINOからつなげたのだが動かない！エラーメッセージを見るとUNIDUINOがシリアルポートに接続できていない感じ。しかしポート番号は間違っていないしArduino IDEからは正常に接続してスケッチの書き込みもできている。
なんでだろうとTwitterでぼやいていたら、GOROmanさんからアドバイス頂き解決しましたので、同じようなことでハマる人のためにメモ。
症状："IOException: The port `COM**' does not exist."
というエラーメッセージが出てUNIDUINOからArduinoのポートに接続できない。（Windows）
解決方法：ArduinoにわりあてられているCOMポートが10以上の場合はUNIDUINO上ではCOMポートの前に
COM34
↓
//./COM34
と書く。（スペース無しでスラスラドットスラ）
//./COM10とかすればいいかも。 http://t.co/S0r09ZDg9f RT @GOROman: COMを1~9にしないと認識失敗するようです @ShibusawaRocket: UnityのAsset、Uniduino pic.twitter.com/cyUkNrdJY4
— MIRO (@MobileHackerz) 2014年3月3日
ちなみにこれ以外にも、
“Connected but waiting for Firmata protocol version
と出て接続できない症状が出ましたが、これはUNIDUINOの公式FAQに載っており。COMポートの接続スピードを57600にすれば治ります。
ESP8266=ESP-WROOM-02≠Espr Developerの覚書
今話題（去年？）のWifi内蔵マイコンESP8266についていろいろ遊んだので、忘れないうちに覚え書き。僕は初心者なので特に世間にある情報よりもすごいものはないことが断言できます。
以下、箇条書き
・ESP-WROOM-02とPCと通信するときはブレッドボードなどでUSBシリアル変換チップと組み合わせなければいけないが、Espr Developerはその辺がセットになっているので便利。
・ESP-WROOM-02はAruduino化してスケッチでプログラムを組むことができる。手順は以下を参照。
esp_dev_arduino_ide – スイッチサイエンス
・Arduino的に使う場合のピン
VOUT→5V出力
TOUT→Analog入力（ただし電圧は1Vまでなので3.3のものを入力するときは分圧回路かます事）
VIN→電源入力。ただしUSB経由でも給電可能
・サーボ関係はPWM出力で制御心経を出せばそのまま駆動可能。ただし電源出力は怪しいため別途用意した方がいい。
・Milkcocoaで配布されているESP8266関係のライブラリだが、ESP8266を直接ArduinoするものとArduinoからATTRACTコマンドで操作するものと2種類ライブラリがあるので注意。ドキュメントのページからDLすること。（古いバージョンで２つがまだ一緒の頃のものがあるが、それは動かないので注意）
・Milkcocoa無料版ではメッセージ数が1アプリごとに1日20000に限定されており、それを超えると使えなくなるので注意。（リアルタイムで0.1秒毎にセンサー情報を記録したりするとあっというまに2万超える）
・Milkcocoaのデータストアは1アプリから2種類以上呼び出すことも可能。データストアはJSON形式でds.pushあるいはds.sendで記録する。
・Milkcocoaの設定で、呼び出し先のホストの初期設定は削除しておくこと。
・
３６０°動画のためのGoProメモ（２台体制）
※インタニヤのレンズ＆Gopro２台体制。
・Goproのモード切替は変わりやすいので注意。
・Wi-Fiは電池寿命が著しく減る＆本体が熱くなり熱暴走リスクが増えるので極力使用しない。
・GoproのHDMI出力はPCディスプレイは不可。いわゆるHDCP対応の「家庭用テレビ」に限る。（なぜこのような仕様になったのかは不明。制御チップのコストかな？）
・現場で映像モニターする場合は、車用の小型テレビを使用。
↓この商品でモニターできることを確認済み。※ただしこの製品は車用なので、シガーソケット電源しかない。ACアダプターは別途購入のこと（12V/1A）
http://www.amazon.co.jp/dp/B013WTQV44
・動画の編集の際はなるべく劣化のいようGopro Studioで「Cineform AVI」に変換してから編集を行う。Cineform形式はロスレスではないが、比較的劣化の少ない独自フォーマット。ロスレスの５分の一程度の容量。Cineformはプレミアでも編集可。他社の編集スタジオに出す場合も基本あこの形式でやり取りすること。
・Gopro Studioでインポート・エクスポートするフォルダ名には日本語は使わないこと。インポートできず、エクスポートの際にもエラーが出る。
・Goproの映像設定は以下。
220レンズ（２台）：2.7K(4:3) 30fps
280レンズ（２台）：4K(16:9) 30fps※デフォルトが16:9
280レンズ（１台）：2.7K(4:3) 30fps
・Goproでの連続撮影時間は１時間半～２時間。（Wi-Fiオンだと３０分）USB給電しながら録画できるので、大型モバイルバッテリー必須。（三脚に引っ掛けておく）
・２台体制の場合、どちらが前かは輪ゴムか何か目印で統一しておく。
・メモリは64GのSDHCが使用可能。必ず4K動画対応のカードにすること。64Gで２時間程度の録画が可能。（32Gだと１時間なので短すぎ）
・220×2台と280×2台だと220が若干画質が良い。
・レンズの中心になるほど画質がいい。レンズの橋になるほど画質が悪い。（重要な被写体はレンズの中心に置くこと）
・レンズ2台の真横は合成の際に切れ目ができるので、重要な被写体はおかないこと。
・Goproは仕様でファイルが4Gごとに別ファイルになる。４Kの場合時間で言うと12分程度でファイルが別になってしまうので注意。あとでGopro Studioで合成する。
・Gopro Studioで合成する際は、タイムライン上で2つのファイルの間にある「＋」（プラス）のボタンをおすこと。これを押さないと継ぎ目の音声が途切れる（押すと継ぎ目を緩和してくれる）
・撮影前にレンズは吹くこと。指紋がつきやすい。
・照明の強いところで撮影するときは、レンズフレアに注意。（モニターで事前にチェックしておく）
・360度の場合は動画の一部を拡大することになるので、離れると画質が荒れる。タレントなど顔が大事な被写体を撮影するときは、なるべくカメラに寄ってもらう。（でできば1メートル以内）2メートルだと顔が不鮮明になり満足度が下がる。
・360度の場合は一般のレンズのような「画角」という概念がない。あえていうならVR化すると実寸と同じサイズで見える。
・Goproは熱暴走しやすいので、屋外の暑い場所では注意。
前後のホワイトバランスが違っていると調整が面倒なので、ホワイトバランスはオートではなく固定にする（デフォルトはオート。Protune設定→ホワイトバランス→ネイティブ）
※各種Protune設定：ホワイトバランス→ネイティブ、からー→フラット、ISO上限→400（これは状況に応じて）、画質→高
・エンタニヤのBack To Backリグを使うと実質的にバッテリー交換できないので注意。交換バッテリーよりモバイルバッテリーを常備する方が良い。（レンチを使えばリグからはずして交換できれば面倒で現場ではおすすめしない）
・撮影の際は前後カメラがちゃんとまわっているか本体上面の赤LED点滅を目視で確認。モニターがあれば必ずモニター上でも確認する。
・Autopanoでの合成の際は、前後どちらの音声を使うのか意識すること。基本的には前カメラの音声を使う。
・Goproは外部マイクも使えるが、給電とUSBジャックが共用のため注意。給電しながら外部マイクは使えない。外部マイクの場合は別の機器でとって後で合成。
・エンタニヤのレンズを使う場合は防水は無理。Goproのハウジングは使えない。
・エンタニヤのBack TO Backリグ使用時は背面LCDは使えない（背面がぴったり付いていて端子が塞がれている）
・撮影開始の時は、１）モニターでチェック、２）録画モード、解像度設定のチェック、３）録画ボタンを押して正しくLEDが点滅しているかチェック、４）モニターで前後とも録画開始されているかチェック
の手順を必ず踏むこと。
・Gopro Studioで編集する際には、４：３→１６：９になっていないか要注意。編集画面の右カラムで１６：９にデフォルトでなっているので、４：３に変えないといけない。（何時間もかけてエクスポートしたのに；；。。。）
