playing.jpg

概要

Leap MotionとeVocaloidを組み合わせた、テルミンのような動きでVocaloidを歌わせることのできるインターフェースです。両手の位置と指の動き(握る動作)で歌い方を制御することができます。
Leap Motionは、赤外線カメラで手の動きを検出できるデバイスです。
eVocaloidはヤマハの組み込み音源のひとつで、ここでは大人の科学ポケットミクの内部にあるものを利用しています。
以上のように音源・インターフェースともに既成品を利用しているため、開発をしたのはハードとソフト両面のUI部分のみとなります。‎

プロトタイプ

インターフェース構想

キーボード

最初の試作機は、左手の位置で子音、左手の指の本数(グーなら0、チョキなら2、のような)で母音を指定して右手で音階とノートオンオフの操作をするものでした。しかも左手の位置は、3×3×3のルービックキューブ状に区分けされた空間領域上に手をもっていくというもので、位置のイメージできず操作が非常に難解でした。
手話の指文字で発音を指定するというアイデアもありましたが、Leap Motionがそこまで精度よく指と手のカタチをとれず、Macbookのビルトインカメラ利用アイデアも画像のリアルタイム認識を実装する技術がなかったので断念しました。

そこで、ふだん誰もがキーボードで文字を入力しているように、ローマ字入力と同時に音量や音階をとれればいいのではないかと思って作り直したものがここで紹介する完成版のVocaleaperです。

日本語は「モーラ言語」に分類される言語であり、日本語の楽曲は、基本的には音程をもった1回の発声は1モーラを成します。この1モーラの内訳は「母音のみ」「子音と母音」「子音と半母音と母音(=拗音)」「促音」「撥音」「長音」 のいずれかになります。この原理より、「日本語ボーカル用キーボード」のアイデアを書き出しました。

onso.jpg

基本的には、例えば「か」と発音したければ”K”と”A”を指定します。しかし「きゃ」のような拗音を発音したければ”K”と”Y”と”A”の三つを指定する必要があります。そのため、このような半母音の入った音素は”jA”のように分離することによって、”K”と”jA”の指定という両手で間に合うような組み合わせにすることができます。あとは本来の日本語に存在しない例外的な組み合わせである「つぃ」のような音を表現するTwという子音+半母音の組み合わせを追加し、それぞれボードの一番外側に配置しました。
さらに日本語で出現する音素の頻度が高い順番にキーボードの反応面積を大きくしています。特に母音となる文字は使用頻度が最も高いため、比較的大きな面積をキーボード上で占めることになりました。

外装 - ハードウェア

colk.jpg

市販のコルクボードにLeap Motionを埋め込んだあと、上述のキーボードの文字配置アイデアを書き込みました。次にそれぞれの文字領域の図形のおおよその重心だと思われる位置にLEDを設置します。子音は白色LED、半母音は青色LED、母音は赤青の2色のLEDにして、母音は赤を常時点灯させておいて選択状態になると青へ切り替わるようにしました。

inner.jpg

次にコルクボードをフタとした薄い直方体の箱を作成します。奥側の側面となる木材にはUSBと標準ラインアウトの左右とフットスイッチ用ジャックの計四つの穴を設置しました。この内部USBにLeap MotionとArduino MEGAの2つを接続します。Leap Motionは手指の動きを捉えてPCに送り、Arduino MEGAはPCからの信号を受けてLEDを制御します。
またこのUSBにはポケットミク基板も接続されており、外部MIDI音源として動作します。

操作画面 - ソフトウェア

view.png

ハードウェアはLeap Motionさえあれば入力インターフェースとして完結しており、作った黒い木箱は「二画面あるうちの下側」とでも言えるべきものです。つまりディスプレイである「上画面」がメインとなります。
基本操作のアイデアとしては、音高を手の高さ、音量を手の握り具合、その他パラメータを手の向きや角度(ピッチ・ロール・ヨー)で制御できればというものでした。これをもとに、木箱を底面とした直方体の内部で手を動かすようなイメージでGUIを作成しました。
開発期間短縮の観点からProcessing(一部Javaのネイティブコード)を開発言語として作成しています。

子供達の反応を通して

fun.jpg

実際に演奏をするには高度な技術が必要であり、製作者である本人もマトモに演奏させることが非常に難しいです。しかし、適当に手を動かすだけでバーチャルな画面が動き、よくわからない言葉になるもののVocaloidが歌いだす、という動作が子供達にはとても面白かったようです。
理論的なモノだけにこだわらず、意味はあまり無くても直感的なモノのほうが楽しくさせることができる可能性を感じました。

出展イベントなど

関連リンク