ボーカロイド自動調教計画

ぼかりすに影響されて少し前から妄想していました。
ぼかりすの問題点はマンパワーを必要とする点です。生歌からピッチと音量を取っているため、生歌が上手くないと意味がありません。ところが歌唱力が高い人はそうはいないと思います。そこで機械学習を用いて調教することが出来ないかと考えました。
現在考えているやり方は以下の通りです。

1. 生音からピッチと音量を抽出する
2. 楽譜情報を作成する
3. 楽譜情報から特徴量ベクトルを抽出する
4. 生音を教師データとして学習させる

特徴量ベクトルではノート番号、子音、母音などを数値化して使用しています。
実際にやってみた結果がこちら。赤が生音から抽出したデータ、緑が生成されたデータです。


上がピッチ、下が音量です。適当に拾ってきたピッチ/音量抽出プログラムを使っているため、データがぐちゃぐちゃになってしまっています。なんだか良く分かりません。もう少しちゃんとした抽出プログラムを使って実験したいです。