AIが音声ファイルをMIDIデータに変換するNeuralNote

表題の通り、NeuralNoteはWAVやMP3などの音楽ファイルを読み込んで、MIDIデータを出力するツールだ。

こういうことができたらなあ、とは誰でも思いつく。しかしこれを精度よく実現するのは至難の業だった。機械学習の技術が出現するまでは。

解析に使用するモデルは大中小の３つから選択できて、大だと2.7GBの領域が必要になる。とはいえ今どきのPCなら、大きいというほどのサイズでもないだろう。

PCにGPUがあれば利用してくれる。自分のPCはRTX3060が載っているが、普通の数分の楽曲なら数十秒でMIDIデータ化される。ドラムトラックも含めてだ。

もちろん、完璧なデータではない。おそらく、楽器の音色のモデルも持っていて、「知っている音色」であればかなり高精度に認識できるが、シンセサイザの典型的でないような音色は認識の性能が悪いようだ。意外と日本語の歌の認識精度もあまりよくない気がする。英語の方が得意なのだろうか。

とはいえ、ポイと音声データを放り込んだらMIDIデータが出てくる、というのは、ある意味、夢の技術だった。それが、ついに実用的なレベルで（しかもオープンソースで）実現したとは感慨深い。