mixiユーザー(id:3879221)

2021年03月17日10:49

35 view

(音楽)ピアノの演奏動画から楽譜を自動作成

これはいい!Youtubeなどで演奏動画を見ていると、「この演奏を楽譜に落とし込めたらいいのにな…」と思うことがしばしばある。この記事で紹介されている技術が確立すると、そういった「楽譜への落とし込み」が可能になる。この記事では、ピアノ演奏が元になっている場合がとりあげられているが、ゆくゆくは、これにヴァイオリン、チェロ、フルート、クラリネットなどが加わったものでも可能になるだろう。

以前にNHKの番組『ららら♪クラシック』で、テクノロジーと音楽をテーマにやっていた回が放送されていた。そこでは、例えばベートーヴェンの第九交響曲の演奏の音声から、合唱部分、弦パート部分、管パート部分などのそれぞれの音だけを抽出する技術を紹介していた。これはこれまでは、例えばミックスジュースの中からりんごジュースだけを抽出するように難しいこととされてきた。いまはそれができるのである。ということは、例えば室内楽アンサンブルの演奏から各パートの音を楽譜に落とし込むことは十分可能になるだろう。

****************************
■ピアノの演奏動画から楽譜を自動作成 ディープラーニングで 京大と理研が技術開発
https://news.mixi.jp/view_news.pl?media_id=32&from=diary&id=6448674

 京都大学と理化学研究所の研究チームが開発した「Non-Local Musical Statistics as Guides for Audio-to-Score Piano Transcription」は、Web上のピアノ演奏動画の音声データから楽譜を作成する、深層学習(ディープラーニング)を用いた自動変換システムだ。

 システムは、3段階で構成される。1段階目は、入力された動画の音の信号に対してMIDIシーケンスを深層学習ネットワークで推定(Multipitch detection)する。ピッチ解析用とベロシティ推定用のネットワークを別々で学習し、その出力を組み合わせてMIDIシーケンスを合成する。2段階目は、MIDIシーケンスのオンセット/オフセット時刻をクォンタイズし、拍単位で表現(Rhythm quantization)。3段階目は、クォンタイズされたMIDIシーケンスをMusicXMLファイルに変換する(Score typesetting)。

 このままでも音符レベルでは高い再現性を達成しているものの、全体の音楽特性(テンポや拍子の誤認、小節線の位置)を誤って推定するケースが見つかった。そこで、この出力結果から、全体の音楽特性を推定するための後処理手法を新たに構築した。

 これにより全体の音楽特性が改善され、精度が向上したという、Web上で公開されているピアノ演奏動画の音声データから楽譜を生成するタスクにおいて、実用レベルの出力結果を実証したとしている。

 プロジェクトページでは、実際にYouTube動画から作成した楽譜のサンプルを複数公開しており、出力結果を確認できる。

※この記事は、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
3 0

コメント

mixiユーザー

ログインしてコメントを投稿する

<2021年03月>
 123456
78910111213
14151617181920
21222324252627
28293031