自動楽曲推薦・編曲とタテ線譜・自動伴奏システムによる中高齢者のピアノ演奏支援

自动推荐/编曲、竖谱、自动伴奏系统，为中老年人提供钢琴演奏支持

基本信息

批准号：
21K12187
负责人：
齋藤康之
金额：
$ 2.58万
依托单位：
Kisarazu National College of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

ピアノ演奏では、適切な運指の習得が基礎的な演奏技能と考えられている。ピアノ運指の原理を情報学的に理解する目的で自動運指推定が研究されており、ピアノ運指分析は、演奏支援や編曲技術などにも応用されている。運指の定量分析や機械学習による運指推定手法の研究には、電子化された大量の運指のデータが必要である。以前の基盤研究C（課題番号16K00501）において、クラシック音楽300曲のピアノ運指を収めた現在最大規模の公開データ「PIGデータセット」を構築した。10名の演奏家には印刷した楽譜の1つ1つの音符に運指番号を記入してもらい、自作の専用入力エディタを用いてこれも手作業でコンピュータに入力して電子化した。各楽曲の典型的な長さは楽譜1ページ程度で、小節数は約20、音符数は約300であるが、楽譜への記入・コンピュータへの入力の双方ともに相応の時間と労力を要した。これに対し、本研究では、前年度に引き続き、ピアノ演奏をビデオカメラで撮影して運指を自動的に効率よく取得する基礎技術について検討した。2021年度は、塗布するとゴム状に固まる塗料（人体には無害）を用いて指ごとに異なる色で塗り、どの指で鍵を打鍵したのかを推定する方法を検討した。これに対し、2022年度は、オープンソースの画像処理ライブラリ「MediaPipe」と「OpenCV」を用い、塗料の指への塗布を無くすことでピアノ奏者の簡便な実験参加を可能とし、それによる自然な演奏の映像取得を目指した。具体的には、MediaPipe の手指の追跡ソリューションである「MediaPipe Hands」とOpenCV のcontrib 内の「ArUco」モジュールを複合させ、映像内のピアノの見かけ上の傾きや位置を補正し、奏者の指の位置を検出できた。

在钢琴演奏中，学习合适的指法被认为是基本的演奏技巧。为了从信息角度理解钢琴指法原理，人们正在研究自动指法估计，钢琴指法分析也被应用于演奏支持和编曲技术。指法的定量分析和利用机器学习的指法估计方法的研究需要大量的电子指法数据。在我们之前的基础研究C（问题号16K00501）中，我们构建了PIG数据集，该数据集是目前最大的包含300首古典乐曲钢琴指法的公共数据集。 10位音乐家被要求在打印的乐谱上的每个音符上写下指法编号，并使用自制的特殊输入编辑器将其手动输入计算机并数字化。每首歌曲的长度通常约为一页乐谱，大约有20个小节和300个音符，但将其写在乐谱上并输入计算机需要花费大量的时间和精力。为此，在这项研究中，我们继前一年的基础上，研究了一种通过用摄像机拍摄钢琴演奏来自动且高效地捕捉指法的基本技术。在 2021 财年，我们研究了一种估计哪个手指按下按键的方法，方法是使用涂料为每个手指涂上不同的颜色，该涂料在涂上后会硬化成橡胶状物质（对人体无害）。对此，我们将在 2022 年使用开源图像处理库“MediaPipe”和“OpenCV”来消除在手指上涂抹颜料的需要，让钢琴演奏者轻松参与实验，从而让他们自然地演奏。以获得镜头具体来说，通过结合MediaPipe的手部跟踪解决方案“MediaPipe Hands”和OpenCV的contrib中的“ArUco”模块，纠正了视频中钢琴的明显倾斜和位置，并检测了演奏者的手指位置。