TimToShape

詳しくは、こちらの 記事をご覧ください。

About #

音色は高次元で感覚的なものであるため、楽器演奏の初学者が音色を改善することに難しさがあります。 これまで音色の改善を支援するシステムも提案されていますが、音色評価のために専門家の音色に対するラベリングを必要としたり、教師なし学習の結果を視覚化するだけであったりして人間の知覚が考慮されていないため、フィードバックの直観性に欠けるといった問題があります。 そこで、異なる感覚間の直観的な関連性（感覚間協応）を用いて、音色の直観的な可視化を行うことを考えました。

「TimToShape」は、楽器演奏者が事前に指定した音色と形状の対応関係に基づいて、音色を2次元形状として視覚化するシステムです。 TimToShapeは、変分オートエンコーダ（variable autoencoder; VAE）による教師なし学習によって得られた潜在空間における音色の位置に応じて、線形補間によってモーフィングされた形状を生成することが可能です。

ユーザ実験の結果、ランダムに生成された形状よりも、TimToShapeによって生成された形状の方がより音色に直観的に対応していると知覚されることが確認されました。 さらに、6人のバイオリン奏者を対象としたユーザ実験を通して、TimToShapeが視覚的な分かりやすさや解釈のしやすさの点で高く評価されることが明らかになりました。

Publications #

• Kota Arai, Yutaro Hirao, Takuji Narumi, Tomohiko Nakamura, Shinnosuke Takamichi, and Shigeo Yoshida. 2023. TimToShape: Supporting Practice of Musical Instruments by Visualizing Timbre with 2D Shapes based on Crossmodal Correspondences. In 28th International Conference on Intelligent User Interfaces (IUI ’23), March 27–31, 2023, Sydney, NSW, Australia. ACM, New York, NY, USA, 16 pages. https://doi.org/10.1145/3581641.3584053

• Kota Arai, Mone Konno, Yutaro Hirao, Shigeo Yoshida, and Takuji Narumi. 2021. Effect of Visual Feedback on Understanding Timbre with Shapes Based on Crossmodal Correspondences. In Proceedings of the 27th ACM Symposium on Virtual Reality Software and Technology (VRST ‘21). Association for Computing Machinery, New York, NY, USA, Article 63, 1–3. https://doi.org/10.1145/3489849.3489912

• 新井康太、今野萌音、平尾悠太朗、吉田成朗、鳴海拓志：感覚間協応を利用した音色の可視化による演奏技術習得支援の研究、第26回バーチャルリアリティ学会大会（VRSJ2021）、2021年9月

Downloads #

本ページに掲載されている論文・映像は、クリエイティブ・コモンズの以下の条件のもとで使用することができます。 Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0) https://creativecommons.org/licenses/by-nc-nd/4.0/

論文（6.1MB）

Related Projects #