[2023] / [4인 팀프로젝트] Music Transcription from Silent Videos
·
Project
1. Introduction 온라인 영상을 보고 동일한 곡을 연주하고 싶으나 악보가 없으면 연주하기에 많은 어려움이 있습니다. 기존에 존재하는 악보 생성 모델들은 소리를 기반으로 생성하며, 이는 노이즈가 있거나 다른 악기와 함께 녹음된 경우 사용할 수 없다는 단점이 존재합니다. 따라서 본 프로젝트에서는 이를 해결하기 위해 시각 정보만으로 악보 및 음악 파일을 생성하는 서비스를 개발하였습니다. 2. 개발 배경 및 필요성 온라인 영상을 보고 동일한 곡을 연주하고 싶으나 악보가 없어 연주하기 어려움이 있음 기존 악보 생성 모델들은 음원에 노이즈가 많거나 여러 악기가 함께 녹음된 경우 사용할 수 없다는 단점이 존재 3. 사용된 모델 reference : Audeo: Audio Generation for a Si..