[2023] / [4인 팀프로젝트] Music Transcription from Silent Videos

1. Introduction

온라인 영상을 보고 동일한 곡을 연주하고 싶으나 악보가 없으면 연주하기에 많은 어려움이 있습니다. 기존에 존재하는 악보 생성 모델들은 소리를 기반으로 생성하며, 이는 노이즈가 있거나 다른 악기와 함께 녹음된 경우 사용할 수 없다는 단점이 존재합니다. 따라서 본 프로젝트에서는 이를 해결하기 위해 시각 정보만으로 악보 및 음악 파일을 생성하는 서비스를 개발하였습니다.

2. 개발 배경 및 필요성

• 온라인 영상을 보고 동일한 곡을 연주하고 싶으나 악보가 없어 연주하기 어려움이 있음
• 기존 악보 생성 모델들은 음원에 노이즈가 많거나 여러 악기가 함께 녹음된 경우 사용할 수 없다는 단점이 존재

3. 사용된 모델

reference : Audeo: Audio Generation for a Silent Performance Video (Su et al., NeurIPS 2020)

4. 나의 역할

• Model Serving
• Streamlit을 활용하여 UI 구성 및 동작 기능 구현
• Multi Thread를 사용하여 처리시간을 25초에서 11초로 단축
• Batch Inference를 사용하여 처리시간을 47초에서 7초로 단축
• 동영상 데이터 처리를 Open CV에서 ffmpeg로 변경하여 처리속도 향상 시도
• 다수의 사용자가 동시에 서비스를 이용할 때 생기는 데이터 충돌을 uuid를 활용하여 해결

5. 결과

발표 및 시연 영상

 

Github

GitHub - KimGeunUk/Music_Transcription_from_Silent_Videos: Music_Transcription_from_Silent_Videos