[TTA] 내용 기반 음악 검색을 위한 참조 모델

 

[내용 기반 음악 검색 시스템 구성도]

 

 

 

 

*** 출처: [TTA] 내용 기반 음악 검색을 위한 참조 모델 Reference Model for Content-based Music Retrieval

*** 문서:

TTAK.KO-10.1026.pdf

 

 

 

 

■ 서문

 

 

1. 표준의 목적

 

- 이 표준의 목적은 다양한 음악 검색 결과를 얻기 위하여 질의 음악의 내용을 기반으로 하는 음악 검색 시스템의 참조 모델을 제공하는 것이다.

 

 

2. 주요 내용 요약

 

- 이 표준은 질의 음악의 내용을 기반으로 음악 검색 시스템의 구조와 구성에 대하여 기술한다.

 

 

 

 

■ 내용 기반 음악 검색을 위한 참조 모델 (Reference Model for Content-based Music Retrieval)

 

 

○ 적용 범위

 

- 디지털 음원 시장의 성장에 따라 방대한 양의 음악에 대한 다양한 검색 방법의 필요성이 대두되고 있으나 기존의 노래 제목, 아티스트, 앨범명, 장르 등과 같은 메타정보 수준의 키워드 기반 음악 검색은 찾고자 하는 곡의 정확한 키워드를 알지 못할 경우 이용하기 어렵고 롱테일 현상이 나타나는 음악 콘텐츠의 속성상 소수의 인기곡보다 다수의 수많은 음악들을 검색할 수 있는 방법이 필요하다.

 

- 이에 본 표준에서는 다양한 음악 신호로부터 특징을 추출하여 일반적인 음악의 특징 분포 모델을 생성하고, 이를 이용하여 질의 음악과 내용상 유사한 음악을 검색할 수 있는 시스템의 참조 모델을 제시한다.

 

** 음악 특징 분포 모델: 임의 음악 집합에서의 전체 데이터에 대한 특징 분포를 통계적으로 표현한 모델

 

 

○ 내용 기반 음악 검색 시스템 구조

 

 

 

 

 

 

- 음악 특징 등록 단계: 음악의 유사도 기반 학습을 통해 생성한 음악 특징 분포 모델을 이용해 각 음악에서 고정된 길이의 특징을 추출하여 음악 특징 DB에 등록하는 과정

 

- 유사 음악 검색 단계: 입력 음악에서 음악 특징 분포 모델 기반의 특징을 추출하여 DB에 등록된 음악 특징과의 유사도 측정을 통해 음악을 검색하는 과정

 

 

 

○ 시스템 세부 구성도

 

 

 

 

[내용 기반 음악 검색 시스템 세부 구성도]

 

 

 

- 특징 분포 모델 기반 음악 특징 추출기: 음악 신호에서 추출한 저수준의 특징을 기계학습을 통해 각 음악을 대표할 수 있는 고정 길이의 벡터값으로 표현

 

- 유사 음악 검색기: 음악의 특징 벡터간 거리비교를 통해 유사도가 높은 음악을 찾음

 

 

 

○ 음악 특징 추출 및 등록

 

- 상대적으로 분석이 용이한 주파수 스펙트럼 특징을 이용하여 일반적인 음악의 특징 분포 모델 생성

 

- 이 모델을 기반으로 각 음악의 저수준 특징 벡터 추출

 

 

 

○ 저수준 음악 특징 추출 절차

 

- 특징 분포 모델 생성: 추출한 저수준의 스펙트럼 특징을 무게중심 모델을 기반으로 학습하여 일반적인 음악의 특징 분표를 모델링

 

- 특징 분포 모델 기반 음악 특징 추출: 저수준의 스펙트럼 특징과 특징 분포 모델과의 확률 분포간 차이를 고정 길이의 특징 벡터로 생성

 

- 음악 특징 등록: 추출한 특징 벡터를 데이터베이스에 등록

 

 

 

○ 특징 분포 모델 생성

 

- 음악간 유사도 비교를 위해 모든 음악을 각각 모델링하는 대신 다양한 종류의 음악들의 일반적인 특징 분포 모델(UBM: Universal Background Model)을 생성하여 이용

 

- 음악 특징 분포 모델은 MFCC 벡터들에 대행 K-평균 알고리즘과 같은 군집화를 이용하여 생성할 수 있음

 

 

 

○ UBM 기반 음악 특징 추출

 

- 각 음악 파일에서 프레임 단위로 MFCC 추출

 

- 각 프레임 별 MFCC 벡터에 대해 유클리드 거리비교를 통해 UBM의 가장 인접한 클러스터 인덱스 할당

 

- 동일한 인덱스를 갖는 프레임들과 UBM의 해당 클러스터 무게중심간의 차를 각각 구한 후 평균과 표준편차를 계산

 

 

 

○ 음악 특징 등록

 

- 추출한 UBM 기반의 저수준 음악 특징들을 해당 음악의 메타 정보와 함께 데이터베이스에 등록

 

 

 

○ 내용 기반 음악 검색

 

- 유사 음악 후보 검색: 역색인 테이블을 이용한 음악 특징 위치의 고속 검색

 

 

 

 

[메모리 기반 역색인 방식을 이용한 DB 구조]

 

 

 

- 유사도 측정: 확률 분포 간 거리 계산으로 유사 음악 목록 결정

 

 

 

 

[내용 기반 유사 음악 검색 과정]

 

 

 

 

○ 검색 메시지 구조

 

- 검색 요청 메시지 구조

 

 

 

 

 

 

- 검색 결과 메시지 구조