매미 소리를 활용한 매미 종동정 시스템 개발과정

매미 서식지 녹음장소

녹음 장소 예시

총 수집 데이터

필터링

녹음된 데이터는 학습에 적절하지 않은, 매미소리가 중복으로 녹음되어 있거나 잡음이 들어가거나 소리가 작은 경우 데이터 전처리 과정을 거쳐 필터링을 하였다.
어도비 오디션을 사용하여 녹음 파일을 듣고 수작업으로 학습에 불필요한 부분을 잘라내었다.
인공지능 학습용 데이터 품질관리 가이드라인 v2.0을 준수하여 작업하였다.

학습데이터 구축

전처리된 소리 데이터는 최대 1분 길이로 분할하여 종 별로 구축하여 추후 다른 연구에도 활용 할 수 있도록 제공 예정이다.

스펙트로그램 이미지를 활용한 딥러닝

4-1-1. 개발 환경

매미 소리 종동정 모델 학습은 tensorflow 2.8 버전과 python 3.8 버전을 사용하였다.

4-1-2. 모델 선정

사업초기 스펙트로그램 이미지 딥러닝에 4가지 모델을 선정하였고, 자문의견을 바탕으로 CRNN 모델, 전이학습 모델을 추가하였다.

모델 후보

모델 선정

데이터를 정제하면서 생산된 일부 데이터로 학습을 진행하였고 최종적으로 CNN, CRNN을 사용하여 학습을 진행하였다.

4-1-3. 스펙트로그램 이미지 변환

수집과 전처리를 통해 구축한 학습데이터를 1초, 3초, 5초, 7초 간격으로 분할하여 스펙트로그램 이미지로 변환하였다.

매미별 스펙트로그램 이미지 일부

4-1-4. 데이터 학습

데이터 세트 생성

training data / valid data / test data를 8 : 1 : 1 비율로 생성하였다.

딥러닝 학습

CNN 모델과 CRNN 모델을 사용하여 검증 및 테스트 세트에 대해 훈련 세트 전처리를 반복하였다.

4-1-5. 학습 결과

모델 검증 결과

정확도 측정결과

특성정보를 이용한 머신러닝

4-2-1. 개발 환경

특성정보를 이용한 머신러닝은 python 3.8 버전와 scikit-learn 1.0 버전을 사용하였다.

4-2-2. 모델 선정

머신러닝 알고리즘은 많이 사용되고 있는 SVN, RandomForest, GradientBoosting, XGB 네 가지를 사용하였다.

4-2-3. 특성정보 추출

파이썬에서 음원데이터를 분석할 수 있는 librosa 라이브러리를 사용하여 다음 표의 특성정보를 추출하였다.

특성정보 추출

4-2-4. 데이터 학습

특성정보를 추출하기 위해 학습데이터를 8초 단위로 분할하여 training data / valid data / test data를 8 : 1 : 1 비율로 생성하였다.

특성정보를 추출하여 4가지 머신러닝 알고리즘으로 학습을 진행하였다.

4-2-5. 학습 결과

Accuracy (정확도), Recall (재현율), Precision (정밀도), F1 Score (테스트의 정확도) 네 항목을 측정하였다.

XGBClassifier 알고리즘이 가장 높은 측정값을 보여주었다.

소리 필터링