2023, IEEE Transactions on Neural Systems and Rehabilitation Engineering
https://ieeexplore.ieee.org/document/10106002
An Auxiliary Synthesis Framework for Enhancing EEG-Based Classification With Limited Data
While deep learning algorithms significantly improves the decoding performance of brain-computer interface (BCI) based on electroencephalogram (EEG) signals, the performance relies on a large number of high-resolution data for training. However, collecting
ieeexplore.ieee.org
Abstract
- 제한된 데이터로 EEG 기반 분류 성능을 향상시키기 위한 새로운 보조 합성 프레임워크를 제안
- 이 프레임워크는 사전 훈련된 보조 디코딩 모델과 생성 모델로 구성되며, 가우시안 노이즈를 사용하여 인공 데이터를 합성
- 실험 결과, 제안된 방법이 시간-주파수-공간 특성을 효과적으로 보존하면서 기존 데이터 증강 방법보다 우수한 성능
- BCI Competition IV 2a 데이터셋에서 평균 정확도가 4.72% 향상되었으며, 다른 딥러닝 기반 디코더에도 적용 가능
Goal
EEG 신호를 기반으로 한 BCI의 분류 성능을 적은 데이터로도 향상시키는 새로운 보조 합성 프레임워크를 제안
Motivation
- BCI 성능은 고해상도의 많은 훈련 데이터에 의존하지만 충분한 데이터를 수집하기 어려움
- 데이터를 충분히 수집하기 위해 피험자에게 큰 부담이 가중되고 실험 비용이 높음
- 작은 데이터 세트나 저해상도 데이터는 과적합 문제 발생 가능
- 현재의 데이터 증강 방법은 EEG 신호의 특성상 한계
- GAN 기반의 데이터 증강 방법은 불안정하고 복잡한 훈련 과정을 필요
Contribution
- 사전 훈련된 보조 디코딩 모델과 생성 모델을 포함하는 새로운 합성 프레임워크 설계
- EEG 신호의 시공간 특성을 추출하여 분류 및 합성을 수행하는 모델을 제안
- 제한된 데이터에서 디코딩 성능을 탐구하여 개선
- 다양한 시각화 방법을 제공하여 인공 데이터와 프레임워크를 해석함
- 프레임워크를 다른 최신 디코더에 적용 가능하도록 설계
Data
- BCI Competition IV 2a 데이터셋
- 9명의 피험자가 왼손, 오른손, 발, 혀 움직임을 상상할 때의 EEG 신호 포함
- 각 피험자는 2개의 세션을 완료, 세션당 288개의 트라이얼 포함
- 25개의 Ag/AgCl 전극으로 EEG 신호 수집 (22개의 EEG 채널, 3개의 EOG 채널)
- 샘플링 주파수는 250 Hz, 0.5-100 Hz의 밴드패스 필터 및 50 Hz의 노치 필터 적용
- 큐와 운동 상상 기간의 데이터를 잘라서 하나의 샘플로 클립, 각 샘플은 4초 동안 지속
- 최종 데이터셋의 형상은 576 × 22 × 1000
- 모든 데이터셋은 모델 입력 전에 정규화
Methods
프레임워크 작동 순서
- 보조 디코딩 모델의 사전 훈련
- 제한된 실제 샘플로 보조 디코딩 모델을 사전 훈련
- 교차 검증을 통해 디코딩 모델의 정확도가 주어진 임계값보다 낮지 않도록 보장
- 이 과정은 생성 모델 훈련 시 불안정한 결과를 방지하고 안정성을 높이는 역할
- 생성 모델의 훈련
- 보조 디코딩 모델을 사용하여 생성 모델을 훈련하고 새로운 데이터를 합성
- 생성 모델은 라벨이 지정된 가우시안 노이즈와 실제 데이터 분포 간의 매핑을 학습
- 합성된 데이터와 실제 데이터의 평균 제곱 오차(MSE)와 교차 엔트로피(CE) 손실을 계산하여 생성 모델을 최적화
- 데이터 합성
- 생성 모델은 학습된 매핑을 사용하여 새로운 인공 데이터를 생성
- 생성된 데이터는 보조 디코딩 모델을 통해 확률 분포를 계산하고 교차 엔트로피 손실을 최소화
- 합성된 데이터와 실제 데이터 간의 평균 제곱 오차를 최소화하여 데이터의 품질을 보장
- 합성 데이터의 추가 및 디코딩 모델 재훈련
- 최종 훈련 단계에서 생성된 모든 샘플을 보존하고 라벨을 추가
- 보조 디코딩 모델과 함께 합성된 데이터를 추가하여 디코딩 모델을 재훈련
- 이 과정에서 생성된 데이터를 포함한 전체 데이터셋으로 디코딩 모델의 성능을 향상
보조 디코딩 모델
- EEG 데이터의 잠재 특성을 캡처하고 확률 분포를 출력
- 일반적인 컨볼루션과 깊이별 분리 컨볼루션을 결합하여 시공간 특성을 추출
- Squeeze-and-Excitement(SE) 주의 메커니즘을 추가하여 다양한 채널의 가중치를 조정
- 가중치가 부여된 시공간 특성을 최종적으로 완전 연결층을 통해 분류
생성 모델
- 실데이터 분포를 학습하고 고정된 가우시안 노이즈에서 새로운 데이터를 생성
- 전치 컨볼루션을 사용하여 신경망이 최적의 방식으로 업샘플링
- 가우시안 노이즈와 카테고리 라벨을 입력으로 사용, 라벨은 임베딩 레이어로 인코딩
- 인코딩된 라벨을 새로운 채널로 간주하여 가우시안 노이즈와 결합, 전치 컨볼루션 레이어를 통해 변환
손실 함수
- 교차 엔트로피 손실(CE)과 평균 제곱 오차 손실(MSE)을 사용하여 보조 합성 프레임워크 최적화
- CE 손실은 생성 모델이 데이터의 분류 특성에 집중하게 하며, MSE 손실은 합성된 데이터의 분포가 실제 데이터와 유사하도록 보장
- 이 연구에서 α는 1, β는 0.0001로 설정
Results
- 제안된 프레임워크가 다른 디코딩 모델(EEGNet, ShallowConvNet, DeepConvNet)에서도 효과적인지 검증
- 모든 모델에서 성능이 향상되었으며, DeepConvNet에서 가장 큰 개선 효과(7% 향상)를 확인
- 다른 데이터 증강 방법(크로핑, 노이즈 추가, GAN)과 비교하여 제안된 방법의 우수성을 확인
- 특히 데이터가 부족한 경우에도 우수한 성능을 유지
- 데이터 확장 비율을 다르게 설정하여 분류 성능을 비교한 결과, 확장 비율이 2일 때 가장 높은 성능 향상
Conclusion
- 제한된 EEG 데이터로도 분류 성능을 향상시키기 위한 보조 합성 프레임워크를 제안
- 제안된 프레임워크는 시간, 주파수, 공간 특성을 잘 보존하며, 평균 디코딩 정확도를 4.72% 향상
- 크로핑, 노이즈 추가, GAN과 같은 기존의 데이터 증강 방법보다 우수한 성능을 보였으며, 다른 디코딩 모델에서도 효과적임을 입증
내 생각...
제한된 데이터에서도 EEG 기반 분류 성능을 향상시킬 수 있으며, 다른 디코더 모델에도 적용 가능하고 설계 및 훈련 과정이 간단하다는 점에서 흥미로웠음
S. Liang et al., “An Auxiliary Synthesis Framework for Enhancing EEG-Based Classification With Limited Data,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol. 31, 2023, pp. 2120-2131.
Comment