2023, IEEE Transactions on Neural Networks and Learning Systems
https://ieeexplore.ieee.org/abstract/document/9508768
Abstract
- 적대적 학습을 사용하지 않고 정보 이론을 기반으로 피험자 불변 및 클래스 관련 특성을 학습하는 프레임워크 제안
- 주요 구성 요소는 클래스 관련 및 불관련 특성을 분리하고 이들 사이의 상호 정보를 최대화하는 것
- GIST 및 KU 데이터셋에 대한 실험을 통해 제안된 모델은 뛰어난 일반화 성능을 보였음
Goal
피험자 불변 특징 표현을 학습해 피험자 전이 가능한 학습과 피험자 독립적인 프레임워크 제안
Motivation
기존 연구의 한계
- 도메인 이동을 완화하기 위해 유도하는 적대적 학습은 도메인별 변이를 제안하는 동시에 도메인 간 클래스 관련 분포를 고려하지 않아 특징 표현 학습을 방해할 가능성이 높음
- 도메인 적응 방법은 타겟 도메인의 특징 표현을 개선할 뿐만 아니라 손상시킬 수 있음 → 네거티브 전이
Contribution
- 정보 이론 기반 학습: 적대적 학습을 사용하지 않고, 정보 이론을 기반으로 한 학습 방법을 도입하여 부정적 전이 없이 주제 불변 및 클래스 관련 특성 학습
- 고차원 EEG 데이터 처리: 고차원 EEG 데이터에서 중요한 특성을 추출하고 이를 효과적으로 학습할 수 있는 딥 러닝 기반 방법을 개발
- 효율적인 데이터 처리: 데이터 전처리 및 증강을 통해 EEG 데이터의 품질을 향상시키고, 효율적인 데이터 처리 방법 제공
- 플러그 앤 플레이 아키텍처: 제안된 프레임워크는 기존 네트워크 구조에 쉽게 통합될 수 있음
- 신경생리학적 인사이트 제공: 학습된 모델이 신경생리학적으로 해석 가능
Data
-
- GIST Dataset
- 2 class, motor imagery (왼손, 오른손)
- 50명 피험자
- 64 channel EEG
- 4 session
- KU Dataset
- 2 class, motor imagery (왼손, 오른손)
- 54명 피험자
- 62 channel EEG
- class당 100회 진행
- GIST Dataset
https://github.com/eunjin93/SICR_BCI
GitHub - eunjin93/SICR_BCI: Pytorch implementation of "Mutual Information-driven Subject-invariant and Class-relevant Deep Repre
Pytorch implementation of "Mutual Information-driven Subject-invariant and Class-relevant Deep Representation Learning in BCI" - eunjin93/SICR_BCI
github.com
Methods
- Deep ConvNet
- 원시 뇌파 신호의 시공간 정보를 캡처하는 4개의 컨볼루션 풀 블록, fully connected layer 1개
- 첫번째 블록
- 입력 EEG를 시간적으로 [1x10] 커널로 컨볼루션
- 공간 정보를 통합하기 위해 [ncx1] 커널로 컨볼루션
- 나머지 블록
- [1x10] 커널을 사용한 시간적 컨볼루션과 [1x3]으로 최대 풀링
- EEGNet
- 매개변수 수를 줄이기 위해 깊이와 분리 가능한 컨볼루션을 활용해 EEG 인코딩
- 첫번째 컨볼루션 레이어
- [1xfs/2]의 필터 존재 → 입력의 시간 정보 인코딩
- fs: 데이터 샘플링 속도
- 두번째 컨볼루션 레이어
- [ncx1]의 커널을 첫 번째 레이어의 출력에 깊이 방식으로 컨볼루션
- 마지막 레이어
- 각 피처 맵의 시간 정보를 요약하기 위해 분리 가능한 컨볼루션 활용
시나리오
- cross-subject learning
- 타겟 피험자 뿐만 아니라 다른 피험자의 사용 가능한 모든 샘플을 사용하는 것을 고려함
- zero-training
- 모델 파라미터를 조정하는 데 타겟 피험자의 샘플 사용x
- 피험자 1명만 남기고 검증
Results
- 시나리오1
- 일반화 성능을 보여주고, 다른 기존 방법들과 비교해서 더 높은 성능
- 다양한 피험자의 데이터에 대해 일관되고 높은 정확도 달성
- 시나리오2
- DANN-MI와 비교해 모든 경우에서 성능이 높음
- 제로-트레이닝 방식으로 새로운 피험자에 대한 데이터를 활용하지 않고도 높은 성능 유지
- 제안된 프레임워크가 피험자 간 변동성을 극복하고, 적은 양의 데이터로도 높은 성능을 달성할 수 있는 강력한 일반화 능력을 가지고 있음을 나타냄
- 피험자 특징적 보정이 필요없음
Conclusion
- EEG 기반 뇌-컴퓨터 인터페이스(BCI)를 위한 새로운 딥 러닝 프레임워크 개발
- 피험자 불변 및 클래스 관련 특성 학습에 상호 정보 추정 기법 활용
- 다양한 디코딩 모델과의 호환성 및 두 대규모 EEG 데이터셋에서의 효과 입증
- 모델이 신경생리학적 패턴을 효과적으로 학습함을 결과 분석으로 보여줌
내 생각...
motor imagery 2class에 대해서 한거인데도 subject independent적이게 할 수 있다는 걸 imagined speech 의 소규모 class에 대해서도 적용하면 가능하지 않을까라는 생각!
E. Jeon et al., “Mutual Information-driven Subject-invariant and Class-relevant Deep Representation Learning in BCI,” IEEE Transactions on Neural Networks and Learning Systems, Vol. 34, No. 2, 2023, pp.739-749.
Comment