덜보기 : Mindeye2의 뇌 기반 이미지 디코딩에 대한 효율적인 접근

링크 표

초록 및 1 소개

2 Mindeye2 및 2.1 공유 대상 기능 정렬

2.2 백본, 확산 이전 및 서브 모듈

2.3 이미지 캡션 및 2.4 미세 조정 안정적인 확산 XL unclip

2.5 모델 추론

3 결과 및 3.1 fmri-to-image 재구성

3.2 이미지 캡션

3.3 이미지/뇌 검색 및 3.4 뇌 상관 관계

3.5 절제

4 관련 작업

5 결론

6 승인 및 참고 문헌

부록

A.1 저자 기여

A.2 추가 데이터 세트 정보

A.3 Mindeye2 (사전에 사전) 대 Mindeye1

A.4 다양한 양의 교육 데이터에 대한 재구성 평가

A.5 단일 개체 평가

A.6 UNDIP 평가

A.7 OpenClip Bigg to Clip L 변환

A.8 코코 검색

A.9 재건 평가 : 추가 정보

A.10 적은 피험자와의 전제

A.11 UMAP 차원 감소

A.12 Roi-optomized stimuli

A.13 인간 선호 실험

5 결론

우리는 훈련 데이터의 일부만 사용하여 이전 접근법과 유사한 품질로 FMRI 활동으로부터의 이미지의 재구성을 출력하는 모델링 접근법 인 Mindeye2를 소개합니다. Mindeye2는 전체 교육 데이터를 제공 할 때 재구성 및 검색 메트릭을 통해 SOTA를 더욱 달성합니다. 우리의 접근 방식은 여러 주제의 데이터를 사용하여 모델을 사전 레이아링 한 다음, 그 후 유지 주제의 부족한 데이터에 미세 조정됩니다. FMRI 활동의 패턴은 클립 공간에 매핑되고 안정적인 확산 XL에서 미세 조정 된 UNCLIP 모델의 도움으로 이미지가 재구성됩니다. 우리의 연구는 대규모 신경 영상 데이터 세트에 대해 교육을받은 딥 러닝 모델을 최소한의 데이터로 새로운 주제에 적용 할 수있는 잠재력을 보여줍니다.

5.1 제한

FMRI는 운동에 매우 민감하며 피험자가 작업을 준수해야합니다. 디코딩은 머리를 약간 움직이거나 관련된 정보에 대해 생각하면 쉽게 저항 할 수 있습니다 (Tang et al., 2023). Mindeye2는 또한 Coco와 같은 자연 장면에서만 작동하는 것으로 나타났습니다. 다른 이미지 분포에는 추가 데이터 및/또는 전문 생성 모델이 필요할 수 있습니다.

5.2 더 넓은 영향

이 연구는 환자가 단일 MRI 스캔 세션을 겪고 시각적 인식에 대한 고품질 재구성을 수행하기에 충분한 데이터를 생성하는 것이 실용적임을 보여줍니다. 뇌 활동으로부터의 이러한 이미지 재건은 정신 상태, 신경 학적 조건 등을 포함한 요인으로 인해 체계적으로 왜곡 될 것으로 예상된다. 이는 실시간 분석 (Wallace et al., 2022) 또는 비정상적으로 적응 된 경우 개선 된 잠금 (Pseudocoma) 환자 커뮤니케이션 (Monti et al., 2010) 및 뇌-컴퓨터 인터페이스를위한 응용 프로그램을 포함하여 잠재적으로 새로운 임상 진단 및 평가 접근법을 가능하게 할 수있다. 기술이 계속 향상됨에 따라 뇌 데이터를 신중하게 보호하고 그러한 데이터를 수집하는 회사는 사용에 따라 투명하게하는 것이 중요하다는 점에 주목합니다.