Mindeye2 (사전 해제되지 않음) 대 Mindeye1
링크 표
초록 및 1 소개
2 Mindeye2 및 2.1 공유 대상 기능 정렬
2.2 백본, 확산 이전 및 서브 모듈
2.3 이미지 캡션 및 2.4 미세 조정 안정적인 확산 XL unclip
2.5 모델 추론
3 결과 및 3.1 fmri-to-image 재구성
3.2 이미지 캡션
3.3 이미지/뇌 검색 및 3.4 뇌 상관 관계
3.5 절제
4 관련 작업
5 결론
6 승인 및 참고 문헌
부록
A.1 저자 기여
A.2 추가 데이터 세트 정보
A.3 Mindeye2 (사전에 사전) 대 Mindeye1
A.4 다양한 양의 교육 데이터에 대한 재구성 평가
A.5 단일 개체 평가
A.6 UNDIP 평가
A.7 OpenClip Bigg to Clip L 변환
A.8 코코 검색
A.9 재건 평가 : 추가 정보
A.10 적은 피험자와의 전제
A.11 UMAP 차원 감소
A.12 Roi-optomized stimuli
A.13 인간 선호 실험
A.3 Mindeye2 (사전에 사전) 대 Mindeye1
표 6은 Mindeye2가 다른 주제에 대한 전례 없이도 Mindeye1을 능가하는 방법을 보여줍니다. 모델은 주제 1의 40 가지 훈련 데이터 세션을 사용하여 훈련을 받았습니다. 이것은 Mindeye1에서 Mindeye2 로의 개선은 다른 주제에 대한 전제로만 설명되지 않지만 개선 된 모델 아키텍처 및 교육 절차에서도 이점이 있습니다.
저자 :
(1) Paul S. Scotti, 안정성 AI 및 의료 AI 연구 센터 (MEDARC);
(2) Mihir Tripathy, 의료 AI 연구 센터 (MEDARC) 및 핵심 기여;
(3) Cesar Kainir Torrico Villanueva, 의료 AI 연구 센터 (MEDARC) 및 핵심 기여;
(4) 미네소타 대학교 리즈 니 랜드 (Reese Kneeland) 및 핵심 기여;
(5) Tong Chen, 시드니 대학교 및 의료 AI 연구 센터 (MEDARC);
(6) Ashutosh Narang, 의료 AI 연구 센터 (MEDARC);
(7) Santage Charan, AI AI Research AI AI (Medarc);
(8) 워털루 대학교 조나단 Xu 및 의료 AI 연구 센터 (MEDARC);
(9) 미네소타 대학교 Thomas Naselaris;
(10) Princeton Neuroscience Institute, Kenneth A. Norman;
(11) Tanishq Mathew Abraham, 안정성 AI 및 의료 AI 연구 센터 (MEDARC).
Post Comment