Mindeye2 (사전 해제되지 않음) 대 Mindeye1

Mindeye2 (사전 해제되지 않음) 대 Mindeye1

초록 및 1 소개

2 Mindeye2 및 2.1 공유 대상 기능 정렬

2.2 백본, 확산 이전 및 서브 모듈

2.3 이미지 캡션 및 2.4 미세 조정 안정적인 확산 XL unclip

2.5 모델 추론

3 결과 및 3.1 fmri-to-image 재구성

3.2 이미지 캡션

3.3 이미지/뇌 검색 및 3.4 뇌 상관 관계

3.5 절제

4 관련 작업

5 결론

6 승인 및 참고 문헌

부록

A.1 저자 기여

A.2 추가 데이터 세트 정보

A.3 Mindeye2 (사전에 사전) 대 Mindeye1

A.4 다양한 양의 교육 데이터에 대한 재구성 평가

A.5 단일 개체 평가

A.6 UNDIP 평가

A.7 OpenClip Bigg to Clip L 변환

A.8 코코 검색

A.9 재건 평가 : 추가 정보

A.10 적은 피험자와의 전제

A.11 UMAP 차원 감소

A.12 Roi-optomized stimuli

A.13 인간 선호 실험

A.3 Mindeye2 (사전에 사전) 대 Mindeye1

표 6은 Mindeye2가 다른 주제에 대한 전례 없이도 Mindeye1을 능가하는 방법을 보여줍니다. 모델은 주제 1의 40 가지 훈련 데이터 세션을 사용하여 훈련을 받았습니다. 이것은 Mindeye1에서 Mindeye2 로의 개선은 다른 주제에 대한 전제로만 설명되지 않지만 개선 된 모델 아키텍처 및 교육 절차에서도 이점이 있습니다.

표 6 : Mindeye2 (정제)와 Mindeye1의 성능 비교는 주제 1 데이터 만 사용하여 40 개의 NSD 세션에서 처음부터 훈련되었습니다.표 6 : Mindeye2 (정제)와 Mindeye1의 성능 비교는 주제 1 데이터 만 사용하여 40 개의 NSD 세션에서 처음부터 훈련되었습니다.

저자 :

(1) Paul S. Scotti, 안정성 AI 및 의료 AI 연구 센터 (MEDARC);

(2) Mihir Tripathy, 의료 AI 연구 센터 (MEDARC) 및 핵심 기여;

(3) Cesar Kainir Torrico Villanueva, 의료 AI 연구 센터 (MEDARC) 및 핵심 기여;

(4) 미네소타 대학교 리즈 니 랜드 (Reese Kneeland) 및 핵심 기여;

(5) Tong Chen, 시드니 대학교 및 의료 AI 연구 센터 (MEDARC);

(6) Ashutosh Narang, 의료 AI 연구 센터 (MEDARC);

(7) Santage Charan, AI AI Research AI AI (Medarc);

(8) 워털루 대학교 조나단 Xu 및 의료 AI 연구 센터 (MEDARC);

(9) 미네소타 대학교 Thomas Naselaris;

(10) Princeton Neuroscience Institute, Kenneth A. Norman;

(11) Tanishq Mathew Abraham, 안정성 AI 및 의료 AI 연구 센터 (MEDARC).

출처 참조

Post Comment

당신은 놓쳤을 수도 있습니다