아날로그 저장소 컴퓨터 칩으로 웨어러블 장치에 전력 공급 가능

가위바위보 게임은 심리학, 역심리학, 역심리학, 우연의 게임인 경우가 많습니다. 하지만 컴퓨터가 매번 승리할 만큼 충분히 당신을 이해할 수 있다면 어떨까요? 일본에 본사를 둔 홋카이도 대학과 TDK Corp.(카세트 테이프로 유명한) 팀이 바로 그렇게 할 수 있는 칩을 설계했습니다.

좋아요, 칩은 당신의 마음을 읽지 않습니다. 엄지손가락에 위치한 가속도 센서를 사용하여 동작을 측정하고 결국 어떤 동작이 종이, 가위 또는 바위를 나타내는지 알아냅니다. 놀라운 점은 일단 사용자의 특정 동작에 대해 훈련을 받으면 칩이 사용자가 “슛”이라고 말하는 동안 사용자가 무엇을 할지 예측하는 계산을 실행하여 실시간으로 사용자를 물리칠 수 있다는 것입니다.

이 위업 뒤에 있는 기술은 저장소 컴퓨팅이라고 하며, 이는 복잡한 동적 시스템을 사용하여 시계열 데이터에서 의미 있는 특징을 추출하는 기계 학습 방법입니다. 저장소 컴퓨팅에 대한 아이디어는 1990년대까지 거슬러 올라갑니다. 인공 지능이 성장함에 따라 상대적으로 낮은 전력 요구 사항과 빠른 훈련 및 추론 가능성으로 인해 저장소 컴퓨팅에 대한 관심이 다시 높아졌습니다.

연구팀은 전력 소비를 목표로 삼았다고 장치 작업을 맡은 TDK의 부문장이자 수석 관리자인 Tomoyuki Sasaki는 말했습니다. “두 번째 목표는 지연 시간 문제입니다. 엣지 AI의 경우 지연 시간이 큰 문제입니다.”

설정의 에너지와 대기 시간을 최소화하기 위해 팀은 아날로그 저장소 컴퓨팅 회로의 CMOS 하드웨어 구현을 개발했습니다. 팀은 지난 10월 일본 치바에서 열린 첨단 기술 연합 전시회에서 데모를 발표했으며 이번 주 샌디에고에서 열리는 컴퓨팅 재부팅에 관한 국제 회의에서 논문을 발표할 예정입니다.

저수지 컴퓨팅이란 무엇입니까?

저장소 컴퓨터는 오늘날 AI의 기반이 되는 기본 아키텍처인 기존 신경망과 달리 가장 잘 이해됩니다.

신경망은 여러 층으로 배열된 인공 뉴런으로 구성됩니다. 각 층은 뉴런의 열로 간주될 수 있으며, 한 열의 각 뉴런은 가중치가 부여된 인공 시냅스를 통해 다음 열의 모든 뉴런에 연결됩니다. 데이터는 첫 번째 열에 입력되어 마지막 열까지 왼쪽에서 오른쪽으로 레이어별로 전파됩니다.

훈련 중에 최종 레이어의 출력은 정답과 비교되고, 이 정보는 모든 시냅스의 가중치를 조정하는 데 사용됩니다. 이번에는 역전파라는 프로세스에서 레이어별로 뒤로 작업합니다.

이 설정에는 두 가지 중요한 기능이 있습니다. 첫째, 데이터는 단방향, 즉 앞으로만 이동합니다. 루프가 없습니다. 둘째, 뉴런 쌍을 연결하는 모든 가중치는 훈련 과정에서 조정됩니다. 이 아키텍처는 매우 효과적이고 유연한 것으로 입증되었지만 비용도 많이 듭니다. 때로는 수십억 개의 가중치를 조정하는 데 시간과 노력이 모두 필요합니다.

저장소 컴퓨팅 역시 인공 뉴런과 시냅스로 구축되지만 근본적으로 다른 방식으로 배열됩니다. 첫째, 레이어가 없습니다. 뉴런은 많은 루프를 통해 복잡하고 거미줄 같은 방식으로 다른 뉴런에 연결됩니다. 이는 특정 입력이 계속해서 돌아올 수 있는 일종의 메모리를 네트워크에 주입합니다.

둘째, 저장소 내의 연결이 고정되어 있습니다. 데이터는 저장소에 들어가 복잡한 구조를 통해 전파된 다음 최종 시냅스 집합을 통해 출력에 연결됩니다. 훈련 중에 실제로 조정되는 것은 가중치가 있는 마지막 시냅스 세트뿐입니다. 이 접근 방식은 훈련 과정을 크게 단순화하고 역전파의 필요성을 완전히 제거합니다.

저장소가 고정되어 있고 훈련된 유일한 부분이 저장소에서 원하는 출력으로의 최종 “변환” 계층이라는 점을 고려하면 이러한 네트워크가 전혀 유용할 수 있다는 것이 기적처럼 보일 수 있습니다. 그러나 특정 작업에서는 매우 효과적인 것으로 입증되었습니다.

작업에 참여하지 않은 캘리포니아 대학교 산타바바라 캠퍼스의 컴퓨터 과학 조교수인 산주크타 크리시나고팔(Sanjukta Krishnagopal)은 “이들은 결코 기계 학습 도구 상자에 사용할 수 있는 최고의 모델이 아닙니다.”라고 말합니다. 그러나 날씨와 같이 혼란스럽게 행동하는 사물의 시간 변화를 예측하는 데에는 작업에 적합한 도구입니다. “이곳이 저수지 컴퓨팅이 빛을 발하는 곳입니다.”

그 이유는 저수지 자체가 좀 혼란스럽기 때문이다. Krishnagopal은 “저수지는 일반적으로 혼돈의 가장자리라고 불리는 곳에서 작동합니다. 즉, 아주 작은 신경망으로 매우 간단하게 수많은 가능한 상태를 나타낼 수 있다는 뜻입니다.”라고 말합니다.

물리적 저장소 컴퓨터

저장소 내부의 인공 시냅스는 고정되어 있으므로 역전파가 발생할 필요가 없습니다. 이는 저장소 구현 방법에 있어 많은 자유를 줍니다. 물리적 저장소를 구축하기 위해 사람들은 빛, MEMS 장치, 개인적으로 좋아하는 문자 그대로의 물통 등 다양한 매체를 사용해 왔습니다.

그러나 홋카이도 팀과 TDK는 엣지 장치에 사용할 수 있는 CMOS 호환 칩을 만들고 싶었습니다. 인공뉴런을 구현하기 위해 연구팀은 아날로그 회로 노드를 설계했다. 각 노드는 비선형 저항, MOS 커패시터 기반 메모리 요소, 버퍼 증폭기의 세 가지 구성 요소로 구성됩니다. 그들의 칩은 4개의 코어로 구성되었으며 각 코어는 121개의 노드로 구성되었습니다.

저수지에 필요한 복잡한 반복 패턴으로 노드를 서로 연결하도록 배선하는 것은 어렵습니다. 복잡성을 줄이기 위해 팀은 모든 노드가 하나의 큰 루프에 연결된 소위 단순 순환 저장소를 결정했습니다. 이전 연구에서는 비교적 단순한 구성이라도 광범위하고 복잡한 역학을 모델링할 수 있다고 제안했습니다.

이 설계를 사용하여 팀은 코어당 20 마이크로와트, 즉 총 80μW의 전력만 소비하는 칩을 구축할 수 있었습니다. 이는 다른 CMOS 호환 물리적 저장소 컴퓨팅 설계보다 훨씬 적은 수치입니다.