과학기술정보통신부	보도자료

보도시점	2024. 3. 6.(수) 12시 (2024. 3. 7.(목) 조간)	배포	2024. 3. 5.(화) 17:00

KAIST, 뉴로모픽 컴퓨팅 기반의 초저전력 거대 언어 모델 인공지능반도체 핵심기술 ‘상보형-트랜스포머’ 개발

- 삼성 28나노공정 활용, GPT-2 거대 언어 모델을 400mW전력 소모로 성공적 구동

- GPU(엔비디아 A100) 대비 소모전력은 625배, 칩 면적 41배 작은 인공지능 반도체 핵심기술 개발

- 온디바이스AI의 핵심인 초저전력·고성능 인공지능반도체를 뉴로모픽 컴퓨팅으로 구현

과학기술정보통신부(장관 이종호, 이하 ‘과기정통부’)는 KAIST(총장 이광형) PIM반도체 연구센터와 인공지능반도체 대학원 유회준 교수 연구팀이 400밀리와트 초저전력을 소모하면서 0.4초 초고속으로 거대 언어 모델을 처리할 수 있는 인공지능 반도체인 ‘상보형-트랜스포머* (Complementary-Transformer)’를 삼성 28나노 공정을 통해 세계 최초로 개발했다고 밝혔다.

* 상보형 트랜스포머 : 스파이킹 뉴럴 네트워크(SNN)과 심층 인공신경망(DNN)을 선택적으로 사용하여 트랜스포머 기능을 구현

연구팀은 그동안 다량의 GPU와 250와트의 전력소모를 통해 구동되는 GPT 등 거대 언어 모델(Large Language Model, LLM)을 4.5mm x 4.5mm의 작은 한 개의 AI 반도체 칩 상에서 초저전력으로 구현하는 것에 성공하였다. 특히 인간 뇌의 동작을 모사하는 뉴로모픽 컴퓨팅*(Neuromorphic Computing) 기술, 즉 스파이킹 뉴럴 네트워크**(Spiking Neutral Network, SNN)을 활용하여 트랜스포머 동작을 구현한 것이 특징이다. 김상엽 박사가 제 1저자로 참여한 이번 연구는 지난 2월 19일부터 23일까지 미 샌프란시스코에서 개최된 국제고체회로설계학회(ISSCC)***에서 발표 및 시연되었다.(논문번호 20.5, 논문명: C-Transformer: A 2.6-18.1μJ/Token Homogeneous DNN-Transformer Spiking-Transformer Processor with Big-Little Network and Implicit Weight Generation for Large Language Models (저자: 김상엽, 김상진, 조우영, 김소연, 홍성연, 유회준))

* 뉴로모픽 컴퓨팅 : 인간 뇌의 구조와 기능을 모방하여 설계된 컴퓨팅 시스템으로써, 뇌의 신경 세포(뉴런)와 그 연결(시냅스)을 모방한 회로를 사용해 전통적인 컴퓨팅 시스템보다 훨씬 더 에너지 효율적으로 데이터를 처리할 수 있음

** 스파이킹 뉴럴 네트워크(SNN) : 뉴로모픽 컴퓨팅의 한 형태로, 뇌의 뉴런이 스파이크라는 시간에 따른 신호를 사용해 정보를 처리하는 방식. 생물학적 뇌의 작동 방식에 가까워 에너지 효율이 높고, 실시간 처리와 복잡한 시계열 데이터 분석에 적합

*** ISSCC : ‘반도체 설계 올림픽’으로 불리며 반도체 집적회로 관련 학회 중 세계적으로 가장 큰 규모와 높은 권위를 자랑하는 학회(1954년 첫 개최, 올해 70주년). 매년 30여개국에서 3000명 이상의 연구자가 참여하며, 삼성·SK하이닉스·엔비디아, TSMC 등은 신기술 발표의 장으로 활용

기존 뉴로모픽 컴퓨팅 기술은 합성곱신경망*(Convolutional Neural Network, CNN)에 비해 부정확하며 주로 간단한 이미지 분류 작업만 가능하였다. 연구팀은 뉴로모픽 컴퓨팅 기술의 정확도를 CNN과 동일 수준으로 끌어올리고, 단순 이미지 분류를 넘어 다양한 응용 분야에 적용할 수 있는 상보형-심층신경망(C-DNN, Complementary-DNN)을 제안하였다.

* 합성곱신경망(CNN) : 심층인공신경망의 하나로, 이미지 인식, 비디오 분석, 이미지 분류와 같은 시각적 데이터 처리에 사용되는 딥러닝 모델로써, 여러 인공 신경망 계층을 통해 이미지의 특징을 추출하고, 이를 분류하거나 인식하는 데 사용함.

상보형 심층신경망 기술은 작년 2023년 2월에 개최된 국제고체회로설계학회(ISSCC)에서 이번 연구의 제1저자인 김상엽 박사가 발표한 것으로 심층 인공 신경망(Deep Neural Network, DNN)*과 스파이킹 뉴럴 네트워크(SNN)를 혼합하여 사용하며 입력 데이터들을 크기에 따라 서로 다른 신경망에 할당해 전력을 최소화할 수 있는 기술이다. 사람의 뇌가 생각할 것이 많을 때 에너지 소모가 많고 생각할 것이 적을 때 에너지 소모가 적은 것과 마찬가지로, 뇌를 모방한 스파이킹 뉴럴 네트워크(SNN)는 입력값의 크기가 클 때는 전력을 많이 소모하고 입력값의 크기가 작을 때에는 전력을 적게 소모한다. 작년 연구에서는 이러한 특징을 활용해 작은 입력값들만을 스파이킹 뉴럴 네트워크(SNN)에 할당하고 큰 값들은 심층 인공 신경망(DNN)에 할당해 전력 소모를 최소화 하였다. 이번 연구는 작년의 상보형-심층신경망 기술을 거대 언어 모델에 적용함으로써 초저전력·고성능의 온디바이스 AI가 가능하다는 것을 실제로 입증한 것이며, 그동안 이론적인 연구에만 머물렀던 연구내용을 세계 최초로 인공지능반도체 형태로 구현한 것에 의의가 있다.

* 심층인공신경망(DNN) : 여러 신경망 층으로 구성되어 복잡한 패턴을 인식하고 학습할 수 있는 AI모델로, 추상적인 특성을 계층적으로 학습하는 딥러닝에 사용됨

특히, 연구팀은 뉴로모픽 컴퓨팅의 실용적인 확장 가능성에 중점을 두고 문장 생성, 번역, 요약 등과 같은 고도의 언어 처리 작업을 성공적으로 수행할 수 있는지를 연구하였으며, 그 과정에서 가장 큰 관건은 뉴로모픽 네트워크에서 높은 정확도를 달성하는 것이었다. 일반적으로 뉴로모픽 시스템은 에너지 효율은 높지만 학습 알고리즘의 한계로 인해 복잡한 작업을 수행할 때 정확도가 떨어지는 경향이 있었으며, 거대 언어 모델과 같이 높은 정밀도와 성능이 요구되는 작업에서 큰 장애 요소로 작용했다. 이러한 문제를 해결하기 위해 연구팀은 독창적인 DNN-to-SNN 등가변환기법을 개발하여 적용하였다. 이는 기존의 심층 인공 신경망(DNN) 구조를 스파이킹 뉴럴 네트워크(SNN)로 변환하는 방법의 정확도를 더욱 끌어올리기 위해 스파이크의 발생 문턱값을 정밀 제어하는 방법이다. 이를 통해 연구팀은 스파이킹 뉴럴 네트워크(SNN)의 에너지 효율성을 유지하면서도 심층 인공 신경망(DNN) 수준의 정확도를 달성할 수 있었다고 밝혔다.

이번 연구를 통해 개발한 인공지능반도체용 하드웨어 유닛은 기존 거대 언어 모델 반도체 및 뉴로모픽 컴퓨팅 반도체에 비해 4가지의 특징을 지닌다. 1) 심층 인공 신경망(DNN)과 스파이킹 뉴럴 네트워크(SNN)를 상호 보완하는 방식으로 융합한 독특한 신경망 아키텍처를 사용함으로써 정확도를 유지하면서도 연산 에너지 소모량을 최적화하였으며, 2) 심층 인공 신경망(DNN)과 스파이킹 뉴럴 네트워크(SNN)를 상보적(Complementary)으로 활용하여 모두 효율적으로 신경망 연산을 처리할 수 있는 인공지능반도체용 통합 코어 구조를 개발하였다. 또한, 3) 스파이킹 뉴럴 네트워크 처리에 소모되는 전력을 줄이기 위해 출력 스파이크 추측 유닛*을 개발하였으며, 4) 거대 언어 모델의 파라미터를 효과적으로 압축하기 위해 빅-리틀 네트워크(Big-Little Network) 구조와 암시적 가중치 생성기법, 그리고 부호압축까지 총 3가지 기법을 사용하였다. 이를 통해 GPT-2 거대(Large)** 모델의 708M개에 달하는 파라미터를 191M개로 줄였으며, 번역을 위해 사용되는 T5 (Text–to-Text Transfer Transformer)모델의 402M개에 달하는 파라미터 역시 동일한 방식을 통해 76M개로 줄일 수 있었다. 이러한 압축을 통해 연구진은 언어 모델의 파라미터를 외부 메모리로부터 불러오는 작업에 소모되는 전력을 약 70% 감소시키는 것에 성공하였다. 그 결과, 상보형-트랜스포머는 전력 소모를 GPU(NVIDIA A100) 대비 625배만큼 줄이면서도 GPT-2 모델을 활용한 언어 생성에는 0.4초의 고속 동작이 가능하며, T5 모델을 활용한 언어 번역에는 0.2초의 고속 동작이 가능하다.

* 출력 스파이크 추측 유닛 : 스파이킹 뉴럴 네트워크의 각 뉴런이 발생시키는 출력 스파이크 패턴을 기반으로 이후에 발생할 스파이크 패턴을 예측하는 유닛으로, 예측을 통해 스파이크 출력을 위한 뉴런의 연산들이 생략되어 전력을 감소시킴.

** GPT-2 거대(Large) 모델 : 엣지 디바이스에서 언어 생성을 위해 널리 사용되는 GPT-2 모델로 708M개의 파라미터를 가지며 서버에서 주로 사용되는 1.5B의 파라미터의 GPT-2 초거대(XLarge) 모델의 절반 수준

3단계 압축법	내용
① 빅-리틀 네트워크	크기가 큰 신경망과 작은 신경망을 상보적으로 융합하여 쓰는 방식으로, 주로 소규모의 신경망을 이용하고 정확도 하락이 심할 경우 대규모 신경망을 사용하여 높은 정확도 및 에너지 효율을 동시에 확보 가능
② 암시적 가중치 생성	파라미터를 인공지능신경망을 통해 미리 압축 후 온칩으로 전송하여 외부 메모리 활용을 감축
③ 부호 압축	2단계에서 온칩으로 전달되는 데이터 중 불필요한 부호 확장 비트를 1비트로 압축하여 전달

또한, 파라미터 압축에 따른 정확도 하락을 방지하기 위해 경량화 정도에 따른 정확도 하락률을 반복 측정하여 최적화하였다. 이에 언어 생성의 경우 1.2 분기계수(perplexity)*만큼 정확도가 감소하였으나, 이는 생성된 문장을 사람이 읽기에 어색함을 느끼지 않을 수준이다. 이러한 특징을 바탕으로 연구팀은 이번 연구 성과는 모바일 장치 등 에너지 제약이 높은 환경에서도 정확하게 거대 언어모델을 구동할 수 있어 온디바이스AI 구현을 위한 최적의 기술이라고 밝혔다.

* 분기계수(Perplexity) : 언어모델의 생성 성능을 판단하기 위한 지표 중 하나로, 낮을수록 언어 모델이 잘 학습되었음을 의미

본 연구는 거대모델의 파라메타 수를 줄이는 데에만 집중된 최근 연구 트렌드와 달리 파라미터 수 감소에 더해 초저전력 처리가 가능한 뉴로모픽 컴퓨팅을 거대언어 모델 처리에 적용하여 에너지 효율을 극대화하였다는 점이 획기적이다. 연구팀은 향후 뉴로모픽 컴퓨팅을 언어 모델에 국한하지 않고 다양한 응용 분야로 연구범위를 확장할 것이며, 상용화에 관련된 문제점들도 파악하여 개선할 예정이라고 밝혔다. KAIST 유회준 전기및전자공학부 교수는 “이번 연구는 기존 인공지능반도체가 가지고 있던 전력 소모 문제를 해소했을 뿐만 아니라, GPT-2와 같은 실제 거대언어모델 응용을 성공적으로 구동했다는데 큰 의의가 있다.”며, “뉴로모픽 컴퓨팅은 인공지능시대에 필수적인 초저전력·고성능 온디바이스AI의 핵심기술인만큼 앞으로도 관련 연구를 지속할 것”이라고 설명했다.

과기정통부 전영수 정보통신산업정책관은 “이번 연구성과는 인공지능반도체가 NPU와 PIM을 넘어 뉴로모픽 컴퓨팅으로 발전할 수 있는 가능성을 실제로 확인했다는 것에 큰 의미가 있다”라며, “지난 1월 대통령 주재 반도체 민생토론회에서 AI반도체의 중요성이 강조되었듯이, 앞으로도 이러한 세계적인 연구성과를 지속적으로 낼 수 있도록 적극적으로 지원하겠다.”고 밝혔다.

담당 부서	한국과학기술원 PIM반도체설계연구센터 인공지능반도체대학원	교신저자	교수	유회준	(042-350-3468)
		제1저자	연구원	김상엽	(042-350-8068)
	정보통신산업정책관실	책임자	과 장	윤두희	(044-202-6220)
	정보통신산업정책과	담당자	사무관	김휘태	(044-202-6223)
협조 부서	정보통신산업정책관실	책임자	과 장	안영훈	(044-202-6240)
	정보통신산업기반과	담당자	사무관	김준호	(044-202-6242)

★ 연구 이야기 ★

□ 연구를 시작한 계기나 배경은?

우리 연구팀이 추구한 목표는 뉴로모픽 컴퓨팅의 새로운 지평을 여는 것이었다. 기존에 뉴로모픽 컴퓨팅 기술은 주로 간단한 이미지 분류 작업에 국한되어 활용되었다. 하지만 이러한 접근은 뉴로모픽 컴퓨팅이 지닌 잠재력을 제한하는 것이었다. 우리 연구팀은 이 기술을 단순한 이미지 분류를 넘어, 일상생활에서 널리 사용되는 다양한 응용 분야에 적용하고자 했고, 2023년에 개최된 국제고체회로설계학회(ISSCC)에 심층 인공 신경망과 스파이킹 뉴럴 네트워크를 혼합하여 사용하는 상보적-심층신경망(C-DNN, Complementary-DNN)을 제안하였다. 작년에 발표된 연구는, 스파이킹 뉴럴 네트워크가 크기가 작은 입력 데이터들에 대해 효율적이고 심층 인공 신경망는 크기가 큰 입력 데이터들에 대해 효율적이라는 상보적 특성을 이용했고, 입력 데이터들을 크기에 따라 서로 다른 네트워크에 할당해 전력을 최소화하였다. 우리 연구팀은 해당 연구를 확장하여, 상보적-심층신경망 개념을 최근 널리 사용되고 있는 거대 언어 모델에 적용하고, 이를 위한 하드웨어를 만들어 높은 성능을 달성할 수 있다는 것을 입증하고자 이 연구를 시작하게 되었다.

□ 연구 전개 과정에 대한 소개

C-트랜스포머 연구의 전개 과정은 뉴로모픽 컴퓨팅의 실용적인 확장하는 데 중점을 두었다. 특히, 번역, 요약 등과 같은 고도의 언어 처리 작업을 성공적으로 수행할 수 있는지를 실험했다. 이 과정에서 우리는 단순히 이론적인 연구에 그치지 않고, 이를 실제 환경에서 구현할 수 있는 새로운 하드웨어 아키텍처를 설계하고 제작했다. 또한, 우리는 입력값의 크기에 따라 심층 인공 신경망과 스파이킹 신경망을 선택적으로 사용하는 기법과 출력 스파이크를 예측하는 기법들을 개발해 저전력 거대 언어 모델 구동을 가능케 했다.

□ 연구하면서 어려웠던 점이나 장애요소가 있었다면 무엇인지? 어떻게 극복(해결)하였는지?

연구 과정에서 가장 큰 도전은 뉴로모픽 네트워크에서 높은 정확도를 달성하는 것이었다. 전통적으로, 뉴로모픽 시스템은 그들의 에너지 효율성에도 불구하고, 학습 알고리즘의 한계로 인해 복잡한 작업을 수행할 때 정확도가 떨어지는 경향이 있었다. 이는 특히 거대 언어 모델과 같이 높은 정밀도와 성능이 요구되는 작업에서 큰 장애 요소로 작용했다. 이러한 문제를 해결하기 위해, 우리 팀은 'DNN-to-SNN conversion'이라는 혁신적인 알고리즘을 적용했다. 이 알고리즘의 핵심 아이디어는 높은 정확도로 학습된 심층 인공 신경망(DNN) 구조를 스파이킹 뉴럴 네트워크(SNN)로 변환하는 것이다. DNN에서 사용되는 연속적인 값들을 SNN의 이산적인 스파이크로 효과적으로 변환하기 위해, 우리는 네트워크의 가중치와 활성화 함수를 재조정했다. 이 변환 과정을 통해, 우리는 SNN의 에너지 효율성을 유지하면서도 DNN 수준의 정확도를 달성할 수 있었다.

□ 이번 성과, 무엇이 다른가?

이번 연구 결과는 크게 4가지 점에서 기존 거대 언어 모델 반도체 칩 및 뉴로모픽 컴퓨팅 칩과 차이를 가진다. 1) 심층 인공 신경망(DNN)과 스파이킹 뉴럴 네트워크(SNN)를 융합한 독특한 신경망 아키텍처를 사용함으로써 정확도를 유지하면서도 연산 에너지 소모량을 최적화하였으며, 2) 심층 인공 신경망과 스파이킹 뉴럴 네트워크를 모두 에너지 효율적으로 처리할 수 있는 동종 코어를 개발하였으며, 3) 스파이킹 뉴럴 네트워크 처리에 소모되는 전력을 줄이기 위한 출력 스파이크 추측 기법을 개발하였으며, 4) 거대 언어 모델의 큰 파라미터를 효과적으로 압축할 수 있는 기법과 이를 위한 하드웨어 유닛을 개발하였다. 이러한 차이점들로 인해, C-트랜스포머는 기존의 거대 언어 모델 가속기들과 비교하여 더 높은 에너지 효율성, 유연성을 제공한다. 이는 특히 모바일 장치나 에너지 제한적 환경에서의 언어 모델 처리에 큰 이점을 가져다준다. 그리고, C-트랜스포머는 기존의 뉴로모픽 컴퓨팅 칩들과 비교하여 높은 정확도와 높은 응용성을 보인다.

□ 꼭 이루고 싶은 목표와 향후 연구계획은?

최근 Chat-GPT와 같은 생성 AI의 등장과 온디바이스 AI의 필요성으로 인해 AI 반도체에 대한 수요와 성능 요구가 빠르게 증가하고 있다. 우리의 주요 목표는 이러한 변화하는 시장 요구에 부응하는 혁신적인 AI 반도체 솔루션을 개발하는 것이다. 특히, 상용화 과정에서 발생할 수 있는 추가적인 문제점을 파악하고, 이에 대한 해결책을 제공하는 연구에 집중하고자 한다. 또한, 우리의 향후 연구는 언어 모델에 국한되지 않고 뉴로모픽 컴퓨팅을 다양한 응용 분야에 적용하는 것을 포함하며, 이는 AI 기술의 다양성과 범용성을 향상하게 시키는 데 중요한 역할을 할 것이다.

용 어 설 명

1. 거대 언어 모델 (Large Language Model)

○ 대규모 데이터셋에서 수백만 또는 수십억 개의 단어를 학습하여 언어의 복잡성을 이해하고 생성하는 인공지능 모델로써. 자연 언어 처리의 최전선에서 활용되며, 문장 생성, 요약, 번역, 질문에 대한 답변 제공 등 다양한 작업을 수행할 수 있음.

2. 뉴로모픽 컴퓨팅 (Neuromorphic Computing)

○ 인간 뇌의 구조와 기능을 모방하여 설계된 컴퓨팅 시스템으로써, 뇌의 신경 세포(뉴런)와 그 연결(시냅스)을 모방한 회로를 사용해 전통적인 컴퓨팅 시스템보다 훨씬 더 에너지 효율적으로 데이터를 처리할 수 있음.

3. 스파이킹 뉴럴 네트워크 (Spiking Neural Network)

○ 뉴로모픽 컴퓨팅의 한 형태로, 뇌의 뉴런이 스파이크라는 시간에 따른 신호를 사용해 정보를 처리하는 방식. 생물학적 뇌의 작동 방식에 가까워 에너지 효율이 높고, 실시간 처리와 복잡한 시계열 데이터 분석에 적합함.

4. 심층 인공 신경망 (Deep Neural Network)

○ 이미지 인식, 비디오 분석, 이미지 분류와 같은 시각적 데이터 처리에 사용되는 딥러닝 모델로써, 여러 인공 신경망 계층을 통해 이미지의 특징을 추출하고, 이를 분류하거나 인식하는 데 사용함.

5. 국체고체회로설계학회 (International Solid State Circuit Conference)

○ ‘반도체 설계 올림픽’으로 불리며 반도체 집적회로 관련 학회 중 세계적으로 가장 큰 규모와 높은 권위를 자랑하는 학회. 1954년 처음 개최되어 올해로 70회를 맞이하며 매년 30여개 국에서 3000명 이상의 연구자가 참여.

6. 빅-리틀 네트워크 (Big-Little Network)

○ 크기가 큰 네트워크와 작은 네트워크를 함께 이용하여 연산에 사용되는 파라미터를 줄이는 기법으로써, 일반적인 상황에서는 작은 네트워크의 적은 파라미터만으로 연산을 수행하고, 작은 네트워크의 결과가 틀렸다고 판단될 때만 큰 네트워크의 많은 파라미터를 이용해 연산을 수행하는 방식.

그 림 설 명

(그림 1) AI 반도체 발전 방향

AI 반도체 산업은 현재 급속한 변화와 발전을 경험하고 있다. 과거에 범용 컴퓨팅에 주로 사용되던 CPU의 한계를 넘어서, AI와 같은 고도의 데이터 처리가 필요한 작업을 위해 GPU가 중심적인 역할을 하기 시작했다. GPU는 병렬 처리 능력을 통해 대규모 데이터셋을 빠르게 처리할 수 있어, 머신러닝 및 딥러닝 연산에 매우 적합하다. 하지만 AI의 발전은 여기에 그치지 않고, 더욱 맞춤화된 솔루션을 요구하고 있다. 이에 따라, FPGA와 같은 프로그래밍 가능한 반도체가 주목받기 시작했다. FPGA는 특정 작업에 대해 하드웨어 수준에서의 맞춤화를 가능하게 하여, 효율성과 성능을 한층 더 향상할 수 있다. 또한, ASIC (Application Specific Integrated Circuit)은 특화된 기능을 수행하도록 설계되어, 특정 AI 응용 분야에서 최고의 성능을 발휘할 수 있도록 최적화되어 있다. 이러한 ASIC은 특정 태스크에 대해 매우 높은 처리 능력과 에너지 효율성을 제공하며, 특정 목적의 AI 애플리케이션에서 광범위하게 채택되고 있다. 가장 최근의 발전은 뉴로모픽 칩으로의 전환이다. 이 칩들은 인간의 뇌를 모사한 설계로, 에너지 효율성을 극대화하면서도 복잡한 AI 연산을 수행할 수 있다. 뉴로모픽 칩은 스파이킹 뉴럴 네트워크를 기반으로 하여, 실시간 데이터 처리와 학습 능력에서 뛰어난 성능을 보이고있다. 이것은 특히 전력 사용이 제한적인 모바일 기기나 웨어러블 기술에 혁명을 가져올 가능성을 내포하고 있다.

※ 심층신경망(DNN)의 한 종류인 합성곱신경망(CNN)

(그림 2) 스파이킹 뉴럴 네트워크와 심층 신경망 사이의 상보적 특성

최근, 스파이킹 뉴럴 네트워크(SNN)과 심층 신경망 (DNN)이 여러 인공지능 응용에 널리 사용되고 있다. SNN의 경우, 사람의 뇌를 모방한 신경망으로써, 각 뉴런이 스파이크를 전달받게 되면, 뉴런이 가지고 있는 가중치와 1bit 스파이크의 AND연산을 수행하게 된다. 이후, 여러 뉴런들에서 발생한 AND연산 결과가 누적되어 막전압이 증가한다. 이후, 스파이크를 계속 전달받아 막전압이 특정 역치를 넘게 되면, 막전압은 초기화 되고 출력 스파이크가 생성되어 다음 뉴런으로 전달된다. 즉, SNN은 스파이크를 전달 받을 때만 동작하기 때문에 이벤트 기반 연산 특성을 가지며, 이는 저전력 달성에 큰 도움이 된다. 그리고, 특히 SNN의 경우에는 입력 값이 작을 경우에 저전력 달성이 가능하며, 이는 입력 값이 작을수록 입력 스파이크가 발생할 확률이 적기 때문이다. 이는 마치 사람의 뇌가 생각할 일이 적을때는 에너지 소모가 적고 에너지 소모가 많은 경우에는 에너지 소모가 큰 것과 유사한 원리이다.

하지만, DNN의 경우에는 컨볼루션 레이어들로 구성되어 있으며, 각 레이어는 곱셈 및 누적을 수행한다. 입력의 크기가 클 경우, SNN은 많은 스파이크로 인해 많은 누적이 발생하며, 이때는 오히려 DNN의 연산 에너지 소모가 더 적게 된다. 또한, DNN은 SNN 보다 더 높은 정확도를 달성 가능하다는 특징이 있다. 따라서, 서로 간에 상보적 특성이 있고, 두 신경망의 장점만을 모으기 위한 상보형-심층신경망을 2023년 2월 미국 샌프란시스코에서 김상엽 박사가 제 1저자로써 세계적인 반도체 연구자들이 개최한 국제고체회로설계학회(ISSCC)에 발표했다. (논문번호 22.5, 논문명: C-DNN: A 24.5-85.8 TOPS/W Complementary-Deep-Neural-Network Processor with Heterogeneous CNN/SNN Core Architecture and Forward-Gradient-Based Sparsity Generation (저자: 김상엽, 김소연, 홍성연, 김상진, 한동현, 유회준))

(그림 3) 상보형(Complementary)-심층신경망(DNN)

2023년 국제고체회로설계학회(ISSCC)에 제안된 상보형-심층신경망을 보여준다. 심층신경망(DNN)과 스파이킹 뉴럴 네트워크(SNN)는 입력 크기에 따라 다른 성능을 보이는 상보적인 특성을 가지고 있다. 왜냐하면, 사람의 뇌가 생각할 것이 많을 때 에너지 소모가 많고 생각할 것이 적을 때 에너지 소모가 적은 것과 마찬가지로, 뇌를 모방한 스파이킹 뉴럴 네트워크는 입력값의 크기가 클 때는 전력을 많이 소모하고 입력값의 크기가 작을 때에는 전력을 적게 소모하기 때문이다. 따라서, 입력 크기가 큰 경우는 DNN이 SNN에 비해 더 적은 파워를 소모하며, 입력 크기가 작은 경우는 SNN이 DNN에 비해 더 적은 파워를 소모한다. 최적화된 에너지 소모를 위해, 크기가 큰 입력을 많이 가진 계층 혹은 계층 내의 특정 타일의 연산은 DNN에 할당되고, 크기가 작은 입력을 많이 가진 계층 혹은 계층 내의 특정 타일의 연산은 SNN에 할당된다. 결과, 상보형-심층신경망은 기존 심층신경망에 비해 이미지넷(ImangeNet) 분류에 대해 31% 더 적은 에너지를 소모한다.

(그림 4) 상보형(Complementary)-트랜스포머 칩(Chip)

뉴로모픽 컴퓨팅을 활용해 GPT-2와 같은 거대 언어 모델 응용을 성공적으로 구동한 거대 언어 모델 구동용 AI 반도체로써, 기존 GPU 보다 전력은 625배 효율적이고, 칩 면적도 동일공정으로 환산하였을 때 0.024배 작은 인공지능 반도체.

(그림 5) 심층인공/스파이킹 신경망 동종 코어

이 그림은 복잡한 신경망 연산을 수행하기 위해 설계된 하이브리드 심층인공/스파이킹 신경망 코어의 구조를 보여준다. 이 코어는 심층 인공 신경망(DNN)과 스파이킹 신경망(SNN) 양쪽의 연산을 효율적으로 처리할 수 있는 유연성을 갖추고 있다. 코어 내부에는 하이브리드 곱셈기/누적기가 통합되어 있는데, 이는 입력 데이터의 형태와 요구되는 연산에 따라 DNN의 곱셈 연산 또는 SNN의 누적 연산 중에서 선택적으로 수행할 수 있다. 이 그림에서 보이는 것처럼, 코어는 풀 에더(Full-Adder, FA) 배열을 포함하고 있으며, 이는 다양한 입력 채널에 대한 가중치와 스파이크를 처리한다.

그림의 왼쪽 부분은 전체 코어의 구조를 보여주며, 가중치 메모리(WMEM), 가중치 공급 로직(WFL), 그리고 출력 스파이크 추측 유닛(OSSU) 등을 포함한다. 오른쪽 부분은 코어에서 곱셈 연산과 누적 연산이 어떻게 전환될 수 있는지를 보여준다. 예를 들어, DNN 모드에서는 하나의 입력 채널과 가중치 간의 곱셈이 수행되지만, SNN 모드에서는 여러 입력 채널에 대한 누적 연산으로 전환된다.

이러한 동종 코어의 설계는 입력 데이터의 특성에 따라 최적의 신경망 모드를 선택하여 연산을 수행함으로써 에너지 효율을 최대화한다. 스파이킹 신경망 모드는 특히 저전력이 필요한 상황에서 유리하며, 심층 인공 신경망 모드는 복잡한 데이터 분석이 요구될 때 더 적합할 수 있다. 이러한 유연성은 단일 칩에서 다양한 유형의 신경망 연산을 지원함으로써, 보다 넓은 범위의 AI 응용 프로그램에 적용될 수 있게 한다.

(그림 6) 출력 스파이크 추측 방식

이 그림은 스파이킹 신경망(Spiking Neural Network, SNN)의 입력 스파이크 패턴 처리와 관련된 샘플링 기반 접근 방법을 설명하고 있다. 이 접근 방법은 신경망의 연산량과 에너지 소비를 줄이는 데 중점을 두고 있다. 전체 시간 영역에 분포된 입력 스파이크 패턴 중 일부만을 샘플링하여 스파이킹 신경망을 구동하는 새로운 방식이다. 샘플링된 입력 데이터를 이용해 네트워크를 활성화하고, 이를 바탕으로 발생한 출력 스파이크의 확률을 계산하여 나머지 시간 영역에서 예상되는 스파이크 패턴을 추정한다. 이때, 스파이크 발생의 불확실성을 고려하여 난수 발생기(Random Number Generator, RNG)를 사용, 출력 스파이크의 발화 확률을 통계적으로 모델링함으로써 전체 시간 영역에 걸쳐 정확한 스파이크 패턴을 추정한다. 이러한 방식은 기존에 전체 시간에 대해 연산을 수행하던 방식에 비해 연산량을 현저히 줄이면서도 신경망의 성능을 유지할 수 있는 장점을 제공한다. 예를 들어, 25%의 시간 영역에서 샘플링된 스파이크를 기반으로 나머지 75%의 출력 스파이크 패턴을 예측하는 것이다. 이는 스파이킹 신경망의 전체 연산량을 크게 줄여, 전력 소비를 절감하고 반도체의 효율성을 극대화하는 데 중요한 역할을 한다.

(그림 7) 3단계 파라미터 압축법

이 그림은 C-Transformer에서 채택한 외부 메모리 접근 (EMA:External Memory Access) 횟수를 줄이는 3단계 파라미터 압축법을 설명한다. 1단계는 빅-리틀 네트워크, 2단계는 암시적 가중치 생성이며 3단계는 부호 압축이다.

1) 빅-리틀 네트워크: 보통 상황에서는 파라메타 수가 적은 작은 네트워크를 사용하여 연산을 처리하고, 작은 네트워크의 결과가 부정확하다고 판단되는 경우에만 큰 네트워크의 더 많은 파라미터를 활용하여 연산을 수행하는 방식이다. 이 방식에 의해, GPT-2, mT5등과 같은 모델을 처리할 때 요구되는 메모리 접근량이 39~59%가량 감소된다.

2) 암시적 가중치 생성: 파라메타를 인공지능 신경망을 통해 미리 압축시키고, 이렇게 압축된 결과만을 온칩으로 보내 외부 메모리 접근을 줄이는 방식이다. 온칩으로 전달된 압축된 데이터는, 온칩의 인공지능 신경망으로 처리하여 기존 파라미터로 다시 복원된다. GPT-2, mT5등과 같은 모델을 처리할 때, 빅-리틀 네트워크 기법과 이 방식이 동시에 사용될 경우, 요구 외부 메모리 접근량이 60~71%가량 감소된다.

3) 부호 압축: 암시적 가중치 생성과정에서 온칩으로 전달되는 입력 데이터 대부분에 존재하는 불필요한 부호 확장 비트를 1bit으로 압축시키는 방식이다. 위 두 가지 방식과 이 방식이 함께 사용될 경우, 외부 메모리 접근량이 74~81%가량 감소되어 19%~26%만의 데이터만이 사용된다.

(그림 8) 상보형-트랜스포머 데모

이 그림은 상보형-트랜스포머를 활용한 대형 언어 모델(Large Language Model, LLM) 데모 시연의 모습을 보여준다. C-Transformer는 다양한 언어 처리 작업을 위한 전용 하드웨어 가속기를 사용하여, 거대 언어 모델의 실시간 처리 능력을 향상시킨 것으로 보인다. 이미지에는 네 개의 데모 시나리오가 포함되어 있다:

1) GPT-2를 이용한 텍스트 생성: 첫 번째 데모에서는 GPT-2 모델을 사용하여 주어진 텍스트 입력에 대한 새로운 텍스트를 생성한다.

2) mT5를 이용한 텍스트 번역: 두 번째 데모는 mT5 모델을 사용하여 텍스트를 다른 언어로 번역한다.

3) T5를 이용한 텍스트 요약: 세 번째 데모는 T5 모델을 활용하여 긴 텍스트를 요약하는 작업이다.

(그림 9) 상보형-트랜스포머 속도 비교

이 그림은 상보형-트랜스포머의 속도 비교 결과를 보여준다.:왼쪽은 PC의 CPU만을 이용해 거대 언어 모델을 구동하는 경우이고, 오른쪽은 상보형-트랜스포머를 이용해 거대 언어 모델을 구동하는 경우이다. 위 사진에서 구동되는 작업은 글을 요약하는 작업이며, 긴 글을 언어 모델을 이용해 요약하는데 CPU는 1분 41초나 소요하지만, 상보형-트랜스포머는 오직 11초만에 요약을 끝낸다. 결과적으로, 상보형-트랜스포머는 기존 CPU에 비해 9.18배 더 빠른 속도로 요약 작업 수행하는 것이 가능하다.

(그림 10) 데모 동영상 유튜브 캡처 화면

이 그림은 데모 시연 모습이 담긴 유튜브 동영상의 캡처 화면을 보여준다. 실제 국제고체회로설계학회 (ISSCC) 발표 현장에서 공개되어 많은 학회 참여자들의 관심을 받았다.

데모영상 주소 : https://youtu.be/VOofRQoOlzU

(그림 11) ISSCC (국제고체회로설계학회) 발표사진 (발표자: 김상엽 박사)

유회준 교수[교신저자] 이력사항

인적사항 ○ 소 속 : 한국과학기술원(KAIST) ○ 전 화 : 042-350-3468 ○ e-mail : hjyoo@kaist.ac.kr
2. 경력사항 ○ 1988 ～ 1990 Bell Communications Corp. USA Post-doc ○ 1991 ～ 1995 현대전자(하이닉스) 반도체연구소 DRAM 설계실장 ○ 1998 ～ 현재 KAIST 전기및전자공학부 교수 ○ 2007 ～ 현재 KAIST SDIA(반도체시스템설계응용연구센터) 소장 ○ 2008 ～ 현재 IEEE Fellow ○ 2011.12.12. 옥조근정훈장 ○ 2014.11.07. 경암학술상 ○ 2019.02.18. KAIST 학술대상 ○ 2020.01. ~ 2024.12. IEEE ASSCC학회장 ○ 2022.04. ~ 현재. PIM반도체설계연구센터 (AI-PIM) 소장 ○ 2022.09. ~ 현재. KAIST ICT Convergence Research Institute 소장 ○ 2023.09. ~ 현재. KAIST 인공지능반도체대학원 학장 ○ 2024.01. ~ 현재. 반도체공학회 회장 4. 전문분야 정보 ○ 메모리 반도체 칩 설계 ○ 인공지능 반도체 칩 설계 ○ Wearable Healthcare 회로 및 시스템

김상엽 박사[제1저자] 이력사항

1. 인적사항 ○ 소 속 : 한국과학기술원(KAIST) ○ 전 화 : 042-350-8068 ○ e-mail : sangyeob.kim@kaist.ac.kr
2. 학력 ○ 2018년 KAIST 학사 (전기 및 전자공학부) ○ 2020년 KAIST 석사 (전기 및 전자공학부) ○ 2023년 KAIST 박사 (전기 및 전자공학부) 3. 경력사항 ○ 2023.09 ～ 현재. KAIST 정보전자연구소 연수연구원 3. 전문분야 정보 ○ 에너지 효율적인 딥러닝 프로세서 ○ 뉴로모픽 컴퓨팅 하드웨어 ○ 프로세싱-인-메모리 (PIM) 인공지능 하드웨어