초거대AI
초거대 AI란 딥러닝으로 대용량 데이터를 스스로 학습해 인간처럼 종합적 추론이 가능한 차세대 AI를 말한다.
챗GPT가 인간과 유사한 수준으로 질문에 적절하게 응답하는 것도 파라미터(parameter, 매개 변수)가 1,750억 개에 달하는 수많은 데이터를 학습한 언어모델이기 때문이다.
‘챗GPT’, ‘DALL·E’, ‘Bard’의 등장과 같이 AI 서비스 종류가 다양해지고 고도화될수록, 메모리 반도체가 수행해야 할 역할도 더욱 확장되고 있다. AI 서비스를 원활하게 구현하려면 대량의 데이터를 기반으로 여러 연산을 동시에 빠르게 수행하는 능력이 필요하기 때문이다.
이러한 상황에서 반도체 업계는 ‘AI 서비스와 함께 폭발적으로 증가하는 데이터를 어떻게 효율적이고, 빠르게 처리할 것인가’에 대한 해답을 찾게 된다. 차원이 다른 고성능 기술을 제공하는 AI 시대의 핵심 반도체, ‘HBM’이 바로 그것이다.
HBM: High Band Memory의 약자로 고대역폭으로 데이터 처리 속도를 높인 초고속 메모리
HBM(High Bandwidth Memory)은 이름 그대로 넓은 대역폭을 지닌 메모리를 뜻한다.
여기서 ‘대역폭’이란 주어진 시간 내에 데이터를 전송하는 속도나 처리량, 즉 데이터 운반 능력을 의미한다.
HBM은 현재 메모리 시장에서 가장 넓은 대역폭을 지닌 메모리 반도체인데, 간단히 이야기하면 메모리 중 데이터를 가장 빠르게 처리하고 전송할 수 있다는 것이다. 이로써 HBM은 응용처의 성능과 전력 효율 향상에 기여할 수 있게 된다.
주로 게임이나 그래픽 작업과 같은 고성능 그래픽 분야에 활용되는 GDDR은 비교적 낮은 비용으로 높은 성능과 용량을 제공할 수 있다. 한편, HBM은 GDDR 대비 상대적으로 제조 과정이 복잡하고 비용이 높을 수 있지만, 더 높은 에너지 효율을 기반으로 HPC·AI 응용 수준의 높은 대역폭을 제공할 수 있다.
* HPC: High Performance Computing
* GDDR: Graphics Double Data Rate
TSV: Through Silicon Via
이는 HBM에 TSV(Through Silicon Via)라는 기술이 적용됐기 때문이다.
TSV는 메모리 칩을 수직으로 쌓고, 적층된 칩 사이에 얇은 금속 터널을 만들어 전기적 신호가 칩 간 직접 전달되게 하는 패키징 기술이다. 이로써 데이터 전송 속도의 지연을 최소화하고, 적은 전력으로 많은 양의 데이터를 처리할 수 있게 된다.
CoW : Chip on Wafer
TCB: Thermal Compression Bonding
한편, HBM에는 CoW(Chip on Wafer) 기술과 TCB(Thermal Compression Bonding) 기술도 적용되었다.
CoW는 이름 그대로 웨이퍼 위에 칩을 붙이는 기술을 의미하며,
TCB는 TSV가 적용된 얇은 칩이 전기적으로 연결될 수 있게 정밀하게 쌓아 올리는 패키징 기술을 말한다.
HBM3E
HBM3E D램 ‘샤인볼트’는 데이터 입출력 핀 1개당 최대 9.8Gbps의 고성능을 제공하는데, 이는 현재 존재하는 메모리 반도체 중 가장 빠른 수준이다. 1초에 최대 1.2TB(테라바이트) 이상의 데이터를 처리할 수 있음을 의미하며, 더 쉽게 예를 들면 30GB 용량의 UHD 영화 40편을 1초 만에 처리하는 것과 같다.
삼성전자 반도체는 웨이퍼를 제조하고 회로를 만드는 전공정뿐 아니라, 완성된 칩에 데이터 이동과 전기 전달을 가능하게 하고, 외부 환경으로부터 보호하는 패키징 공정도 지속 개발 중이다.
현세대 제품에서 칩 적층 시 적용 중인 NCF(Non-conductive Film, 비전도성 접착 필름)와 차세대 제품 적용을 목표로 개발 중인 HCB(Hybrid Copper Bonding, 하이브리드 접합) 기술이 바로 그것이다.
NCF는 적층된 칩 사이를 절연시키고 충격으로부터 연결 부위를 보호하기 위해 사용하는 고분자 물질이다. NCF를 활용하면 열전도를 극대화하고 열 특성을 개선할 수 있다. 한편 HCB 기술은 칩을 접합할 때 ‘범프’라는 매개체를 없애고, 각 칩 표면에 드러난 구리를 직접 연결한다. 이로써 범프를 사용할 때보다 칩 적층 시 안정성을 향상하고, 열성능을 최적화할 수 있을 것으로 기대된다.
GDDR과 HBM의 차이
GDDR (Graphics Double Data Rate)
GDDR은 그래픽 카드와 게임 콘솔에서 주로 사용되며, 높은 대역폭과 상대적으로 낮은 지연 시간을 제공한다.
또한 높은 대역폭을 제공하지만, HBM에 비해 대역폭이 낮다. 최신 버전인 GDDR6X는 최대 21 Gbps의 데이터 전송 속도를 제공하며,
GDDR 메모리는 전통적인 PCB(Printed Circuit Board) 설계에서 독립된 칩으로 GPU 주변에 배치된다
또한 HBM에 비해 상대적으로 높은 소비 전력을 가지지만 하지만 HBM보다 생산 비용이 저렴하며, 대량 생산에 유리하다.
HBM (High Bandwidth Memory)
HBM은 고성능 컴퓨팅, 데이터 센터, AI, 그리고 고급 그래픽 카드에 사용되며, 매우 높은 대역폭과 낮은 지연 시간을 제공한다.
HBM2E는 최대 460 GB/s의 데이터 전송 속도를 제공하며 HBM3는 이보다 더 높은 속도를 제공한다.
HBM 메모리는 TSV(Through-Silicon Via) 기술을 사용하여 다층 칩을 적층하여 GPU에 가까운 위치에 배치한다.
이는 메모리와 GPU 사이의 데이터 전송을 더욱 효율적으로 만들지만,
GDDR에 비해 소비 전력이 낮지만 생산 비용이 높고 제조과정이 복잡하다.
GDDR 사용 예시: NVIDIA GeForce RTX 30 시리즈 그래픽 카드
HBM 사용 예시: AMD Radeon VII 그래픽 카드, NVIDIA Tesla V100 AI 가속기
결론
게임 및 그래픽 작업에는 비용 효율적인 GDDR이 많이 사용되며,
고성능 컴퓨팅 및 AI 작업에는 더 높은 성능과 효율성을 제공하는 HBM이 선호됨
출처:
[반도Chat Ep.3] 초거대 AI 시대를 이끌 메모리 반도체 ‘HBM’
어떤 질문이든 척척 답을 내어주는 ‘챗GPT’처럼, 삼성전자 반도체 뉴스룸은 ‘반도Chat’ 시리즈를 통해 어려운 반도체 용어도 단번에 쏙쏙 알기 쉽게 전하고 있다. 반도Chat 시리즈 세 번째 이
news.samsungsemiconductor.com
