“오픈AI 최고경영자 샘 올트먼이 글로벌 반도체 산업 재편에 최대 7조 달러(약 9000조원) 자금 조달을 추진하고 있다.” 지난 2월8일 〈월스트리트저널〉(WSJ)의 보도가 전 세계적인 이목을 끌었다. 무엇보다도 비현실적 투자 목표 금액에 대해 갑론을박이 오갔다. 7조 달러는 마이크로소프트와 애플의 시가총액을 더한 금액(약 6조 달러)보다 크다. WSJ는 샘 올트먼이 아랍에미리트 정부 등 중동 투자자를 중심으로 자금 조달을 추진하고 있다고 보도했다.

샘 올트먼이 인공지능(AI) 개발을 넘어 반도체 생산에 도전하고 있다는 사실 자체는 전혀 새로운 소식이 아니다. 지난해 11월 올트먼이 오픈AI 최고경영자 자리에서 쫓겨났다가 복귀한 이른바 ‘오픈AI 쿠데타’ 당시에도 그가 반도체 등 하드웨어 장치 개발에 뛰어들려 한다는 소식이 알려진 바 있다. 자신을 해고한 이사진을 물갈이하고 오픈AI에 복귀한 이후 올트먼이 반도체 산업 진출을 위해 투자자를 만나고 있다는 풍문은 꾸준히 흘러나왔다. 다만 천문학적 투자 금액이 그의 행보를 향한 관심에 다시금 불을 댕겼다.

샘 올트먼은 WSJ가 보도한 ‘7조 달러 투자설’을 부정하지 않았다. 오히려 세간의 관심을 즐기듯 이에 대해 농담 섞인 말을 남겼다. 2월13일 두바이에서 열린 2024 세계정부정상회의(WGS)에서 오마르 알 올라마 아랍에미리트 인공지능·디지털경제부 장관이 “어젯밤 잠들면서 7조 달러를 모으는 아이디어가 떠올랐는데 함께하는 데 관심 있느냐”라고 농담을 던지자 올트먼은 “모으는 방법을 알게 된다면 제발 알려달라. 호기심이 있다”라고 답했다. 2월16일에는 자신의 X(옛 트위터)에 “까짓거 8(조 달러)은 안 될 게 있나(fk it why not 8)”라는 글을 올리기도 했다.

산업의 본질적인 속성상 인공지능과 반도체는 밀접한 관계를 지닌다. 인공지능을 개발하기 위해선 엄청난 양의 정보를 학습시키는 과정이 필수다. 그런데 인공지능 학습은 이론만으로 가능한 일이 아니다. 막대한 양의 정보를 빠르게 처리할 만한 컴퓨팅 파워(연산 능력)가 뒷받침되어야 한다. 지능이 발달하기 위해선 그에 걸맞은 뇌가 필요한 것과 비슷한 원리다. 현재 인공지능 발전 경향에 발맞추기 위해 연산 능력이 한 분기마다 대략 두 배로 증가해야 한다는 것이 정설처럼 받아들여지고 있다.

반도체는 이 ‘연산 능력’을 결정짓는 물리적 기반이다. 아무리 이론이 발전한다고 하더라도 뛰어난 성능의 반도체가 없다면 인공지능이 현실화하긴 어렵다. 실제로 반도체의 일종인 그래픽처리장치(GPU)의 등장은 정체됐던 인공지능 발전에 돌파구 역할을 했다. 당초 컴퓨터그래픽을 구현하기 위해 개발된 GPU는 2000년대 후반 인공지능 분야와 접합해 연산 능력 부족 문제를 해결했고, 인공지능 분야는 비약적 발전을 이뤘다.

인공지능 발전의 돌파구 된 GPU

GPU가 인공지능 발전에 핵심 요소가 될 수 있었던 이유는 수없이 많은 단순 업무를 동시에 할 수 있다는 특징 때문이다. GPU는 중앙처리장치(CPU)에 비해 복잡한 연산을 하지는 못한다. 하지만 단순한 연산을 동시에(병렬적으로) 시행하는 일에는 특화되어 있다. CPU가 무거운 역기를 한 번에 들 수 있는 역도선수라면, GPU는 신체 능력이 그보다는 떨어지지만 훨씬 더 많은 수의 일반인 무리라고 할 수 있다. 인공지능을 위한 기계학습은 무거운 짐 하나를 나르는 것이 아니라 수없이 많은 벽돌을 옮기는 일에 가깝다. 따라서 비교적 단순한 연산을 동시에 진행할 수 있는 GPU가 더 적합하다.

챗지피티(ChatGPT)로 전 세계가 인공지능의 가능성을 눈으로 확인한 이후, GPU는 만성적 부족 사태를 보였다. 인공지능 개발 수요가 늘어남에 따라 GPU 수요도 폭발적으로 증가했지만 생산능력은 이를 따라가지 못했다. 현재 GPU 시장 80% 이상을 점유하고 있는 엔비디아(NVIDIA)의 고성능 GPU를 구입하려면 주문부터 수령까지 수개월 이상 걸리는 것으로 알려져 있다. 공급 부족 사태가 지속되며 GPU의 가격도 천정부지로 치솟았다.

인공지능 기업에 GPU 부족은 치명적이다. 특히 인공지능 부문의 패권을 다투고 있는 빅테크 기업 처지에선 GPU 부족 사태에 큰 불만을 가질 수밖에 없다. 샘 올트먼이 반도체 생산에 직접 뛰어들겠다고 한 것도 같은 배경을 갖고 있다. 올트먼은 자신이 직접 반도체를 생산해 엔비디아 독점 구조를 탈피하고, 필요한 반도체를 확보하는 것을 목표로 한다.

물론 유독 샘 올트먼만이 자체적으로 반도체를 생산하려 하는 것은 아니다. 구글의 TPU, 마이크로소프트의 마이아100 등 빅테크 업체들은 현재도 자체 칩을 생산해 활용하고 있다. 그럼에도 유독 올트먼의 반도체 업계 진출 선언이 주목을 끌게 된 것은 인공지능 분야에서 자신과 오픈AI의 독자적 지위 때문이다. 챗지피티의 대성공으로 인공지능 분야의 일약 선두주자가 된 오픈AI가 인공지능 특화 반도체를 만든다면 어떤 결과가 발생할지 모두의 관심이 쏠릴 수밖에 없다.

다만 실제로 오픈AI가 반도체 업계에 뛰어든다고 하더라도, 공급 부족 문제가 단기간에 쉽사리 해결되긴 어렵다. 오픈AI가 대체하려 하는 엔비디아는 반도체를 직접 생산하는 회사가 아니다. 엔비디아는 생산설비 없이 반도체의 설계를 담당하는 팹리스(Fabless) 업체다. 실제 칩을 생산하는 곳은 TSMC 같은 제조업체(파운드리)들이다. 그런데 GPU 생산 차질은 엔비디아의 설계 단계가 아닌 제조 단계에서 발생하고 있다. 따라서 오픈AI가 엔비디아를 대체한다고 하더라도 단박에 문제를 해결할 수는 없다. 그렇다고 오픈AI가 부지와 기계를 도입해 반도체 생산까지 직접 나서는 것은 사실상 불가능하다. 제조업은 장기간의 노하우와 경험이 필요하기에 실제 생산을 위해선 어차피 기존 제조업체들의 손을 빌려야만 한다.

현재 GPU 생산에서 정체가 생기는 구간은 크게 두 분야다. 먼저 고대역폭 메모리(HBM) 생산에서 정체가 생긴다. SK하이닉스가 엔비디아에 독점으로 공급하고 있는 부품이다. 아래 〈그림〉은 엔비디아의 대표적인 GPU 상품 H100을 단순화한 구조다. 실제 연산을 담당하는 ‘로직칩’을 중심으로 HBM 6개가 배치되어 있다.

HBM과 같은 메모리칩은 로직칩이 연산을 실행하기 위한 도구와 재료를 공급한다. 앞서의 예시를 다시 가져와보자. 인공지능 학습을 벽돌 나르기에 비유하자면, 로직칩은 실제로 일을 하는 일꾼이다. 하지만 일꾼만으로는 실제로 ‘벽돌 나르기’라는 일을 완수할 수 없다. 옮길 벽돌과 도구가 필요하다. 메모리칩은 이렇게 로직칩에게 연산의 재료와 도구를 전달하는 역할을 한다.

문제는 연산 능력이 고도화될수록 메모리칩에서 가져와야 하는 데이터의 양도 큰 폭으로 늘어났다는 점이다. 더 많은 메모리칩이 GPU에 연결되어야 하는데, 수평으로 더 많은 메모리칩을 연결하려면 전체 GPU의 크기가 더 커져야 하고 전달 경로도 길어져 데이터 처리에 부하가 생길 수 있다. 이러한 비효율을 해결하기 위한 장치가 바로 HBM이다. HBM은 메모리칩을 수평으로 배치하는 것이 아니라 수직으로 쌓아올린다. 덕분에 데이터 전달 경로와 물리적 공간의 크기를 혁신적으로 줄일 수 있고, 데이터 전송 속도도 높일 수 있다.

HBM 생산을 도맡고 있는 업체는 SK하이닉스와 삼성전자다. 두 업체의 시장점유율이 90%가 넘는다. 그런데 두 기업은 폭발적인 GPU 수요에 맞춰 HBM 생산량을 증대시키지 못하고 있다. 생산설비를 확충하고 있지만, 늘어난 수요에 대응하기에는 역부족이다. 이로 인해 HBM 공급 부족 문제는 수년간 이어질 수 있다는 전망이 나온다.

GPU의 원활한 공급을 가로막는 또 다른 정체 구간은 패키징(Packaging)이다. 패키징은 반도체 생산의 마지막 단계로, 생산된 부품들을 하나의 제품으로 완성하는 공정이다. 얼마 전까지만 해도 패키징은 부차적인 단계로 여겨졌다. 제품 보호 정도의 의미를 가졌을 뿐 반도체 성능에는 크게 영향을 미치지 못했다.

그동안 반도체 성능을 결정지었던 요소는 회로의 선폭이었다. 반도체 위에 선폭을 미세하게 새길수록 연산 속도와 전력 효율성이 증대됐기 때문이다. 이에 따라 삼성전자 등 반도체 제조업체들은 선폭을 조금이라도 더 줄이기 위해 막대한 연구·개발 자금을 투입해왔다.

그런데 선폭이 3나노미터 이하로 좁아지면서 선폭을 줄이는 데에도 한계가 찾아왔다. 미세화가 극단에 치달으며 오히려 불량률이 올라가는 등 문제가 발생했다. 기업들은 연산 속도와 전력 효율성을 증대시킬 또 다른 방법을 연구했는데, 그 대안으로 떠오른 것이 ‘첨단 패키징’ 기술이다. 첨단 패키징은 반도체 사이 통신 속도를 올리는 등 동일한 반도체라도 더 나은 성능을 발휘할 수 있게 만든다.

현재 패키징 분야에서 가장 앞서가고 있는 기업은 타이완의 TSMC다. TSMC는 CoWoS(Chip on Wafer on Substrate)라는 독자적인 기술을 활용해 GPU 패키징 시장을 점령하고 있다. 엔비디아의 GPU 역시 CoWoS 기술을 차용하고 있다(〈그림〉 참조). 그런데 HBM과 마찬가지로 TSMC의 패키징 공정 역시 GPU 수요에 발맞춰 확대되지 못하며 GPU 공급 확대를 가로막는 주범으로 꼽힌다. 삼성전자는 TSMC를 추격하기 위해 패키징 기술 개발에 박차를 가하고 있지만, 현재로선 이 분야에서 TSMC의 독주를 막지 못하는 실정이다.

삼성전자와 SK하이닉스에 미칠 영향

다시 오픈AI의 야심찬 계획으로 돌아가자. 오픈AI는 GPU 공급 부족 타개를 목표로 하고 있지만, 사실상 오픈AI의 힘만으로는 이 목표를 달성하기 어렵다. 어차피 기존 반도체 업체들의 힘을 빌려야 한다면 꼭 오픈AI가 나선다고 해서 근본적 변화가 일어나지 않을 것이다. 공급 부족 문제만을 고려한다면 오픈AI의 반도체 업계 진출은 합리적인 선택지라고 보기 어렵다.

박재근 한양대 융합전자공학부 교수(한국반도체디스플레이기술학회 회장)가 주목하는 부분은 따로 있다. 그는 샘 올트먼과 오픈AI가 반도체 업계에 주목하는 근본적 이유를 주문형 반도체(ASIC) 확보에서 찾는다. 현재 엔비디아가 공급하는 GPU는 범용이다. 다양한 고객사들이 이용할 수 있지만 특정 기업의 프로젝트에 최적화되어 있지는 않다. 박 교수는 “오픈AI는 직접 맞춤형 반도체를 생산해 인공지능 경쟁에서 압도적 우위를 점하려 하는 것이다”라고 말했다.

현재 인공지능 경쟁은 얼마나 많은 GPU를 확보할 수 있는지에 달렸다고 여겨진다. 더 많은 GPU를 활용해 상대보다 더 많은 데이터를 학습시키면 인공지능 경쟁에서 앞서나갈 가능성이 높아진다. 다른 기업과 차별성을 가지고 싶어하는 인공지능 기업 입장에서는 이제 반도체부터 다시 설계해야 할 필요성이 커졌다. 박 교수는 맞춤형 반도체의 중요성을 이렇게 설명했다. “신발에 날이 달려 있다는 점은 똑같지만, 스피드스케이팅과 피겨스케이팅에서 사용되는 스케이트화는 완전히 다르다. 남들보다 앞서가기 위해서 자신에게 딱 맞춘 하드웨어의 중요성이 점차 커지고 있다.”

반도체 업계 진출에 대한 오픈AI의 의지는 점차 확실해지는 모양새다. 최근 샘 올트먼은 세계 각지의 주요 반도체 업체들과의 접점을 늘리고 있다. 지난 1월26일 한국을 방문한 올트먼은 오전에는 삼성전자 평택 캠퍼스를 찾아 경계현 삼성전자 사장을 만나고, 같은 날 오후에는 최태원 SK그룹 회장과 이야기를 나눈 것으로 알려졌다.

오픈AI의 구상이 무엇인지는 분명하지 않다. 반도체 생산을 어디까지 담당할지, 주요 반도체 업체들과는 어떤 협력관계를 맺을지 정확히 밝혀진 바가 없다. 다만 WSJ는 오픈AI가 수년 안에 반도체 공장 10여 개를 지은 후 이를 TSMC에 위탁 운영하는 방식을 생각하고 있다고 한 소식통을 인용해 보도했다. 만약 이 보도대로 TSMC가 새로운 공장의 운영을 전적으로 담당하게 된다면, 특히 TSMC와 직접적 경쟁 관계에 있는 삼성전자 처지에서는 악재가 될 수 있다.

그러나 다른 한편 오픈AI의 반도체 업계 진출이 한국 기업들에게 호재가 될 가능성도 있다. 무엇보다도 오픈AI가 반도체 생산에 성공해 인공지능 생태계가 확장된다면 반도체 업체로서는 더 큰 수요가 생기는 셈이다. 적어도 HBM 시장에서 90% 이상 점유율을 기록하고 있는 한국 기업을 패싱할 가능성은 매우 낮다.

삼성전자와 SK하이닉스는 샘 올트먼의 구상에 신중한 태도를 보인다. 두 기업 모두 오픈AI와 협력할 가능성을 묻는 질문에 답을 하지 않았다. 한 업계 관계자는 현재로서는 오픈AI의 반도체 업계 진출 여파를 가늠하기 어렵다고 평가했다. 이 관계자는 “우선 WSJ 보도에 나온 투자 금액부터가 터무니없는 수준이어서 오픈AI가 어디까지 생각하고 있는지 알 수 없는 상황이다. 하지만 고객사가 늘어날 가능성은 기업 입장에서는 언제나 호재임에 틀림없다”라고 말했다.