[미디어파인=김철홍의 생각에 관한 생각] “미드저니, 챗GPT, 코파일럿 등 모든 주요 인공지능 애플리케이션은 엔비디아 GPU와 플랫폼을 통해 개발되었다. AI 혁명을 가능하게 한 것은 바로 이 100억 배로 증가한 연산 능력이었다. 인공지능은 사용할 수 있는 연산 능력이 늘어나면서 할 수 있는 일도 계속 확장되고 있으며, 그 한계는 없어 보인다.”
컴퓨터가 우리 삶에 직접적으로 들어온 사건과 시기는 1981년, IBM이 PC를 출시하면서부터라고 GPT는 알려줍니다. 44년이 지났습니다. 이때까지는 무어의 법칙에 의한 직렬연산의 시대로 정의할 수 있을 것같습니다. 개인이 컴퓨터를 사용하기 시작했고, 인터넷이 등장했으며 스마트폰으로 우리는 사진을 찍고 그 사진을 SNS에 업로드하며 디지털 세계와 아날로그 세계를 왔다 갔다 합니다.
2016년 이세돌과 알파고가 바둑을 두면서 세상은 깜짝 놀랐지만, 선형적 사고를 하는 인간은 그 일이 이렇게 커질 줄 알기는 쉽지 않았습니다.
2022년 11월 오픈AI가 chatGPT를 세상에 공개했습니다. 이 인공지능은 반도체, 코딩, GPU 연산 능력 등이 합해져 나온 LLM이었습니다. 이 사건이 병렬연산의 시대를 상징한다고 저는 정의합니다. 18개월마다 연산 능력이 2배로 커지던 무어의 법칙, 그리고 인텔의 독점이 무너지는 순간이기도 합니다.
“1986년 인지심리학자인 데이비드 럼멜하트, 제프리 힌튼, 로널드 윌리엄스는 역전파backpropagation라는 다층 신경망을 위한 우아한 수학적 기법을 발표했다. 이 방법은 연구자들이 새로운 정보를 학습할 때 컴퓨터의 인공 뉴런을 미세 조정할 수 있도록 했다. 그 개념은 인간의 뇌가 과제를 학습할 때 새로운 시냅스 연결을 형성하며 학습하는 방식과 유사했다.
역전파는 컴퓨터가 완전히 새로운 방식으로 작동할 수 있게 만들었다. 이 기술은 컴퓨터가 스스로 규칙을 만들 수 있게 했고, 컴퓨터 시스템이 스스로 학습하고 진화할 수 있는 길을 열어주었다.“
“신경망에서 백개먼에 대한 모든 전략적 조언을 제거하고, 게임의 규칙과 무작위 가중치가 부여된 뉴런 세트만 남겼다. 그런 다음, 컴퓨터가 스스로 수십만 번의 게임을 플레이하도록 했다. 이런 기술은 ‘강화학습 reinforcement learning’이라 불린다.
약 20만 번의 게임을 플레이한 후, 제럴드가 ‘TD-가몬’이라고 명명한 이 신경망은 강한 중급 수준의 실력을 갖추게 되었다. 제럴드는 이후 몇 년간 TD-가몬에게 수백만 번에 걸쳐 시뮬레이션 게임을 입력시켰다. 1995년이 되자 TD-가몬은 인간이 이전에 본 적이 없는 전략을 구사하기 시작했다. 신경망은 단순히 학습하는 것을 넘어, 이제 혁신을 이루고 있었다.“
이 문장을 읽으면서 저는 진화론을 수긍하기로 합니다. 오랜 세월 동안 수십만 수백만 번의 시행착오를 걸치면 세포가 만들어지고 세포 망이 연결되어 사람이 될 수 있겠다는 생각에 동의합니다. 물론 어떻게 그렇게 되었냐고 역설계하라고 하면 할 수 없기는 합니다.
”CUDA를 발명한 엔지니어는 엔비디아의 존 니콜스 John Nickolls이다. 그는 컴퓨터 연산 속도를 높이는데 누구보다 열정적이었다. 그는 물리법칙에 따라 마침내 병렬 컴퓨팅이 승리할 것이라고 굳게 믿었다.
존 니콜스, CUDA가 세상에 미칠 영향만큼 큰 발명은 거의 없을 겁니다.“고 했습니다.
“알렉스는 신경망을 훈련하기 위해 이미지넷 데이터베이스를 사용했다. 이미지넷은 스탠퍼드 대학교의 컴퓨터 과학자 페이페이 리가 구축한 이미지 데이터셋이었다. 훈련이 시작될 때만 해도 뉴런들은 무작위로 연결되어 있었다. 그러나 학습이 진행되면서 점차 복잡하고 정교한 패턴으로 재배열되었고, 마침내 보는 법을 배우기 시작했다.“
“야콥은 언어를 오직 맥락만 이용해 모델링하기로 결심했다. 그는 기존의 모든 기억 구조를 제거하고, 대신 단순한 지식 그래프 knowledge graph를 도입했다. 단어 그 자체는 아무런 의미도 갖지 않았다. 단어는 개별적으로 보면 단순한 음의 조합에 불과했다. 단어의 의미를 포착하는 유일한 방법은 그것을 다른 단어들과 연결하는 것이었다.
예를 들어 hop(뛰다), green(초록색), tongue(혀), flies(파리), amphibian(양서류) 같은 단어들이 서로 연결된 지식 그래프가 있다면, 그 중심에 있는 단어는 ‘frog(개구리)'일 가능성이 크다는 걸 알 수 있다. 즉 인지적 관점에서 frog라는 단어는 단순히 f, r, o, g라는 글자의 조합이 아니다. 그건 단지 기호일 뿐이다. 인지적 관점에서 보면, 진짜 의미는 그 단어가 어휘 전체와 어떤 고유한 연결망을 형성하느냐에 달려 있는 것이다. 즉 ’관계의 지도'이다.
이 관계를 포착하기 위해, 우스코라이트는 각 단어를 통계적 가중치로 이루어진 하나의 트리 구조로 정의했다. 예를 들어, 'The orange ___ caught the brown mouse(주황색 ___ 가 갈색 생쥐를 잡았다)'라는 문장에서 빈칸에 들어갈 단어를 예측하도록 요청받았을 때, 신경망은 ‘cat(고양이)'이 가장 적절한 단어라고 추측할 수 있었다.
야콥은 이런 관계를 더 잘 모델링하기 위해 일부 단어를 ‘토큰 tokens’이라 불리는 조각들로 나누었다. 토큰들 또한 통계적 가중치로 연결된 트리 구조를 형성했다.
야콥 우스코라이트는 이 학습 메커니즘을 ‘셀프 - 어텐션 self-attention’이라고 불렀다.“
수많은 천재의 시간과 노력이 시행착오를 걸친 끝에 ‘대규모 언어 모델 LLM’이 우리 삶에 등장할 수 있었습니다. 그 후로 여러 회사에서 경쟁적으로 인공지능들이 발표되고 있습니다.
인터넷이 처음 나왔을 때 그 파장이 어디로 얼마나 퍼질지 알 수 없었듯이, 인공지능이 우리 삶에 어떤 영향을 행사할지 상상하기 어렵습니다. 국가 간 언어장애가 사라지고 있고, 패키지여행이 자유여행으로 변화되었으며, 은행 지점들이 컴퓨터망 안으로 들어갔으며, 인공지능이 스스로 코딩하고 있습니다. 앞으로는 기업용 AI에이전트, 클라우드 팩토리, 물리적 AI, 의료용 AI 등이 우리에게 앞서 모습을 보여줄 것으로 예상합니다.
이 책의 저자는 마지막으로 이렇게 글을 매듭짓습니다.
“이것이 바로 슈퍼컴퓨터 이오스 Eos, 생각하는 기계였다. 그리고 팬이 한 바퀴씩 돌 때마다, 회로가 한 번씩 맥동할 때마다, 그것은 조금씩 더 똑똑해지고 있었다.”
[김철홍 대표]
현) 세음세하태양광발전소 대표
전 KCB대표이사
전 서울신문 ESG위원회 국장