[FETV=양대규 기자] 이주형 삼성전자 삼성리서치 부사장은 "모든 삼성 '가우스(Gauss)2 모델'은 다국어 및 여러 프로그래밍 언어를 통합적으로 지원하며 이미지 이해까지 가능한 멀티모달(Multimodal) 언어 모델"이라고 강조했다. 

 

언어, 코딩, 이미지 등을 개별 인공지능(AI) 모델로 처리하는 것이 아니라 가우스2 AI 모델로도 이 모든 기능을 높은 성능으로 구사할 수 있다는 설명이다.

 

21일 삼성전자는 '삼성 개발자 콘퍼런스 코리아 2024(SDC24 Korea)'를 온라인으로 개최했다. 이주형 부사장은 첫번째 키노트 연사로 나와 삼성의 새로운 가우스2 모델을 소개했다.

 

이주형 부사장은 "작년 이자리에서 자체 파운데이션 모델인 삼성 가우스 모델을 처음 소개했다. 당시 언어 모델, 코드 모델, 이미지 모델 등을 확보했고 그 후로도 이 모델들을 계속 업데이트 해왔다"며 "올해 이자리에서는 최신 학습 기술과 고품질 데이터를 바탕으로 더욱 향상된 성능을 보이는 삼성 가우스2 모델들을 소개하겠다"고 밝혔다.

 

이주형 부사장은 삼성 가우스2 모델들은 용도에 맞게 ▲콤팩트(Compact) ▲밸런스드(Balanced) ▲슈프림(Supreme) 으로 나눌 수 있다고 설명했다. 

 

콤팩트 모델은 삼성의 다양한 디바이스에 탑재 가능한 온디바이스(On-Device) 모델이다. 밸런스드 모델은 효율성과 안정성을 중시한 모델로 다양한 작업에서 균형잡힌 성능을 제공한다. 슈프림 모델은 최고의 성능을 목표로 하며 '전문가 혼합(MoE, Mixture of Experts)'이라는 기술을 활용해 규모 대비 학습 효율성을 높였다.

 

이 부사장은 타 모델과의 벤치마크 성능 비교를 통해 "삼성 가우스2 콤팩트는 제한된 컴퓨팅 자원 환경에서도 효율적으로 작동하도록 소형모델로 유사한 파라미터 수를 가진 타사모델과 비교해 전반적으로 더 우수한 성능을 보인다"며 "이 모델은 기계에서 구동되는 속도 및 서비스에 따라 특화지원 할 수 있도록 온디바이스 활용에 최적화된 설계를 채택하고 있다"고 설명했다.

 

이어 밸런스드 모델과 지난해 발표된 삼성 가우스 1 언어 모델을 비교한 결과, "삼성 가우스 1 언어 모델 대비 절반 정도의 파라미터를 가진 모델이지만 고픔질 학습데이터 확보와 향상된 학습 기술 도입으로 더 우수한 성능을 달성하는 데 성공했다"며 "이 모델은 언어와 코드를 모두 다루는 단일 모델로 작년에 개발된 코드 전용 모델보다 훨씬 뛰어난 코딩 성능을 제공한다"고 말했다. 

 

가우스 1에서 개별적으로 학습한 언어 모델과 코딩 모델보다 멀티모달 기능을 갖춘 가우스 2 밸런스드 모델의 성능이 더 높다는 것이다.

 

 

또한 밸런스드 모델과 슈프림 모델을 다른 AI 모델과 비교했을 때도 비슷하거나 더 나은 성능을 보이는 것으로 나타났다.

 

이 부사장은 "(밸런스드 모델을) 타사의 대형 모델과 비교했을 때도 견줄 만한 성능을 보이는 데 반해 동시에 처리할 수 있는 추론량에 있어서는 1.5배 이상에 달한다"며 "슈프림 모델의 경우 현재 가장 큰 오픈 웨이트 모델인 타사의 초대형 모델과 비교해 유사한 성능을 보이면서도 동시에 처리할 수 있는 추론량은 3배 이상에 달한다"고 밝혔다.

 

삼성 가우스2 학습 과정에는 다양한 최신 거대언어모델(LLM) 기술이 도입됐다. 슈프림 모델은 밸런스드 모델을 기반으로 '전문가 혼합(MoE, Mixture of Experts)' 기술을 이용해 학습했다. 

 

그는 "이 기술은 대규모 신경망에서 특정 입력에 가장 적합한 서브 네트워크, 즉 전문가를 동적으로 선택해 활성화하는 방식"이라며 "쉽게 말해 모델이 어떤 질문을 받으면 그 질문에 가장 적합한 전문가들만 선택해 처리하는 구조"라고 설명했다.

 

모든 전문가가 동시에 작동하는 것이 아니라 일부만 활성화되기 때문에 필요한 연산 자원을 절약할 수 있고 이를 통해 큰 모델도 효율적으로 작동할 수 있다는 것이다. 또한 전문가 모델의 수를 늘림으로 더 복잡한 문제를 해결할 수 있는 모델로 쉽게 확장할 수 있다는 장점이 있다. 이 방식은 학습, 추론 시 계산량을 대폭 줄여 성능과 효율성을 동시에 달성할 수 있게 해준다.

 

이 부사장은 "다만 이런 모델의 훈련은 일반 모델보다 복잡하다. 각 전문가가 제대로 훈련되고 서로 간섭하지 않도록 정교한 훈련 과정이 필요하다"며 "저희는 이런 도전적인 과정을 성공적으로 거쳐 삼성 가우스2 슈프림 모델을 학습할 수 있었다"고 강조했다.

 

MOE 외에도 가우스2 모델은 커스텀 토크나이저(Custom Tokenizer) 기술로 다국어와 코드에 대한 토큰화 효율 개선, 이론적 연구(theoretical Research)로 대규모 모델 학습 안정화를 위한 방법을 개발 등을 달성했다.

 

 

가우스 2 모델이 높은 성능을 가질 수 있는 이유에 대해 "가우스2 모델 개발을 위해서는 대량의 고품질 데이터 확보와 고성능 GPU 데이터 센터의 구축과 효율적 운영이 매우 중요했다"며 "이를 위해 저희는 생성형 AI 학습을 위한 데이터를 대규모로 수집하고 정제할 수 있는 페로스(Pharos) 플랫폼을 자체 구축했다"고 밝혔다.

 

이어 그는 "또한 대규모 GPU 클러스터를 활용해 AI 모델을 더욱 빠르고 편리하게 개발할 수 있는 스페이스(SPACE) AI 학습 플랫폼을 자체 개발해 운영 중"이라고 덧붙였다.

 

이 부사장은 "앞으로 더 많은 GPU와 데이터를 지속 확보해 모델 성능을 계속 개선할 계획"이라며 "이런 자체 모델의 장점은 필요한 목적과 응용 분야에 맞춰 최고의 성능을 내도록 커스터마이제이션이 용이하다는 점"이라고 말했다.