네이버 AI 서치 GPT '하이퍼클로바' - '쳇 GPT' 파라미터 규모 능가

네이버는 2021년 5월 25일 이미 국내 기업 최초의 초대규모(Hyperscale) 인공지능(AI) '하이퍼클로바'를 공개했는데요. 오픈 AI의 AI 'GPT - 3 '보다 그 규모가 크고 한글에 기반한 AI 모델로 의미가 있는 '하이퍼클로바'를 살펴보겠습니다.

 

 

 

◆ 초대규모(Hyperscale) 인공지능(AI) '하이퍼클로바'

 

 

네이버가 2020년 10월 700페타플롭(PF) 성능 슈퍼컴퓨터를 도입해 만든 국내 기업 최초의 초거대 AI로, 초거대 AI는 파라미터(매개변수) 규모를 크게 늘려 사람처럼 스스로 생각하고 창작할 수 있도록 설계된 인공지능을 말합니다.

 

 

1. '하이퍼클로바'의 파라미터(Parameter) 규모

 

하이퍼클로바는 AI모델의 크기를 나타내는 파라미터가 2040억 개로, 2020년 미국에서 공개된 오픈 AI 사의 GPT - 3의 1750억 개 파라미터를 능가합니다. AI 모델 크기를 나타내는 파라미터의 수가 높아질수록 AI는 더욱 많은 문제를 해결할 수 있습니다.

 

 

국내 최대 파라미터 보유한 AI는 LG AI 연구원의'엑사원'으로 약 3,000억 개의 파라미터를 보유하고 있습니다

 

 

1.1 한국어 데이터 학습

 

하이퍼클로바는 GPT - 3 보다 한국어 데이터를 6500배 이상 학습해 '한국어 최적화' 능력이 강력하다는 점이 가장 큰 강점입니다. GPT - 3는 영어 기반 모델이지만 하이퍼크로버는 힌국어 비중이 97% 이른다고 하는군요

 

 

 

1.2 검색어 정정, 마케팅 문구 자동 작성

 

2021년 5월 6일부터 네이버 검색 서비스에서는 사용자가 검색어를 잘못 입력하더라도 올바른 단어로 전환하거나 검색어를 추천하는 기능이 실시되고 있습니다. 또한 중소상공인, 크리에이터, 스타트업 등 분야에서 상품을 팔 때 도움이 되는 마케팅 문구를 자동으로 작성하는 데 하이퍼클로바가 사용되는 등 일상생활 곳곳에 구현되고 있다고 합니다.

 

 

초거대 AI : 기존 AI 보다 수백 배 이상의 데이터 학습량이 필요하며 판단 능력도 향상된 형태로 대용량 데이터를 스스로 학습해 인간처럼 종합적 추론이 가능한 차세대 인공지능( AI)을 말합니다

대표적인 초거대 AI : 구글(딥마인드)의 스위치트랜스포머, 오픈 AI의 GPT-3, 네이버 하이퍼클로바,카카오브레인의 KoGPT, LG의 등이 있습니다.

 

 

◆쳇 GPT (Conversational Generative Pre - training Transformer)

 

 

1. 쳇 GPT 개념 

 

오픈 AI 사의 GPT 3.5 기반으로 개발한 대규모 언어 생성 모델을 말하는 것으로 언어번역, 택스트 요약 및 텍스트 생성과 같은 자연어 처리 작업에서 매우 성공적인 신경망 유형인 변환기 아키텍처(GPT 3.5)를 기반으로 합니다

 

 

1.1 GPT 3.5

 

이전 아키텍처인 GPT 3은 1750억 개의 파라미터를 가진 초거대 AI (Hyperscale AI)인데 여기서 부족한 점을 개선한 버전이 GPT 3.5라고 할 수 있는데요. GPT 3.5는 GPT 3에서 1만 명의 인력을 투입해 커뮤니케이션 도중 발생하는 이상한 점을 교정해 주고 점수를 매기는 등의 보완과정을 걸쳐 문장을 주고받을 때 맥락이 맞지 않거나 이상한 텍스트 발생을 보완한 겁니다.

 

 

 

2. AI의 파라미터(매개변수)

 

인간의 뇌 안에 있는 시냅스와 같은 역할을 한다고 보면 됩니다. 신경세포 사이에서 신호 전달을 원활하게 해 주며 데이터 처리 속도 및 처리량을 늘려주는 중요한 매개 변수입니다

 

 

 

3. 자동회귀 방식

 

GPT 3는 문장을 완성할 때 기존의 언어모델처럼 현재까지 나온 단어들을 바탕으로 다음에 올 단어를 유추하게 되는데요. 여기서 자동회귀 방식을 사용함으로써 문장을 더 자연스럽고 효율적으로 생성할 수 있게 합니다. 자동회귀방식은 하나의 문장을 완성시키려 할 때, 단어(어절)를 단순히 순차적으로 '출력' 하는 것이 아닌, 출력된 단어들을 '재입력' 후 다음 단어를 '출력'하는 방식으로 더 섬세한 과정을 거치는 것을 의미합니다.