[GPT 시리즈 ①] 알파고로 딥러닝까진 들어봤는데 GPT는 뭐에요?

Ko-GPT가 최근 회사에서 외부로 공개 되었습니다. Naver의 CLOVA도 다양한 방식으로 외부에 노출될 예정입니다.(이미 Hyper CLOVA도 나왔고) OpenAI에서 2020년 6월에 GPT를 공개한 이후, 많은 플레이어들이 빠르게 GPT 모델을 기반으로 새로운 모델을 출시했습니다. 그러나 이는 업계에서 일어난 큰 변화에 가깝습니다. 일반 대중들에게는 어려운 기술이기 때문에, 이 기술은 학계와 업계 사람들만 환영하는 것일 뿐입니다. 그렇기 때문에, 이 글을 읽는 분들은 꼭 GPT에 대해 알고 가시면 좋을 것입니다. 이는 우리가 더 나은 미래를 대비하는 가장 좋은 방법 중 하나일 것 입니다.

 

 

GPT는 Generative Pre-trained Transformer의 약자로, 한글로는 "생성형 사전 학습 변환기"라고 합니다. 그러나 이것을 이해하기 위해서는 각각을 분리해서 이해해야 합니다.

 

GPT는 자연어 처리 분야에서 가장 인기 있는 모델 중 하나입니다. 이 모델은 Transformer 아키텍처를 기반으로 하며, 특히 Transformer의 Decoder 부분을 사용하여 입력된 문장을 처리하고, 새로운 문장을 생성합니다. 이러한 GPT 모델은 대용량 데이터셋을 사용하여 사전 학습된 후, Fine-tuning을 통해 특정 작업에 적용할 수 있습니다.

 

GPT 모델은 자연어 생성 작업에 대한 성능이 우수하며, 다양한 분야에서 사용될 수 있습니다. 예를 들어, 이 모델은 자동 요약, 기계 번역, 질문 응답 시스템, 챗봇 등의 분야에서 적용될 수 있습니다. 또한, GPT 모델은 높은 정확도를 보장하기 위해 대용량 데이터셋을 사용하기 때문에, 이를 위해 많은 컴퓨팅 자원이 필요합니다. 따라서, GPT 모델을 사용하기 위해서는 충분한 하드웨어 자원과 데이터가 필요합니다.

 

실제로 카카오브레인은 대규모 자연어 처리 모델 KoGPT의 개발, 운영에 Google Cloud Platform의 TPU를 이용했습니다.

 

 

 

GPT 모델은 GPT-1, GPT-2, GPT-3과 같은 다양한 버전이 존재합니다. 이들 모델은 사전 학습에 사용된 데이터셋 크기와 학습 파라미터 수 등의 차이로 구분됩니다.

• GPT-1은 2018년에 발표된 초기 버전으로, 대략 117백만 개의 파라미터로 구성되어 있습니다. 이 모델은 사전 학습 데이터셋으로부터 다양한 문장을 생성하는 데에 사용될 수 있습니다. (논문)
• GPT-2는 GPT-1보다 파라미터 수가 약 10배 정도 높은 모델로, 2019년에 발표되었습니다. 이 모델은 자연어 생성 분야에서 매우 뛰어난 성능을 보이며, 다양한 응용 분야에서 사용될 수 있습니다. (논문)
• GPT-3는 GPT-2보다 파라미터 수가 약 100배 이상 높은 모델로, 2020년에 발표되었습니다. 이 모델은 자연어 생성 능력이 매우 뛰어나며, 대용량 데이터셋을 사용하여 사전 학습된 모델로, 다양한 자연어 처리 분야에서 사용될 수 있습니다. (논문)

따라서, GPT 모델은 자연어 처리 분야에서 매우 뛰어난 성능을 보이는 모델이며, GPT-1부터 GPT-3까지 다양한 버전이 존재합니다. 이들 모델은 각각 파라미터 수와 성능 등에서 차이가 있으며, 다양한 응용 분야에서 사용될 수 있습니다.

 

그런데 Transformer는 뭘까요? 무엇을 변환한다는 것일까요? 이것을 이해하기 위해서는 Transformer와 Token에 대해 알아야 합니다. 다음 글은 해당 내용에 대해 이야기 해보겠습니다.