올해 인공지능과 관련된 소식 중에 기억에 남는 사건이 무엇인지 돌이켜보면, 아마도 GPT-3(Generative Pre-trained Transformer 3)를 가장 먼저 떠올려 볼 수 있을 것 같다. GPT-3는 오픈AI가 개발한 자연어 처리(Natural Language Processing) 모델로, 이전 모델과 구분될 만한 특별한 점은 방대한 데이터 세트와 거대한 모델만으로도 우수한 성능을 보여줄 수 있다는 점을 증명했다는 점이다.

구체적으로 GPT-3 논문(Language Models are Few-Shot Learners, 2020)에 따르면, GPT-3는 인터넷 사본을 모아두는 저장소인 커먼 크롤과 웹 텍스트, 위키피디아 등을 포함한 4900억 개의 데이터 세트를 기반으로, 이에 가중치를 두어 품질을 개선한 3000억 개의 학습 데이터 세트를 준비한 뒤, 1750억 개의 패러미터를 가진 모델로 구성하였다고 한다.

이렇게 거대한 언어모델을 만들어보니 그 자체로 성능이 우수했다는 것이 놀라운 점이다. 모델을 구성할 때 일반적으로는 미세조정(Fine-tuning)을 통하여 모델의 성능을 개선하는 것이 필수적이라는 인식이 있었는데, GPT-3는 거대한 모델을 구성하게 되면 미세조정 없이도 충분히 우수한 성능을 낼 수 있다는 점을 증명했다. 이것이 산업적으로 중요한 이유는 아직 한계가 존재하는 것이 아니어서, 만약 GPT-3보다 더 거대한 모델을 만든다면 훨씬 더 우수한 성능을 갖는 모델을 만들 수 있기 때문이다.

산업 안에서 인공지능 기술의 발전을 바라보면, 인공지능이라는 말로 막연히 추상적으로 정의하고 판단하기에는 그 종류와 내용이 다양하다는 것을 실감하게 된다. 그리고 기술 발전이 새로운 기회를 만들어 내고 있다는 생각이 든다.

사내변호사의 산업 및 법률 전문성을 기반으로, 머신러닝 그리고 딥러닝의 세부 분야에 대해서 열린 마음으로 관심을 갖고 살펴본다면 해당 영역에서 차별화되는 전문성을 만들어 나갈 수 있을 것이라 기대해본다.

/박우철 변호사

네이버 주식회사