Chat GPT 인공지능시대의 시작과 개념 정의

 

■ 인공지능시대의 시작 

    세계 2차 대전 중 개발된 ‘컴퓨터의 빠르고 정확한 계산 능력을 경험한 전문가들은 단순한 계산을 넘어 “글을 읽고,

    쓰고,사물을 알아보는 기계 역시 가능하지 않을까?‘라는 질문을 가지고 먼저 수식과 코딩을 통해 기계에게 세상을

    설명해 주었지만, 수십 년 넘는 노력에도 불구하고 기계는 ‘고양이’와 ‘강아지' 조차 구별하지 못했다. 이에 인간의

    언어를 이해하는 기계는 영원히 불가능해 보였다.

     2010년 충격적인 사건, 인간의 뇌를 모방한 ‘딥러닝’ 알로리즘, 빅데이터, 그리고 병렬정보처리가 가능한 GPU

    프로세서가 등장하게 되었고, 인류 역사상 처음으로 세상을 알아보는 기계가 탄생하게 되었다. 

    그러나, 인공지능이 여전히 해결하지 못한 문제! 자연어 처리였다. 단어의 순서가 중요하기에 병렬 처리가 불가능

    하고,  문장이 길어지면 기존 학습 알고리즘들은 모두 무용지물이 되어 버렸다. 해답은 놀랍게도 언어의 순열

    구조를 무시하면 된다  였다. 구글 연구원들은 2017년 수천억 개의 단어와 단어, 그리고 문장과 문장 사이 확률 관계를

    충분히 학습한다면 언어 처리 문제가 해결될 수 있다는 사실을 보여준다.  구글이 공개한 ‘트랜스포머‘ 알고리즘을 ‘

    오픈 AI ‘라는 작은 스타트업이 가장 공격적으로 활용하기 시작하게 되었고, 2022년 오픈 AI사는 트랜스포머

    알고리즘을 사용한 두 가지 혁신적인  프로그램을 소개하게 되었는데, 그게 바로 입력된 문장을 그림으로 표현

    가능한 ‘DALL-E2’와 인간과 대화가 가능한 '챗 GPT'이다.  

    이미 있는 것들을 구별하고 알아보는 기계가 기존 ‘인식형‘ 인공지능이었다면, 챗 GPT와 DALL-E2는 새로운 글과

    그림을   만들어내는 ‘생성형' 인공지능이다. 드디어 기계가 인간과 대화하고 창작하고, 인간을 위해 정보를 요약하고,

    수정해 주는  인공지능 시대가 시작된 것이다.

■ Chat GPT의 개념 정의  

    Chat GPT는 Open AI가 개발한 인공지능 프로그램으로 “Generative Pre-trainded Transformer “ 사전에 학습된

    트랜스포머(Transformer) 아키텍처(구성방식)를 기반으로 하는 생성 모델이다. 

    오픈 AI가 최초의 챗 GPT모델을 개발하고 현재의 챗 GPT로 발전시키는 과정에는  자연어 처리, 생성형 AI,

    트랜스포머, 초거대 AI, 클라우딩 컴퓨팅, 사전학습과 인간 피드백 기반 강화 학습 등의 배경 기술이 활용되었다. 

    ◆ Generative : '생성'이라는 뜻을 가지고 있다. 여기서 생성의 정확한 의미는 창조(Creation)나 생산(Prodution)과

    달리  '대신 만들다'라는 뜻에 가깝다. 인간이 프롬프트(prompt)에 입력한 요청에 따라 인간을 대신하여 자신의 언어

    모델로  결괏값을 만든다는 의미다. GPT는 생성 AI 중에 하나이며, 입력 텍스트의 의도를 추론(Interference)하여

    이에 상응하는  텍스트를 결괏값으로 표현한다. 생성 AI에는 텍스트를 텍스트로 만들어내는 모델뿐만 아니라 텍스트를      이미지나 음성, 음악, 영상 등으로 만들어 내는 다양한 모델이 존재한다. 

   ◆ Pre-trainded : GPT의 P는 '프리트레인드'의 앞글자이며, 이는 사전학습으로 대규모 데이터를 훈련하여 학습된

    모델을 의미한다.  사전 학습 과정에서는 라벨이 없는 방대한 양의 데이터를 대규모로 학습하는데, 이를 통해 세부

    태스크에서도 잘 작동하는 특징을 보인다. 이전  학습 모델에서는 예를 들어 요약, 번역, 감정 분석의 태스크가 있다면

    각각의 태스크에 따라 모델 훈련을 처음부터 해야 했다. 하지만 사전 학습 모델은 학습 데이커가 방대해지고

    모델의 크기가 커짐에 따라 별도의 학습 과정이 없이도 다양한 태스크를 잘 처리할 수 있게 되었다. 

    GPT-3는 1,750개의 파라미터를 가지고 있다. 파라미터 수가 많을수록 텍스트를 생성하는 능력과 기술이 좋다는 것을        의미하며, Chat GPT의 성능이 좋다는 뜻이다, 인간의 노래에 비유하자면 파라미터의 수를 증가시키는 것은 뇌신경

    세포를 연결하는 시냅스의 수를 늘리는 것과 같다

  ◆ Transformer : 트랜스포머는 영화 ‘트랜스포머를 본 분들이 있다면, 영화에서 기계가 변신하는 것 본이라면 이해

    할 수 있을 것이다.  Transforme라는 말의 뜻은 ‘변형‘ ’ 변신’이라는 의미를 갖고 있으며,언어학적으로는 다시

    촘스키의 언어학과 연관된다고 말할 수 있다.

    촘스키의 언어학을  ‘변형생성문법’이라고 표현하는 경우도 있는데, 심층 구조가 표층 구조로 나타나는 과정에서는

    ‘변형’을 거치게 된다.  이 말의 의미를 갖는 것은 Chat GPT가 우리가 원하는 답을 내놓기 위해서는 문장에 쓰이는

    용어를 변형하고, 가공하는 일을 거쳐야 하기 때문이다. 언어구조에서 보면 우리는 연설문을 토시 하나 그대로 암기

    하고 표현하는 것이 매우 어려운 일이라는 것을 알고 있다. 차라리 주제를 바탕으로 변형하는 것이 훨씬 쉽고 더

    자연스럽고 언어를 그대로 복사하는 것보다 본질적인 의미를 변화시키기 않으면서 다른 표현으로의 변형 언어를

    더 풍부하게 할 수 있다.

   예를 들면 '개가 짖는다'라는 문장을 입력한다고 가정할 때  이 문장을 '짖고 있는 개', '으르렁 거리는 개', '개가

    짖는 것이',  '개가 짖는 것을'이라는 다른 표현으로의 변형 언어를 입력한다고 하여도 '개가 짖는다'라는 본질적인

    의미를 변화시키지 않는다. 따라서, GPT에서 트랜스포머(Transformer)라는 용어를 사용하는 것이 바로 언어표현의

    변형이 가능하다는 것을 의미한다.  트랜스포머는 2017년 구글이 오픈소스로 공개한 딥러닝(인공신경망) 기술이다.

    문장 속 단어와 같은 순차적 데이터 내의 관계를 추적해 맥락과 의미를 학습할 수 있는 게 특징이며, 트랜스포머는

    기존의 널리 사용되던 딥러닝 알고리즘인 CNN(합성곱),  RNN(순화신경망), MLP(다중퍼셉트론) 보다 연산 능력이

    우수해 2020년 이후 초거대 AI 개발을 위한 핵심 기술로 떠올랐다. 일례로 챗 GPT의 “T”도 트랜스포머를 적용했음을

    의미한다.