bert vs gpt 의 혼란스러운 점

Question

google 는 트랜스포머의 인코더 bert 모델로 채팅서비스를 만들고, openai 는 트랜스포머의 디코더 gpt 모델로 채팅서비스를 만들었다고 들었습니다. 그런데 내가 궁금한것은 bert 모델(판단모델)은 판단을 하는 역할을 하고, gpt 모델은 대화를 생성(생성모델)하는 모델인데, 두 모델중 하나만 가지고 어떻게 각각의 회사가 채팅서비스를 만들었나요?

AISchool · Answer

안녕하세요~. 반갑습니다.   구글에서도 BERT 이후에도 연구를 계속해서 최근에 발표된 Gemini(제미나이), Gemini 이전에 발표된 PaLM 모델등 BERT 이외의 생성모델을 연구하여 해당 모델들을 기반으로 채팅서비스를 만들었습니다. OpenAI에서는 말씀해주신대로 GPT를 기반으로 채팅서비스를 만들었습니다.   또한 위 모델들이 채팅에 대한 답변을 생성하는 기반 딥러닝 모델이라는 사실이 알려져 있을뿐 실제 채팅서비스에 딥러닝 기법외에 추가적인 별도의 엔지니어링 작업이 얼마나 들어가 있는지는 정확히는 알수없습니다.   좋은 하루되세요. 감사합니다.

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. 도도마님, Google의 BERT와 OpenAI의 GPT는 둘 다 트랜스포머 기반 모델이지만 주로 사용되는 목적이 다릅니다. BERT는 주로 입력받은 텍스트에 대한 이해를 기반으로 하는 작업들에 적합하여, 문장의 빈칸을 채우거나 의미를 판단하는 데 주로 사용됩니다. 이러한 BERT의 판단 능력을 활용하면 사용자의 입력을 이해하고, 이에 적절한 반응을 하는 채팅 서비스를 만들 수 있습니다. 반면에 GPT와 같은 생성 모델은 주어진 텍스트로부터 새로운 텍스트를 생성하는 데 특화되어 있습니다. 따라서 사용자의 입력에 대해 대화를 연속적으로 생성해 나가는 채팅 서비스를 구현할 때 적합합니다. 각각의 모델은 독립적으로 채팅 서비스를 제공할 수 있으나, 때에 따라서는 BERT를 통해 사용자의 입력을 더 정확히 이해하고, GPT를 통해 자연스러운 응답을 생성하는 등 두 모델을 결합하여 사용하기도 합니다. 이런 식으로, 각 회사는 자신들의 목적에 맞추어 적절한 아키텍처를 선택하거나 조합하여 채팅 서비스를 만들었을 것입니다. 답변이 도움이 되었길 바라며, 더 궁금하신 점이 있으시다면 여기 수강 전 문의 게시판 을 통해 자세한 상담을 받아보실 수 있습니다.