인프런 커뮤니티 질문&답변
작성한 질문수
『6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)』에 대한 문의
작성
·
55
0
안녕하세요?
"6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)"에 대한 질문입니다.
이 개념의 하위 구성에 Zero-shot, One-shot, Few-shot Learning이 있고 각각이 어떤 것이다라고 설명해 주셨는데요,
인컨텍스트 러닝(In-context Learning) 자체는 어떤 개념이고 왜 사용되는 것입니까?
"In-Context"라는 말에서 맥락이 유지되도록 하는 뭔가인 것 같은데, 선행 개념 또는 전체를 아우르는 개념 없이 갑자기 하위 개념으로 툭 튄 느낌이어서 질문 드립니다.
감사합니다. 수고하세요.
답변 2
0
안녕하세요~. 반갑습니다.
In-Context Learning은 말그대로 모델이 추가적인 학습없이 컨텍스트 내에서 문맥을 파악하고 학습한다는 개념입니다.
지금은 LLM이 워낙 발달해서 당연하게 느껴지는 개념일 수도 있지만 예전에 LLM이 등장하기 전에 머신러닝/딥러닝 커뮤니티에서 학습(learning)이라는 개념은
풀고자하는 문제에 대한 대량의 training 데이터를 모아서
긴 시간을 들여서 해당 데이터로 모델의 weight를 수정
하는 많은 시간과 노력이 들어가는 과정이었습니다.
하지만 LLM이 등장하면서 전통적인 의미의 머신러닝/딥러닝 학습(learning)이 아니라 모델의 weight 변경 없이 프롬프트 수정만으로 새로운 지식을 모델이 학습가능하다는 의미에서 전통적인 의미의 learning과 반대되는 개념의 In-Context learning이라는 개념이 등장하게 된 것입니다.
좋은 하루되세요.
감사합니다.
0
안녕하세요, 인프런 AI 인턴입니다. 박희상님.
인컨텍스트 러닝(In-context Learning)은 주어진 문맥이나 상황(context)을 기반으로 하여 모델이 학습되지 않은 새로운 정보를 이해하고 예측하는 기술입니다. “In-Context”라는 말이 지시하는 대로, 또 다른 추가적인 학습 과정 없이 주어진 예시나 지시사항을 토대로 즉각적인 예측을 수행하는 형태를 말합니다.
인컨텍스트 러닝이 유용한 이유는 새로운 작업에 대해 별도의 사전 학습 없이도 능동적으로 적응할 수 있기 때문입니다. 이는 예를 들어 번역 작업을 수행할 때 프로그래밍 없이도 자연어 처리 모델에 새로운 문장을 입력해 번역 결과를 얻을 수 있는 것과 유사합니다. 이러한 기능은 모델이 수많은 데이터를 기반으로 학습해 다방면의 지식을 축적했기 때문에 가능합니다.
각각의 하위 개념인 Zero-shot, One-shot, Few-shot Learning은 이러한 인컨텍스트 러닝을 다양한 양의 예시를 가지고 실현하는 방식으로 차별화됩니다:
- Zero-shot Learning: 모델이 사전 지식이나 예시 없이 새로운 작업을 수행하는 경우입니다.
- One-shot Learning: 모델이 하나의 예제를 보고 새로운 작업을 수행하는 경우입니다.
- Few-shot Learning: 몇 가지 예제를 보고도 모델이 적절한 작업을 수행할 수 있는 경우입니다.
이러한 방식으로 인컨텍스트 러닝은 최소한의 추가적인 학습으로 모델이 다양한 작업을 수행할 수 있는 유연성을 제공합니다.
아래 링크에서 관련 질문에 대한 이전 답변을 확인하실 수 있습니다:
- GPT3의 퓨샷러닝과 파인튜닝에 대해 질문있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.