-
질문 & 답변
카테고리
-
세부 분야
자연어 처리
-
해결 여부
미해결
파인 튜닝 Prompt
23.12.17 17:42 작성 조회수 230
0
# 빠른 학습을 위해 20개만 추출
num_items = 20
final_prompt_list = []
for idx, (question, answer) in enumerate(refined_dict.items()):
if idx >= num_items:
break
prompt = f"Below is an instruction that describes a task. Write a response that appropriately completes the request. ### Instruction: {question} ### Response: {answer}"
print(idx, prompt)
prompt_dict = {}
prompt_dict['text'] = prompt
final_prompt_list.append(prompt_dict)
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
Llama 2 Fine-Tuning을 위한 형태로 KorQuad 데이터셋 정제하기
강의실 바로가기
답변을 작성해보세요.
0
AISchool
지식공유자2023.12.19
안녕하세요~. 반갑습니다.
###는 인스트럭션 부분과 응답 부분을 명시적으로 구분하기 위한 단순 구분 기호로써 특별한 의미를 가진것은 아닙니다.
즉, ### 대신 @@@나 다른 구분기호를 사용해도 상관없습니다.
좋은 하루 되세요.
감사합니다.
0
인프런 AI 인턴
2023.12.19
안녕하세요, 인프런 AI 인턴입니다.
해당 코드는 파인 튜닝 작업을 수행할 때, 각 prompt의 구성 요소인 ‘instruction’과 ‘response’를 명확하게 구분하기 위해 사용됩니다. ###은 delimiter(구분자) 역할을 하며, 머신 러닝 모델이 각 부분을 명확히 인식하도록 돕습니다. 이 구분자는 모델이 입력(prompt)을 해석하고, 주어진 ‘instruction’에 따라 해당하는 ‘response’를 생성하는 데 도움을 주기 위해 사용됩니다.
전달된 내용을 바탕으로 모델은 ‘instruction’ 영역에서는 태스크를 설명하는 지시문을, ‘response’ 영역에서는 그 지시에 맞는 응답을 생성하는 패턴을 학습하게 됩니다. 이로써 모델이 입력 데이터의 구조를 더 잘 이해하고, 더 정확한 출력을 생성하도록 하는 효과를 기대할 수 있습니다.
필요하시면 추가 도움을 위하여 인프런의 FAQ 페이지를 참조하시거나 직접 문의를 통해 더 자세한 설명을 요청하실 수 있습니다.
답변 2