-
카테고리
-
세부 분야
자연어 처리
-
해결 여부
미해결
PEFT 수업에서 실습 모델 선택 기준이 궁금합니다.
24.02.11 00:19 작성 조회수 122
0
안녕하세요, 제공해주신 유익한 수업 잘 듣고있습니다 🙂 현재 PEFT 부분 강의를 듣고 있는데요, 강의를 듣다가 궁금한 점이 생겼는데, 각 PEFT 방법들을 적용한 실습에서 backbone 모델과 데이터셋이 계속 바뀌는 것이었습니다.PEFT 방법과 task(dataset), backbone 모델의 조합을 어떻게 구성해서 실습을 할 지에 대한 선택 사항이 있었을 거 같은데, 선택하는데 있어서 특정한 기준이 있었는지 궁금합니다.예를 들면 아래와 같은 궁금증들 입니다.
- PEFT 방법 별로 잘 동작하는 task가 있는가?
- 다양한 task에 적용이 가능하단걸 보여주시기 위해서 여러 데이터셋을 사용한 것이고, 각 데이터셋 별로 잘 동작하는 backbone 모델을 선택한 것인가?
- 아니면 PEFT 방법과 데이터셋, backbone 모델 모두 자유롭게 선택이 가능해서 자유롭게 바꿔가면서 한 것인가?
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
PEFT 실습 3 - RoBERTa Semantic Similarity 모델에 P-Tuning 적용하기 (MRPC 데이터셋)
강의실 바로가기
답변을 작성해보세요.
0
AISchool
지식공유자2024.02.12
안녕하세요~. 반갑습니다.
수업을 잘 듣고 계시다니 기쁘네요^^.
PEFT 방법별로 명백히 잘 동작하는 task와 backbone 따로 있는 것은 아닙니다.
다양한 예시를 위해서 다양한 backbone 모델과 데이터셋을 사용한 것으로 생각하시면 됩니다.
좋은 하루 되세요.
감사합니다.
답변 1