• 카테고리

    질문 & 답변
  • 세부 분야

    AI · ChatGPT 활용

  • 해결 여부

    미해결

fine tuning 실습관련 질문드립니다.

23.05.01 11:10 작성 조회수 562

3

안녕하세요.

실습을 진행하면서 막혀서 여쭙습니다.

막힌 부분은 fine tuning 입니다.

구글 코랩에서 contents하단에 예제 파일을 업로드 하고

/content/fine_tuning_data.json

1.실행전 필요하다고 생각한 인스톨을 진행하고

pip install openai

pip install openai_secret_manager

export OPENAI_API_KEY="sk-@@@J"

2.실행

openai tools fine_tunes.prepare_data -f /content/fine_tuning_data.json

*에러 메세지

File "<ipython-input-2-e56f31c80683>", line 1

openai tools fine_tunes.prepare_data -f /content/fine_tuning_data.json

^

SyntaxError: invalid syntax

3.실행

openai api fine_tunes.create -t /content/fine_tuning_data.json -m babbage

위와 같은 메세지 입니다.

가르침 요청 드려 봅니다.

#블로그를 찾아보고 알려 주는 방법으로 실행해 보아도 역시 안되네요.

Error: No API key provided. You can set your API key in code using 'openai.api_key = <API-KEY>' 즉, openai.api_key에 API key를 셋팅하라는 메세지입니다. 먼저, 기본적으로 Fine-tuning을 위해 다음과 같이 명령어를 입력해야 하는데요.

openai api fine_tunes.create -t <TRAIN_FILE_ID_OR_PATH> -m <BASE_MODEL>

이 상태 그대로 입력하게 되면 위 에러 메세지를 받게 될 것입니다. 따라서, OpenAI의 GPT Fine-tuning을 위해서는 아래와 같이 명령어를 구성해서 보내야 합니다.

openai --api-key YOUR_KEY api fine_tunes.create -t example_prepared.jsonl -m davinci

답변 1

답변을 작성해보세요.

1

안녕하세요 kinghm10님

일단 환경 설정은 잘 된 거 같은데요.

export OPENAI_API_KEY="<OPENAI_API_KEY>"

혹시 openai api의 버전이 최신 버전인지 확인을 해 보시기 바랍니다. 제 생각에는 openai 파이썬 버전이 잘 못 된거 같은데요. 제 버전은 0.27.2로 되어있네요

pip install openai==0.27.2로 한번 해보시겠어요?

그게 아니라면 JSON이 JSONL인지 확실히 알아보세요. 강의에서도 언급한 거 같은데 JSON 포맷에 리스트로 되어 있으면 안됩니다. 그에 반해 JSONL은 각각의 라인이 딕셔너리입니다.

그래도 안되면 또 답변 주세요 :D

제 코드는

https://github.com/dimz119/learn-openai/blob/main/python-chatgpt/python_chatgpt/fine_tuning.py

https://github.com/dimz119/learn-openai/blob/main/python-chatgpt/python_chatgpt/fine_tuning_data.json

https://github.com/dimz119/learn-openai/blob/main/python-chatgpt/python_chatgpt/fine_tuning_data_prepared.jsonl

https://github.com/dimz119/learn-openai/blob/main/python-chatgpt/python_chatgpt/fine_tune_output.txt

입니다

 

 

 

kinghm10님의 프로필

kinghm10

질문자

2023.05.01

이렇게 빠른 답변과 자세한 설명 감사합니다. 진행해 보겠습니다. 이전 까지의 실습은 잘 진행이 되다가... 막히니. 제가 무엇을 잘못 했는지 이것 저것 찾아 보다 질문을 드리게 되었습니다. 강의 구성도 내용도 너무 좋았답니다. 감사합니다.

kinghm10님의 프로필

kinghm10

질문자

2023.05.01

실행 되었습니다. 실행 되는 것을 보니 기쁘네요^^ 감사합니다.

그런데 왼쪽 체크 좋아요 표시를 눌러도 상태가 "미해결이네요"

잘 해결 받아 변경하고 싶은데.. ㅜㅜ

ㅎㅎㅎ 잘 해결되어 다행이네요! 좋은 강의 리뷰 남겨 주시면 됩니다 ㅎㅎㅎ