๐ฑcontact: dreamingbumblebee@gmail.com
Courses
Reviews
- [LLM 101] Llama SFT Tutorial for LLM Beginners (feat. ChatApp Poc)
- [VLM101] Creating a Multimodal Chatbot with Fine-tuning (feat.MCP)
- [LLM 101] Llama SFT Tutorial for LLM Beginners (feat. ChatApp Poc)
- [LLM 101] Llama SFT Tutorial for LLM Beginners (feat. ChatApp Poc)
- [VLM101] Creating a Multimodal Chatbot with Fine-tuning (feat.MCP)
Posts
Q&A
๋ฐํ์ ์ ํ ๋ณ๊ฒฝ ๋ฐ ํ ํฌ๋์ด์ ๊ด๋ จ ์๋ฌ
์๋ ํ์ธ์,์ค๋ฅ๋ถ๋ถ์ ๋ํ ์ค์ต ์ฝ๋๋ฅผ ์ ๋ฐ์ดํธํ์ต๋๋คtrl์ sfttrainer ๋ถ๋ถ์ด ์ ๋ฐ์ดํธ๋๋ค๋ณด๋, ๋ค๋ฅด๊ฒ ๋์ํ๋๊ฒ ๊ฐ์ต๋๋ค์ดํ์๋ ์ด์๋ฐ์ํ์๋ฉด ๊ณต์ ์ฃผ์๋ฉด ๊ฐ์ฌํ๊ฒ ์ต๋๋ค
- 0
- 2
- 222
Q&A
colab ์ค์ต ์๋ฌ ์ง๋ฌธ
์๋ ํ์ธ์,์ค๋ฅ๋ถ๋ถ์ ๋ํ ์ค์ต ์ฝ๋๋ฅผ ์ ๋ฐ์ดํธํ์ต๋๋คtrl์ sfttrainer ๋ถ๋ถ์ด ์ ๋ฐ์ดํธ๋๋ค๋ณด๋, ๋ค๋ฅด๊ฒ ๋์ํ๋๊ฒ ๊ฐ์ต๋๋ค์ดํ์๋ ์ด์๋ฐ์ํ์๋ฉด ๊ณต์ ์ฃผ์๋ฉด ๊ฐ์ฌํ๊ฒ ์ต๋๋ค
- 0
- 2
- 111
Q&A
ํ์ ํ๊ฒฝ์์ ์ฑ๋ด
๋ต! ํ๊น ํ์ด์ค์์ ๋ฐ์ดํฐ์ ๋ชจ๋ธ์ ๋ฏธ๋ฆฌ ๋ชจ๋ ๋ฐ์ผ์ ์ํ์์, ๋ก๋ฉํ๋ ๋ถ๋ถ์ path๋ง ํด๋น ํ์ผ path๋ก ๋ฐ๊พธ์ ํ ์งํํ์๋ฉด ๋ฉ๋๋ค
- 0
- 1
- 164
Q&A
๋ฐํ์ ์ ํ ๋ณ๊ฒฝ ๋ฐ ํ ํฌ๋์ด์ ๊ด๋ จ ์๋ฌ
[1] A100 > V100 > T4 ์์ผ๋ก ์ฌ์ฉํ์๋ฉด ๋ฉ๋๋ค ๊ฐ์ฅ ์ข์๊ฑด ์ญ์ A100์ด๊ธดํฉ๋๋ค[2] ์ต์ ๋ฒ์ hf์์๋ llama2์ chat template์ด depreciated๋์์ต๋๋ค. llama3๋ฅผ ์ฌ์ฉํ์๊ฑฐ๋ default_chat_template์ ๋ฌด์ํ์๊ณ ์งํํ์ ๋๋ฉ๋๋ค (์ ํฌ๊ฐ ์ด์ฐจํผ ๋ฐ๋ก chat_template์ ๋ฃ์ด์ฃผ๊ธฐ ๋๋ฌธ์)[3] flash-attn์ ์ฌ์ฉํ์๋ฉด ์ข์ง๋ง colab ํ๊ฒฝ์์ ์ง์๋์ง ์๋ ๊ฒฝ์ฐ๊ฐ ์์ง๊น์ง ์์ด์ ์ฐธ๊ณ ์ฉ์ผ๋ก ์ฃผ์๋ง ์ฒ๋ฆฌํด๋์์ต๋๋ค. peft ์๋ฌ๋ฅผ ๋ณด๋ model์ ์ฐธ์กฐํ์ง ๋ชปํ๋๊ฒ ๊ฐ์๋ฐ, peft๋ฅผ ์ ์ฉํ ๋ชจ๋ธ ์ ์ธ ํ ์คํํ๋ฉด ๋์ํ ๊ฒ์ผ๋ก ๋ณด์ ๋๋ค
- 0
- 2
- 222