173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
딥러닝 이론 + PyTorch 실무 완전 정복
83쪽에 '예를 들어 (3*3) Conv.Kernel 2개를 쌓은 경우 Receptive Field는 (7*7)이 된다!'라고 하셨는데 Kernel이 쌓이는게 아니라 Layer 아닌가요?? 혹시 제가 잘못 이해하고 있었다면 지금까지 각 Layer마다 하나의 kernel만 훑고 지나가는 줄 알고 있어서 Kernel이 쌓인다 라는 개념을 잘 모르겠습니다. 기존 ANN에서 Bias를 더하는 개념과 ResNet에서Residual Connection을 더하는 개념의 차이를 잘 모르겠습니다. 둘다 비슷하게 느껴집니다 ㅠㅠ.
미해결
프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용
poetry 설치후 환경변수를 추가하고 파워셀에서 poetry --version 을 실행하면 아래와 같은 에러가 납니다. poetry: 'poetry' 용어가 cmdlet, 함수, 스크립트 파일 또는 실행할 수 있는 프로그램 이름으로 인식되지 않습니다. 이름이 정확한지 확인하고 경로가 포함된 경우 경로가 올바른지 검증한 다음 다시 시도하십시오. 현재 시스템환경 변수에 %APPDATA%\Python\Scripts 를 추가하였고 %APPDATA%\pypoetry\venv\Scripts\poetry도 추가한 상태입니다. 파워셀도 다시 접속하여 실행했습니다.
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
제가 강의에 LLaMA 파인튜닝 코드를 변형해서 한 => 영 번역기를 만들고 있는데요. 몇일 전까지만 해도 zip파일을 해제하면 checkpoint-875 이런식으로 체크포인트가 저장된 파일이 생겼는데 갑자기 안생기네요.. 이유가 뭘까요 선생님 !autotrain llm --train \ --project-name "conversational-finetuning" \ --model "TinyPixel/Llama-2-7B-bf16-sharded" \ --data-path "conversational-prompt" \ --text-column "text" \ --peft \ --quantization "int4" \ --lr 3e-4 \ --batch-size 8 \ --epochs 5 \ --trainer sft \ --model_max_length 80 import zipfile import shutil from google.colab import files folder_name = "conversational-finetuning" zip_file_name = "conversational-finetuning1.zip" shutil.make_archive(zip_file_name[:-4], "zip", folder_name) files.download(zip_file_name) extract_folder_name = '.' # 현재 디렉토리 with zipfile.ZipFile(zip_file_name, 'r') as zip_ref : zip_ref.extractall(extract_folder_name)
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
고스트 어텐션 한국어로 말해라, 아인슈타인처럼 말해라 와 같이 모델이 일관성을 유지해야 하는 말에 대해 자꾸 몇번 더 대화를 나누면 일관성을 잃어버려서 고스트 어텐션을 적용했다 고스트 어텐션은 인물: 아인슈타인 언어: 한국어 와같이 저장하는데 이걸 이용하는 방법은 잘 모르겠다 어디서 이용되는건지 모르겠습니다. 제가 생각했을때 이용될 수 있는 방법은 이런 파라미터를 이후에 오는 모든 파라미터앞에 붙인것 처럼 입력된다--> 이건 위에서 대조한 예시로 나온것 같은데 이러면 둘이 충돌이 일어날 상황이 생겨서 안한다고 한것 같고 인물, 언어 와 같은 카테고리를 적용한 것을 미리 파인튜닝 해둔 후 위의 프롬프트가 나오면 그 파인튜닝 된 것을 불러온다? --> 이건 너무 경우도 많고 복잡할 것 같습니다. 선생님이 간단하다고 해서 이것도 아닌것 같습니다. 고스트 어텐션이 실제로 gpts를 이용할때 프롬프트로 저장, 고정이 되어있는 부분을 말하는것 같은데 이걸 어떻게 이용하는지 궁금합니다
해결됨
프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용
제가 잘 못찾는것인지 모르겠는데 아래 3개 파일들은 어디서 다운을 받을수 있을까요?
해결됨
프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용
(오늘은 뭔가 할때마다 오류가 나네요. ㅡㅡ;;) pdf-bot 프로젝트 만들고 패키지를 설치하려고 하니 오류가 나네요... Could not find a matching version of package lanchain 뭐를 확인해 보면 될까요? 강의에서 하라는대로 하긴 했는데..
해결됨
프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용
어제는 정상적으로 프로젝트 만들고 강의하면서 따라 했는데 오늘은 파워쉘에서 만들려고 하니 아래와 같은 오류가 납니다. 왜 그럴까요? ㅡㅡ; poetry를 뭔가 실행해야 되나요?
해결됨
프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용
강사님의 vs code 와 제것이 좀 다른거 같습니다. 저는 화면 오른쪽 하단에 어떤 커널을 쓰고 있는지가 나오지 않습니다. 저 오류를 해결하려고 커널을 선택하려고 하면 아래와 같은것만 나옵니다. 커널 선택을 어떻게 해야 될까요?
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
코렙 강의 파일을 찾을 수 없다는데 어떻게 해야되나요? 죄송합니다. 요청한 파일이 없습니다. 올바른 URL을 사용하고 있는지와 파일이 존재하는지 확인하세요. 이렇게 떠요!
미해결
프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용
궁금한 점이 있어서 질문드립니다. 강의 소스에서, 다음 코드를 보면, retrieval_chain 변수에 {context} 결정 값이 있을 것으로 예상하고 있는데요. retrieval_chain = create_retrieval_chain(retriever, document_chain) response = retrieval_chain.invoke({"input" : "질문" }) retrieval_chain.invoke() 하기 전에, {context} 값을 확인하는 방법이 있을지요? llm 모델을 바꿔가며 실험해보니, retrieval_chain.invoke() 후 response['context'] 내용이 llm 모델마다 많이 달라지는 것을 관찰했어요. gpt-3.5-turbo-16k-0613, gpt-3.5-turbo-0125, gpt-4, gpt-4-turbo 모델에서 실험해봤습니다. 그렇다면, llm 모델에 따라 제출할 {context} 내용이 달라질 수도 있다고 이해하면 맞을까요? {input} 값으로 벡터 검색한 내용이 {context} 값이 되는 단순한 방식은 아닌 것으로 이해했습니다.
미해결
프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용
위 코드에서는 # Prompt와 ChatModel을 chain으로 연결 document_chain = create_stuff_documents_chain(llm, prompt) # Retriever를 chain에 연결 retriver_chain = create_retrieval_chain(retriever, document_chain) response = retriver_chain.invoke({"input": message}) return response['answer'] 를 통해서 답변을 구성했는데. rag_chain = {'context':retriever, 'input': message} | rag_prompt | llm 위와같이 LECL 방식을 통한 response를 구성하고싶은데 어떻게 해야할까요?
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요 강사님 KorQuad 데이터셋을 Llama2 모델에 활용하기 위해서 context는 제거를 하시고 단순하게 Q와 A로 구성된 데이터셋을 구성하였는데 context를 유지해서 학습하는 방법은 없어서 적용하는 건가요? 아니면 LLM의 학습에는 적합하지 않아서 사용하지 않는건가요? GPT등의 모델을 파인튜닝 한다고 했을때도 context는 제거하는게 맞는 건가요??
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
좋은강의 감사드리며 P-tuning 관련해서 질문이 있습니다. 먼저 해당 기법이 적용된 모델로 추론시에 질문이 모델에 들어가면 모델에서 질문을 임의로 변경하여 추론한다고 생각하면 되겠죠?? 그리고 프롬프트 인코더(LSTM)의 어떤값을 임베딩 벡터로 사용하는 건가요?? 그림을 봤을땐 LSTM의 입력과 출력값은 독립적이고 히든레이어의 출력값이 임베딩 벡터로 사용되는 것으로 보이는데 맞나요?
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요 강사님, 좋은 강의 감사드리며 두가지 질문이 있습니다. 일반적으로 GPT 3.5를 그냥 사용한다고 할때, 퓨샷러닝이 학습때 사용되는 기법이 아니라고 이해하였는데 그러면 제가 GPT에게 "영어로 번역해줘"라고 타이핑하면 제 눈에는 안보이지만 GPT 자체적으로 예시를 몇가지 만들고 해당 내용을 바탕으로 추론 결과를 출력한다고 이해하는게 맞을까요? GPT3 학습시 사용되지 않은 데이터에 대해서(특정 산업군 지식이라던지) 적절한 정보를 출력하는 LLM을 만들고자 한다면 파인튜닝이 필수적이라고 생각하였는데 맞나요??
미해결
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요 강사님 좋은 강의 감사드립니다. GPT2파트쪽 강좌를 들으면서 GPT1에서 설명하신 모델이 헷갈려서 문의드립니다. GPT1의 경우 마지막 출력으로 다음 토큰에 대한 소프트맥스 값과 TASK에 대한 소프트맥스 값이 출력되고 각 레이블 값에 의해 학습되는 것이라 이해하였는데 해당 모델 구조가 그림상으론 같이 표현되어 있는데 처음에 비지도학습시엔 토큰에 대한 예측값만으로 학습하고 파인튜닝시엔 두가지 출력을 모두 활용하여 학습한다고 이해하는 것이 맞나요?? 또한, GPT2에선 테스크에 대한 소프트맥스값으로 학습한다는 개념이 빠지고 오로지 다음 토큰에 대해서만 학습한다는 개념이 맞을까요?
미해결
프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용
수업보시면 vscode사용하시고 코딩중에 함수적용이나 코드작성할때 ()안에 파라미터들 무엇을 쓸수 있는지 플레이스 홀더같이 표시되던데 그부분 설정에서 제가 커스터마이징할수있나요..?구글링을하려는데 키워드를 뭐로 검색해야하는지 모르겠어서요... 사소한 질문 송구합니다.ㅜㅜ
미해결
프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용
poetry add python-dotenv langchain langchain_openai gradio 입력하니 powershell에서 이렇게 나옵니다 검색해봐도 안나와서 어떤 것이 문제고 어떻게 해결해야할지 모르겠습니다.
미해결
프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용
langchain-text-splitters 설치 중 사진과 같이 액세스 거부 코드가 되었는데 조치방법을 알수 있을까요? 관리자권한으로 powershell을 실행했음에도 이렇게뜨네여ㅜㅜ
미해결
프로젝트로 배우는 Python 챗봇 & RAG - LangChain, Gradio 활용
강사님 궁금한게 있습니다. PDF 문서 파일 말고 일반적인 데이터 프레임형태의 데이터나 DB 테이블 데이터도 Rag를 활용해 챗봇 구현 가능할까요?
미해결
[LLM 101] LLM 초보를 위한 Llama SFT 강의 (feat. ChatApp Poc)
모든걸 잘 따라 했는데 아래와 같은 에러가 나네요,,, 윈도우10 환경 입니다.
