묻고 답해요
131만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
llama 3 파인튜닝 관련 문의 사항
안녕하세요강의 내용을 기반으로 실습을 잘 진행 해보고 있습니다.허깅페이스에서 하나의 모델을 다운받아 테스트를 해보려고 하는데, 모델명.gguf 파일로 되어있는 모델은 autotrain으로 파인튜닝이 잘 진행되지 않아 문의 드립니다. !autotrain llm --train \ --project-name "llama3-finetuning-da-8B-Q4" \ --model "path/llama-3-8B-gguf-Q4_K_M/llama-3-8B-Q4_K_M.gguf" \ --data-path "/path/train_data/korquad" \ --text-column "text" \ --peft \ --quantization "int4" \ --lr 2e-4 \ --batch-size 8 \ --epochs 40 \ --trainer sft \ --model_max_length 2048 답변 부탁드리겠습니다. 감사합니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 2 - 랭체인(LangChain)으로 나만의 ChatGPT 만들기
self query retriever 한글
안녕하세요 query constructor chain 생성하는데 df 안에 있는 한글을 넣으면 "Sample Stability": { "translation": "\uc0d8\ud50c \uc548\uc815\uc131",요런식으로 나와서 filter 인식이 안되는데요,수정하는 코드를 찾아봐도 안나와서 질문드립니다!
-
미해결챗GPT와 파이썬으로 주식 자동매매 앱 및 웹 투자 리포트 만들기
같은 질문으로 받은 코드를 돌렸는데 최종 수익률이 다를 수도 있나요?
구현 코드는 달라질 수 있지만, 날짜 설정은 같으니까 최종 수익률은 같을거라고 생각했는데 제 챗gpt가 준 코드의 결과는 마이너스 수익률이네요코드 자체가 잘못된 걸까요?코드도 첨부합니다.
-
해결됨[Python 초보] Flutter로 만드는 ChatGPT 음성번역앱
휴대폰에서 동영상이 재생이 안됩니다 ㅠㅠ
안녕하세요 좋은 강의 감사합니다 한가지 아쉬운점이 발견되었습니다 안드로이드 폰으로 접속시 계속 로딩창만 뜨면서 재생이 안됩니다.3015 또는 3016 에러코드도 계속 보여주네요데스크톱 PC회면에서는 잘되네요 감사합니다 좋은 즐거운 주말 하루되셔요
-
미해결초보자를 위한 ChatGPT API 활용법 - API 기본 문법부터 12가지 프로그램 제작 배포까지
ipykernel 패키지 설치 실패
ch02_env 가상환경에서 2 + 2 셀의 실행 버튼을 누른 뒤 설치를 진행하였을때 발생한 에러입니다!vscode랑 python을 삭제하고 재설치 하였는데도 여전히 문제가 발생되었습니다pip install requests 명령어를 사용하여 다른 패키지를 설치 하려고 했을 때도 문제가 발생하였습니다 해결 방법을 알려주시면 감사하겠습니다!
-
미해결프로젝트로 배우는 Python 챗봇 만들기 - LangChain, Gradio 활용
response = retrieval_chain.invoke 실행 에러 질문
학Chroma DB를 활용하여 PDF 파일에 대해 RAG 기반 질의응답 구현 (실습)의 29:00 에 있는 코드를 똑같이 실행했는데, 다음과 같은 에러가 발생했습니다. from langchain_openai import ChatOpenAI from langchain.chains.combine_documents import create_stuff_documents_chain from langchain.chains import create_retrieval_chain model = ChatOpenAI(model ='gpt-3.5-turbo-0125', temperature=0, api_key=OPENAI_API_KEY) document_chain = create_retrieval_chain(model, prompt) retrieval_chain = create_retrieval_chain(retriever, document_chain)response = retrieval_chain.invoke({"input": "what is the attention mechanism in transformers?"})에러 메시지Cell In[163], line 1 ----> 1 response = retrieval_chain.invoke({"input": "what is the attention mechanism in transformers?"}) 2 print(response)ValueError: Invalid input type <class 'dict'>. Must be a PromptValue, str, or list of BaseMessages.Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...
-
미해결초보자를 위한 ChatGPT API 활용법 - API 기본 문법부터 12가지 프로그램 제작 배포까지
카카오톡 채널 및 챗봇 생성하기 1분 30초에서 진행하고 있는데요
카카오톡 채널 및 챗봇 생성하기 1분 30초에서 진행하고 있는데요. 채널 홍보가 어디있나요?
-
해결됨2시간으로 끝내는 프론트엔드 테스트 기본기
[공유] cy.visit() failed trying to load;
위 화면처럼 connect ECONNREFUSED::1:54382등 locahost에 접근할 수 없다고 나오면 cypress.config.ts에서 baseurl 설정해야합니다.(https://parkparkpark.tistory.com/186)import { defineConfig } from "cypress"; export default defineConfig({ e2e: { baseUrl: "http://localhost:3000", setupNodeEvents(on, config) { // implement node event listeners here }, }, });
-
미해결모두를 위한 대규모 언어 모델 LLM Part 3 - 구글 제미나이(Google Gemini) API, OpenAI API와 젬마(Gemma)로 AI 어플리케이션 만들기
PDF RAG 제작 프로젝트 진행 중 답변 정확도를 올리기 위해 무엇을 해야 할지 모르겠습니다.
안녕하세요! 현재 Gemini, Streamlit, LangChain을 이용하여 오류 Q&A 모음 PDF 문서를 학습시켜 해당 문서로 질의응답을 할 수 있는 RAG Chatbot을 구현하는 중에 있습니다.PDF 내용이 정제가 되어 있지 않지만 175개의 모든 페이지를 다 읽어온 것은 확인했는데 같은 페이지에 있는 내용이더라도 답변하는 것이 있고 아닌 것이 있습니다. 또한 같은 질문을 해도 어떤 때는 잘 대답하고 어떤때는 문서에 없다고 대답하는 현상을 발견하고 있습니다... 이런 현상들의 원인이 뭔지 또한 학습시키는 문서를 정제하면 대답 정확도가 조금 올라가는지..어떤 형식으로 문서를 정제해야 할지, PDF보단 WORD나 CSV 파일이 더 정확도가 올라갈지 등등ChatBot의 정확도를 올릴려면 어떤 방식들을 시도해 봐야 하는지 감이 잡히지 않아 질문드립니다.
-
미해결모두를 위한 대규모 언어 모델 LLM Part 3 - 구글 제미나이(Google Gemini) API, OpenAI API와 젬마(Gemma)로 AI 어플리케이션 만들기
[긴급 최종질문수정16:47] 지금 이런 에러가 계속해서 연달아 나고 있는데 진행이 아예 안 됩니다
해결됐어요
-
미해결모두를 위한 ChatGPT Part 1 - ChatGPT를 이용한 업무자동화와 파이썬 입문
네이버 뉴스 크롤링
안녕하세요,크롤링을 계속 진행하다 보면 403 에러가 발생합니다. 이를 우회할 방법이 있을까요? chatgpt에 문의를 해봤지만 해결되지 않네요.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 2 - 랭체인(LangChain)으로 나만의 ChatGPT 만들기
selfqueryRetriever에서 contain,like 필터링 오류문제
안녕하세요 답해주셔서 감사합니다. Your goal is to structure the user's query to match the request schema provided below. << Structured Request Schema >> When responding use a markdown code snippet with a JSON object formatted in the following schema: ```json { "query": string \ text string to compare to document contents "filter": string \ logical condition statement for filtering documents } ``` The query string should contain only text that is expected to match the contents of documents. Any conditions in the filter should not be mentioned in the query as well. A logical condition statement is composed of one or more comparison and logical operation statements. A comparison statement takes the form: comp(attr, val): - comp (eq | ne | gt | gte | lt | lte | contain | like | in | nin): comparator - attr (string): name of attribute to apply the comparison to - val (string): is the comparison value A logical operation statement takes the form op(statement1, statement2, ...): - op (and | or | not): logical operator - statement1, statement2, ... (comparison statements or logical operation statements): one or more statements to apply the operation to Make sure that you only use the comparators and logical operators listed above and no others. Make sure that filters only refer to attributes that exist in the data source. Make sure that filters only use the attributed names with its function names if there are functions applied on them. Make sure that filters only use format YYYY-MM-DD when handling date data typed values. Make sure that filters take into account the descriptions of attributes and only make comparisons that are feasible given the type of data being stored. Make sure that filters are only used as needed. If there are no filters that should be applied return "NO_FILTER" for the filter value. 이런 스키마를 가지고있잖아요. 근데 contain이랑 like가 인식이 안되는 오류가 있습니다. 그래서 에러가 떠버럽니다. 그거에 대해 해결방법이 있을까요 --------------------------------------------------------------------------- ValueError Traceback (most recent call last) <ipython-input-54-5a63d86f57f7> in <cell line: 1>() ----> 1 results = retriever.get_relevant_documents( 2 "롤과 배그가 돌아가는 컴퓨터 견적을 추천해줘" 3 ) 4 5 for res in results: 12 frames /usr/local/lib/python3.10/dist-packages/langchain_core/structured_query.py in _validate_func(self, func) 24 if isinstance(func, Comparator) and self.allowed_comparators is not None: 25 if func not in self.allowed_comparators: ---> 26 raise ValueError( 27 f"Received disallowed comparator {func}. Allowed " 28 f"comparators are {self.allowed_comparators}" ValueError: Received disallowed comparator like. Allowed comparators are [<Comparator.EQ: 'eq'>, <Comparator.NE: 'ne'>, <Comparator.GT: 'gt'>, <Comparator.GTE: 'gte'>, <Comparator.LT: 'lt'>, <Comparator.LTE: 'lte'>]이런오류가뜹니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 2 - 랭체인(LangChain)으로 나만의 ChatGPT 만들기
상품추천GPT에서 데이터를 바꿔 사용하는데 오류나는 이슈
안녕하세요. 강의를 듣고 컴퓨터견적데이터를 뽑아와서 컴퓨터견적을 추천해주는 gpt를 만들고싶어서 가져왔지만 메타데이터를 뽑을때 별점이나 날짜같은 유효성있는데이터를 넣어야지 제대로 필터가 되는것같은데 컴퓨터견적데이터 자체가 게이밍,코딩용이런식으로 구분지을수없는 데이터이고 또한 메타데이터에 뭐를 넣을까 생각이 안듭니다. 또한 page_content에 json데이터를 넣으면 필터를 잘해줄까?에 대한 의문점도 생깁니다. 어떤방식으로 하면 컴퓨터 견적에 대한 추천을 잘해줄까요? 이런식의 데이터 5000개정도 있습니다. 그리고 강의와 같이 여러 json으로 나누어 사용했습니다.{ "quote_number": "1200", "quote_title": "로스트아크 풀옵션, 작업 병행용 컴퓨터(5700X, RX 6700XT)", "date_create": "2023.10.10", "cpu_gpu_combinations": "라이젠7 5700X + RX 6700 XT 조합", "quotation_summary": " 1. 라데온 그래픽카드에 거부감이 없는 분2. 가성비를 극대화 하시려는 분3. 게임과 작업을 병행하시는 분# 영상편집# 게임# 롤# 배그# 가성비# 로아", "quote_person_introduction": "안녕하세요. 견적왕에서 견적맨으로 활동하고 있는 coke-bear 입니다.퀘이사존에서 주로 활동하며 그 외 커뮤니티에서도 간간히 활동하고 있습니다.하드웨어에 관심이 많아 제품을 직접 사용해보기도 하고 주변 지인들 PC 견적부터 조립도 해주다보니PC 구매를 어려워하거나 용도에 맞지 않게 구매하여 불필요한 지출을 하는 경우를 보게 되었습니다.그런 분들께 조금이라도 도움이 되고자 PC 구매자분들께 합리적인 구매를 할 수 있게 견적맨으로 활동하게 되었습니다.", "quote_feedback": "게임을 하면서 영상 편집 또한 취미 수준으로 한다거나 다른 다중 작업을 하는 경우라면 8코어 cpu 이상을 사용해주어야 하는데 이 때 가장 가성비로 구성할 수 있는 cpu라 5700x 입니다.좀 더 전문적이라면 더 좋은 cpu를 구성하여 멀티작업 성능을 늘릴 수 있지만 한정된 예산으로 구성해야하고 이제 배우는 단계라면 8코어 제품 중 가성비가 가장 뛰어난 5700x 구성을 추천드립니다.RX 6700 XT의 가격이 내려온 관계로 매우 가성비가 좋아져서 현재로서는 성능 대비해서 가격이 가성비가 좋아 구성하였습니다.", "computer_estimate_data": "[CPU]AMD 라이젠7-4세대 5700X (버미어) (멀티팩(정품))상세보기[메인보드]ASUS PRIME B550M-A 대원CTS상세보기[메모리]마이크론 Crucial DDR4-3200 CL22 (16GB) x 2 개상세보기[그래픽카드]PowerColor 라데온 RX 6700 XT Fighter D6 12GB상세보기[SSD]마이크론 Crucial P5 Plus M.2 NVMe 대원CTS (1TB)상세보기[케이스]DARKFLASH DK260 Air MESH RGB 강화유리 블랙 (미들타워)상세보기[파워서플라이]맥스엘리트 MAXELITE MAXWELL BARON 800W 80PLUS BRONZE 플랫상세보기[CPU쿨러]DARKFLASH Ellsworth S21 ARGB (블랙)상세보기[조립PC관련][견적왕] 조립 서비스 + 1년 출장 A/S상세보기", "quote_description": "CPU는 라이젠 5000번대 8코어 제품으로 8코어 cpu 이상을 요구하는 작업용 pc에서 저렴하게 구성 가능한 cpu입니다.메인보드는 am4 소켓을 지원하는 b550 칩셋 중 5600x나 5700x를 사용하기에 준수한 성능을 가진 메인보드 입니다.메모리는 삼성 메모리와 동일한 3200 클럭에 라이프워런티를 가지고 있어 AS 부분에서는 더 상위 호환의 제품입니다.그래픽카드는 6700 XT 중 가장 저렴한 가격대의 파워컬러 제품입니다.SSD는 pcie4.0 제품이며 가격대는 pcie3.0 의 p31 보다 저렴한 제품입니다.케이스는 다크 플래쉬의 DK 260 AIR 미들타워 제품입니다. 가격 대비 강판 두께나 기본팬 성능이 출중한 편입니다.파워서플라이는 국내 파워 회사 중 as 부분에서 상위 퀄리티를 가진 맥스엘리트의 800w 파워 입니다.CPU쿨러는 다크플래쉬의 s21 쿨러입니다.\n기본 무뽑방지가 적용되어 있고 더 높은 가격대의 팔라딘이나 rc400 이랑 쿨링 성능이 동일하고 소음 부분에서는 더 정숙하여 가성비가 좋습니다.", "CPU": { "제품명": "AMD 라이젠7-4세대 5700X)", "가격": "238,010원", "수량": "1" }, "메인보드": { "제품명": "ASUS PRIME B550M-A 대원CTS", "가격": "121,960원", "수량": "1" }, "메모리": { "제품명": "마이크론 Crucial DDR4-3200 CL22 16GB", "가격": "41,840원", "수량": "2" }, "그래픽카드": { "제품명": "PowerColor 라데온 RX 6700 XT Fighter D6 12GB", "가격": "402,400원", "수량": "1" }, "SSD": { "제품명": "마이크론 Crucial P5 Plus M.2 NVMe 대원CTS 1TB", "가격": "127,000원", "수량": "1" }, "케이스": { "제품명": "DARKFLASH DK260 Air MESH RGB 강화유리 블랙", "가격": "50,500원", "수량": "1" }, "파워서플라이": { "제품명": "맥스엘리트 MAXELITE MAXWELL BARON 800W 80PLUS BRONZE 플랫", "가격": "84,160원", "수량": "1" }, "CPU쿨러": { "제품명": "DARKFLASH Ellsworth S21 ARGB", "가격": "27,380원", "수량": "1" }, "total_price": "1700000원" }
-
미해결프로젝트로 배우는 Python 챗봇 만들기 - LangChain, Gradio 활용
poetry --version 명령어 실행시 에러가 납니다.
poetry 설치후 환경변수를 추가하고 파워셀에서 poetry --version 을 실행하면 아래와 같은 에러가 납니다. poetry: 'poetry' 용어가 cmdlet, 함수, 스크립트 파일 또는 실행할 수 있는 프로그램 이름으로 인식되지 않습니다. 이름이 정확한지 확인하고 경로가 포함된 경우 경로가 올바른지 검증한 다음 다시 시도하십시오. 현재 시스템환경 변수에 %APPDATA%\Python\Scripts 를 추가하였고 %APPDATA%\pypoetry\venv\Scripts\poetry도 추가한 상태입니다.파워셀도 다시 접속하여 실행했습니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
checkpoint 파일이 안생겨요
제가 강의에 LLaMA 파인튜닝 코드를 변형해서 한 => 영 번역기를 만들고 있는데요. 몇일 전까지만 해도 zip파일을 해제하면 checkpoint-875 이런식으로 체크포인트가 저장된 파일이 생겼는데 갑자기 안생기네요.. 이유가 뭘까요 선생님!autotrain llm --train \ --project-name "conversational-finetuning" \ --model "TinyPixel/Llama-2-7B-bf16-sharded" \ --data-path "conversational-prompt" \ --text-column "text" \ --peft \ --quantization "int4" \ --lr 3e-4 \ --batch-size 8 \ --epochs 5 \ --trainer sft \ --model_max_length 80 import zipfile import shutil from google.colab import files folder_name = "conversational-finetuning" zip_file_name = "conversational-finetuning1.zip" shutil.make_archive(zip_file_name[:-4], "zip", folder_name) files.download(zip_file_name) extract_folder_name = '.' # 현재 디렉토리 with zipfile.ZipFile(zip_file_name, 'r') as zip_ref : zip_ref.extractall(extract_folder_name)
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
고스트 어텐션
고스트 어텐션한국어로 말해라, 아인슈타인처럼 말해라 와 같이 모델이 일관성을 유지해야 하는 말에 대해 자꾸 몇번 더 대화를 나누면 일관성을 잃어버려서 고스트 어텐션을 적용했다고스트 어텐션은인물: 아인슈타인언어: 한국어와같이 저장하는데 이걸 이용하는 방법은 잘 모르겠다 어디서 이용되는건지 모르겠습니다.제가 생각했을때 이용될 수 있는 방법은 이런 파라미터를 이후에 오는 모든 파라미터앞에 붙인것 처럼 입력된다--> 이건 위에서 대조한 예시로 나온것 같은데 이러면 둘이 충돌이 일어날 상황이 생겨서 안한다고 한것 같고인물, 언어 와 같은 카테고리를 적용한 것을 미리 파인튜닝 해둔 후 위의 프롬프트가 나오면 그 파인튜닝 된 것을 불러온다? --> 이건 너무 경우도 많고 복잡할 것 같습니다. 선생님이 간단하다고 해서 이것도 아닌것 같습니다. 고스트 어텐션이 실제로 gpts를 이용할때 프롬프트로 저장, 고정이 되어있는 부분을 말하는것 같은데 이걸 어떻게 이용하는지 궁금합니다
-
미해결원고 생성기 프로그램 개발 강의 (Chatgpt api)
궁금한 부분이 있습니다.
import openai api_key = " " openai.api_key = api_key def ask_gpt(system, prompt, model="gpt-3.5-turbo"): completion = openai.ChatCompletion.create( model=model, messages=[ {"role": "system", "content": system}, {"role": "user", "content": prompt} ], stream=True ) result = "" for chunk in completion: delta_data = chunk.choices[0].delta if 'role' in delta_data: continue elif 'content' in delta_data: r_text = delta_data['content'] result += r_text print(r_text, end="",flust=True) ask_gpt(system="you are a helpful assistant." , prompt="사과에 관한 글을 써줘") 해당 부분이 작동이 되지 않아서 확인 요청드립니다. api_key 값은 일단 빼두었습니다.
-
해결됨챗GPT와 파이썬으로 주식 자동매매 앱 및 웹 투자 리포트 만들기
pykrx 설치중 다음과 같은 에러가 뜹니다.
(사진)
-
해결됨2시간으로 끝내는 프론트엔드 테스트 기본기
cypress 와 jest에서 타입만 다르다면? 그래도 같이 쓰는것도 좋지 않나요?
cypress를 적용해보고 러닝 커브가 훨씬 낮은거 같고 좋았습니다 jest는 많이 목킹을 하고 여러가지 더 설정이 많아서 힘들긴 했는데 여기서 타입을 제외하고 더 같이 쓰지 말아야할 이유가 있나요?
-
미해결
자꾸 Incorrect API key provided라고 뜹니다.
Chatgpt api 키 발급받고 intellij의 https request 켜서 키 복사 버튼 눌러서 제대로 붙어넣기 했는데 자꾸 401이 뜨면서 이런 에러가 나옵니다.POST https://api.openai.com/v1/completions Content-Type: application/json Authorization: Bearer <sk-proj-nawrjQjyZsY97JLPn96lT3BlbkFJwKvp4wAikQ2ENDrll4Kq> { "model": "text-davinci-001", "prompt": "1+1은 몇이야?", "temperature": 1, "max_tokens": 10 }{ "error": { "message": "Incorrect API key provided: <sk-proj**********************************************4Kq>. You can find your API key at https://platform.openai.com/account/api-keys.", "type": "invalid_request_error", "param": null, "code": "invalid_api_key" } }뭐가 문제일까요?