묻고 답해요
167만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
해설강의 쿠폰 놓쳤는데, 재발급 가능할까요?
챌린지 본 강의만 보다보니..해설강의 쿠폰을 놓쳤네요. 혹시 재발행 가능할까요?고객센터에 문의해도 답이 없어서 게시판 찾아서 질문 남겨봅니다.확인 부탁드립니다.
-
해결됨RAG를 활용한 LLM Application 개발 (feat. LangChain)
프로젝트 조언 요청드립니다.
안녕하십니까! 강병진 강사님! 강의를 수강하고 인터뷰도 보면서 많은 에너지와 영향을 받았습니다. 정말 감사드립니다!강병진님의 langchain강의 커리큘럼에서 n8n을 제외하고 모두 수강하였습니다.덕분에 RAG를 어떻게 구성하고 어떤식으로 정확도를 향상시킬 수 있는지도 배웠습니다.다름이 아니라 저는 현재 대학교 3학년으로써 프로젝트를 진행하고 싶은데 강병진님 같은 훌륭하신 선배 개발자님께서 좋게 보실 만한 프로젝트가 어떤 프로젝트인지 조언을 구하고 싶습니다.단순 챗봇을 구현해보기에는 기업에서 이러한 것이 많이 중요할까? 라는 걱정도 있습니다.기업에서는 어떤식으로 RAG를 사용하고 원하는 경험이 무엇일까 궁금합니다.저는 실무에서 RAG를 어떤식으로 사용하는지도 잘 모르고 선배님들께서 이러한 기술로 어떤 업무들을 하시는지도 잘 모릅니다. 그래서 어떤 방향성으로 준비해야 할지 잘 모르겠습니다.만약 강병진님께서 같이 일할 주니어를 뽑으신다면 어떤 프로젝트 경험이 있는 주니어를 뽑으실 지 가능하신다면 조언 한번만 부탁드리고 싶습니다!현재 사용할 수 있는 기술은 알려주신 langchain관련 기술과 fastapi로 백엔드 구현이 가능합니다.도메인마다 원하는 방향성이 다르겠지만 프로젝트 기획하는 단계로써 좋은 출발을 하고 싶어서 질문드립니다!계신 시간대로 저녁일거라 예상되는데 좋은 저녁 보내시길 바랍니다ㅎㅎ 감사합니다!
-
해결됨<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
<CH 4.1> "LLM구조 구현하기" 장 마지막의 Logits 차원에 대한 문의
제 4장 강의를 듣다 보면 강사님께서 강조하시는 말씀 중에 "입력 차원과 출력 차원은 같아야 하고 768차원이다"라는 게 있습니다."4.1장. 구조 구현하기"에 나오는 예제 코드의 마지막 부분을 보면 아래와 같이 나와 있습니다.torch.manual_seed(123) model = DummyGPTModel(GPT_CONFIG_124M) logits = model(batch) print("출력 크기:", logits.shape) print(logits)차원을 살펴보면 마지막 차원이 768차원이 아니라 50257로 나오는데요(즉, [2 , 4, 50257]).txt1 = "Every effort moves you" txt2 = "Every day holds a"토크나이저에서 위 텍스트를 인덱싱한 후 DummyGPTModel 클래스의 인스턴스에 넘겨주면 768차원이 나와야 하는 게 아닌 지 궁금합니다.참고로, 3장 끝 부분 "멀티헤드어텐션" 전까지는 수월하게 강의를 한 번만 듣고 책으로 복습해도 수월하게 이해 됐는데, 점차 어려워지네요^^;;;
-
해결됨<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
CH3의 맨 처음에 등장하는 '임베딩 입력 시퀀스' 텐서 값은 임의의 숫자인가요?
지난 주에 질문을 했었는데, 제가 인프런 시스템에 익숙하지 않다보니 엉뚱한 게시판에다 질문을 한 것 같아요. 이 Q&A 게시판은 강사님께 질문 드리는 것 맞는지요? 맞는다면 아래 내용을 질문 드리고 싶습니다.제 3장("어텐션 메커니즘 구현하기")의 거의 맨 앞 부분에 다음과 같은 문구와 코드가 등장합니다.다음처럼 3차원 벡터로 임베딩한 입력 시퀀스가 있다고 가정.import torchinputs = torch.tensor( [[0.43, 0.15, 0.89], # Your (x^1) [0.55, 0.87, 0.66], # journey (x^2) [0.57, 0.85, 0.64], # starts (x^3) [0.22, 0.58, 0.33], # with (x^4) [0.77, 0.25, 0.10], # one (x^5) [0.05, 0.80, 0.55]] # step (x^6))이 값들은 토크나이저에서 그냥 임의로 마구잡이로 부여하는 실수 값인가요?아니면 각 토큰 별로 이미 유사도나 거리 개념까지 다 계산 되어서 나온 실수 값인가요?아!! 단순하게 이 교재에서 이해를 돕기 위해 3차원 값으로 예를 든 저 실수들만을 말하는 게 아니고요실제로 LLM에서 입력 시퀀스의 각 토큰에 부여된 텐서 값들을 말하는 겁니다.만약 아무런 연관성이 없이 그냥 임의로 토크나이저에서 만들어진 실수 값일 뿐이라면,단순히 한 입력 원소와 다른 모든 입력 원소의 점곱 등의 연산을 통해 산출된 문맥 벡터가 무슨 의미가 있는 것인 지 이해가 잘 되지 않아서요.즉, 그냥 아무런 연관성 없는 임의의 값들끼리 접곱했는데 의미를 가진 문맥 벡터가 나온다는 게 언뜻 이해가 되질 않습니다.아니면,처음에는 토크나이저에서 아무런 연관성 없이 그냥 임의로 실수 값들을 각 토큰에 부여했다 하더라도,"훈련 가능한 가중치를 가진 멀티 헤드 어텐션" 알고리즘을 수행하게 되면 어텐션 가중치가 갱신 되면서이런 모든 의구심이 해소 되는 것인가요?
-
미해결RAG를 활용한 LLM Application 개발 (feat. LangChain)
vscode jupyter 연결 오류
안녕하세요, 강사님 강의 잘 듣고 있습니다! 그런데 실습을 하면서 계속해서 이미지와 같이 vscode 상에서 jupyter kernel 연결이 잘 안되는데 이유가 무엇일까요? 연결 오류 때문에 실습 진행이 계속해서 안되고 있는 상황입니다.
-
해결됨<밑바닥부터 만들면서 배우는 LLM> 해설 강의
Chapter1에서 말하는 "모델"이 정확히 어떤건가요?
LLM의 모델이나 파운데이션 모델 이런 말에서 쓰는 "모델"이라는 단어가 정확히 어떤 뜻인지 궁금합니다.
-
미해결모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
『6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)』에 대한 문의
안녕하세요? "6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)"에 대한 질문입니다. 이 개념의 하위 구성에 Zero-shot, One-shot, Few-shot Learning이 있고 각각이 어떤 것이다라고 설명해 주셨는데요,인컨텍스트 러닝(In-context Learning) 자체는 어떤 개념이고 왜 사용되는 것입니까?"In-Context"라는 말에서 맥락이 유지되도록 하는 뭔가인 것 같은데, 선행 개념 또는 전체를 아우르는 개념 없이 갑자기 하위 개념으로 툭 튄 느낌이어서 질문 드립니다.감사합니다. 수고하세요.
-
해결됨<밑바닥부터 만들면서 배우는 LLM> 해설 강의
챌린지 쿠폰 재 발급 가능 여부 확인 드립니다.
안녕하세요.보내주신 챌린지 쿠폰을 오늘 확인했습니다.기한이 지나 사용이 불가한데혹시 재발급이 가능할지 문의드립니다.새소식을 바로 확인을 못해서.ㅠㅠㅠ수고하세요.
-
미해결LangGraph를 활용한 AI Agent 개발 (feat. MCP)
Adaptive RAG vs Multi-agent
안녕하십니까, 강사님.자세하고 유익한 강의를 준비해주셔서 감사합니다. 이전 강의 내용과 비교하면서 궁금한 점이 생겼습니다.이전에 다루신 Adaptive RAG와 이번에 다루신 Multi-Agent 강의의 차이점이 무엇인지 알고 싶습니다.만약 다른 개념이라면, 두 접근 방식이 어떤 부분에서 가장 큰 차이를 보이는지도 궁금합니다.
-
미해결graphRAG - Neo4J로 구현하는 지식 그래프 기반 RAG 시스템 (feat. LangChain)
Preview KG_P1_02_neo4j_cypher_advanced.md자료
강의에서 설명해주신 자료중에 .ipynb이외의 자료는 어디에서 다운받나요? 예를들어, preview KG_P1_02_neo4j_cypher_advanced.md자료는 어디에 잇는지요?
-
해결됨<밑바닥부터 만들면서 배우는 LLM> 해설 강의
gpt_download 관련 오류 질의입니다.
5.5 실습진행하면서 오류가 발생해서 문의 드립니다.주피터 노트북 진행 환경 입니다. 오류는 203 페이지 진행중에 발생settings, params = download_and_load_gpt2(model_size="124M", models_dir="gpt2") file download 이후 오류로 그림과 같습니다. 혹시 해결가능한 방법이 있을까요?여기서 막히면 다음 진행이 어려울 까요?확인 부탁드립니다.
-
미해결RAG를 활용한 LLM Application 개발 (feat. LangChain)
모든 사용자가 "abc123" 세션 공유 문제
안녕하세요. 세션 관련으로 문제가 있는게 아닌가 해서 질문드립니다. store = {} # ❌ 전역 변수 - 모든 사용자 공유 def get_ai_response(user_message): # ... config={ "configurable": {"session_id": "abc123"} # ❌ 고정된 ID }❌ 모든 사용자가 "abc123" 세션 공유❌ 사용자 A, B, C의 대화 맥락이 섞임❌ 실제 배포하면 문제 발생해결 방법으로 동적인 세션 ID를 부여하는 것을 클로드는 추천을 해주던데 클로드 말대로 해볼까요?
-
미해결Spring WebFlux + LLM 실전 구현
스케줄의 스레드를 최대한 사용하지 않고 WebFlux를 사용해야 되는 게 맞는지 궁금합니다.
안녕하세요. 강의 잘들었습니다.강의를 듣고나서 궁금한 점이 있어서요.WebFlux의 스케줄을 통해서 스레드를 분리해서 JPA를 사용한다고 봤고, 그리고 신뢰성이 떨어져도 괜찮은 데이터는 R2DBC를 사용한다고 보았습니다.그렇다면, 스케쥴의 스레드를 최대한 사용하지 않고 WebFlux에서 지원해 주는 컴포넌트를 사용하는게 최적이라고 생각되는데 맞을까요? 제 짧은 생각으로는 JDBC를 사용하면 결국에는 스레드 풀을 사용할 것이고, 사용자가 많아지면 많아질수록 스레드는 부족할 것이라고 생각이 돼서요. 이렇게 되면 WebFlux를 사용하는 이유가 점점 퇴색될 것 같다는 생각이 듭니다.그렇다면 제가 생각하기로는 WebFlux를 사용하면서 지원하는 컴포넌트(Netty가 지원해 주는 컴포넌트)를 잘 알고, 적절한 Stream 함수를 알고 사용하는 게 제일 중요하다고 생각되는데, 이게 맞는지 궁금합니다.
-
해결됨<밑바닥부터 만들면서 배우는 LLM> 완독 챌린지
그림 4-5의 분산 값 문의드립니다.
안녕하세요. 강사님열심히 따라가려고 하는데 생각처럼 진도가 나가지 않네요. ㅡㅡ그림 4-5의 "층 출력"의 분산=0.39로 되어 있습니다.137페이지의 평균, 분산 출력 결과를 보면 분산=0.023이 맞아 보여서 문의드립니다.확인 부탁드립니다.감사합니다.
-
해결됨RAG를 활용한 LLM Application 개발 (feat. LangChain)
파라미터 힌트질문
안녕하십니까 강사님!다름이 아니라 현재 같은 mac환경의 vscode사용중인데 아무리 검색하고 찾아봐도 강사님처럼 파라미터 힌트 적용하는 법을 모르겠어서 질문드립니다. 함수 커서대면 파라미터 힌트 나오게끔 어떻게 설정할까요?강의랑 관련 없는 질문 같아서 죄송스러운데 검색하고 gpt쓰고 하란대로 해봐도 안떠서 질문드립니다! 번거로우시다면 키워드라도 주시면 그걸로 찾아보겠습니다!
-
미해결RAG를 활용한 LLM Application 개발 (feat. LangChain)
벡터db 저장 문제
안녕하세요! 현재 3.6강까지 수강하였습니다.저는 llm 모델은 ollama의 exaone을 사용했고 임베딩 모델은 HuggingFaceEmbeddings 모델을 사용했습니다.Pinecone 콘솔로 들어온 데이터를 보고 있는데, 사진처럼 같은 게 2개씩 들어갔더라구요. 질문도 최대한 맞춰보려고"거주자의 종합소득이 5천만원일 때 소득세는 얼마인가요?" 라고 하였는데''제공된 문서들은 주로 다양한 유형의 소득과 관련된 조세 규정에 대해 설명하고 있지만, 특정 종합소득세율 테이블이나 5천만 원 소득에 대한 정확한 세액 계산 정보는 포함하고 있지 않습니다"이런식으로 답변이 나왔습니다. 이것은 단지 llm모델과 임베딩 모델에서 생긴 문제인 걸까요? 여기서 어떻게 더 해야할지 모르겠어서 질문남깁니다. 감사합니다.!
-
미해결RAG를 활용한 LLM Application 개발 (feat. LangChain)
langchain 버전 질문드립니다.
수업 중에서는 langchain==0.3.3 버전을 사용하셨는데 제가 지금 수강하고 있는 시점에서는 1.0.3 버전이 나와서 1.0.3 버전으로 설치했습니다. No module named 'langchain.chains'RetrievalQA(create_retrieval_chain)를 임포트하려고 langchain.chains를 가져오려고 했는데, ModuleNotFoundError가 뜹니다. 현재 버전에서는 사라진 것 같습니다. 다른 방법을 추천하시는지아니면 0.3.3으로 다운그레이드해서 공부해야하는지 궁금합니다..! 감사합니다
-
해결됨[완독 챌린지] 『AI 엔지니어링』 5주만에 함께 읽기!
챌린지 검색이 안되서요.
시작전이긴 한데 구매했는데 리스트에 보이지 않습니다. 왜 그런걸까요?
-
해결됨<밑바닥부터 만들면서 배우는 LLM> 해설 강의
책관련 질문입니다.
안녕하세요.저작하신 책을 읽어 보고 싶어 검색해 보고궁금증이 생겨 질문드립니다. 혼자 공부하는 머신러닝 + 딥러닝과혼자 만들면서 공부하는 딥러닝두책의 차이점을 알고 싶습니다. 수고하세요.
-
미해결RAG를 활용한 LLM Application 개발 (feat. LangChain)
hub 임포트 문제
%pip install -U langchain langchainhub --quietfrom langchain import hub prompt = hub.pull("rlm/rag-prompt")안녕하세요! 강의에서처럼 hub를 임포트 하기 위해서 이렇게 했는데, 아래와 같은 에러가 뜹니다. --------------------------------------------------------------------------- ImportError Traceback (most recent call last) Cell In[47], line 1 ----> 1 from langchain import hub 3 prompt = hub.pull("rlm/rag-prompt") ImportError: cannot import name 'hub' from 'langchain' (/home/Dev/llm-app/llm-app/lib/python3.10/site-packages/langchain/__init__.py)from langchainhub import hub로도 해보았는데 안되고 검색해도 잘 안나와서 질문 남깁니다ㅠㅠ