안녕하세요 좋은 수업제공해주셔서 많은 도움을 받고있습니다. langChain에 public 모델을 사용할때 개인정보 관련해서 질문이 있는데요 예를 들어 챗봇이나 자동 상담 기능에 적용을 한다고하면 입력이 매우 자유로울거같은데 개인정보에대해서는 어떻게 처리를 해야할까요? 기본적으로는 정규식으로 전처리를 하는데 100%보장된 작업은 아니라 현업에서는 어떻게 처리하는지 궁금합니다. 만약 개인정보 처리가 매우 중요하다면 public 모델(ex. chatGPT, gemini)은 사용 못하고 private 한 환경에 오픈소스로 운영할수밖에는 없을까요?
안녕하십니까 강사님. 제공해주신 고품질의 강의 너무 잘 보고 있습니다. 3.6의 강의 내용 중 문서의 표에 대한 마크다운 전처리를 추천해주셨습니다. 만약 실시간으로 크롤링하는 데이터를 바탕으로 RAG 챗봇을 만든다고 했을 때, 크롤링된 문서를 자동적으로 전처리하는 로직은 따로 없을까요? 사용자가 수동적으로 해야하는 부분일까요? 감사합니다.
안녕하세요 일단 제가 생각은 컨트롤러에서 Mono 나 Flux 를 반환하고 webflux 가 이를 구독할 때 실행된다. 인데 어쨌든 구독하는 동작도 이벤트 루프 스레드가 하는 거라고 생각합니다. 그렇다면 구독에서부터 Mono 또는 Flux 실행까지 같은 이벤트 루프 스레드가 이어서 동작하는 건가요? 만약 제가 생각하는 게 맞다면 컨트롤러에서 수행하는 것과 구독후 수행하는 것의 순서만 다를 뿐 성능 차이를 모르겠는데 제가 어떤 부분을 잘못생각하고있는 걸까요? 개념이 잡히지 않아 질문이 좀 이상한 거 같아 죄송합니다.
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_bionlp["train"], eval_dataset=tokenized_bionlp["validation"], tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics, ) trainer.train() 강의에서는 training 하면 바로 된다고 하셨는데, 2025년 8월 현재 입력하면 wandb: Logging into wandb.ai. (Learn how to deploy a W&B server locally: https://wandb.me/wandb-server) wandb: You can find your API key in your browser here: https://wandb.ai/authorize?ref=models wandb: Paste an API key from your profile and hit enter: 위와 같이 나옵니다. 어떻게 하면 될까요?
안녕하세요, krag 라이브러리가 pip 서버에는 등록이 되어있는데 상세한 정보는 찾을 수가 없어서 문의드립니다. 일정 한도 내에서는 무료로 사용할 수 있는 Gemini API를 통해서 검색 성능을 평가중에 있는데, 중간중간 NaN값이 나오길래 추적해봤더니 API 분당 호출 수가 초과해서 값을 호출받지 못하는 경우가 생기더라구요. time.sleep을 걸고싶어도 이게 함수 자체로 전체 데이터프레임을 순회하는지라.. 혹시 delay를 넣을 수 있는 옵션이 있을까요?
뭔가 제가 이해하기로는 Multi Agent의 개념이 Multiple tool로의 개념으로 이번 강의를 이해했는데요 맞을까요 ? 둘의 명시적인 기능의 차이는 없어보이는데 클린 코드 작성 측면에서는 더 Multi tools가 효과적으로 보입니다 다만, 명확히 왜 이렇게했지? 라는 생각이 계속 듭니다. 어떤 점에서 장점이 있다고 이해하면 될까요 ?
안녕하세요, Langchain RAG 강의 잘 듣고 있습니다. 데이터셋이 방대해질 경우 분명 시간이 지나면서 이제는 사용되지 않은 정보 구식의 정보라고 해야할까요? 그런 것들이 생기는데, 그런 데이터들은 어떻게 필터가 되는지 궁금합니다. 예) Python 2.xx 버전 문서 저장 Python 3.xx 버전으로 신규 업데이트 분명 검색을 할 때 동일하게 겹치는 내용이라면 1번과 2번 모두 가져올 것 같은데요! 이 경우 최신 버전으로만 불러올 수 있게 가능한가요??
강사님 안녕하세요:) 사소하지만 아무리 검색해도 안나와서 질문드립니다ㅠ 현재 편집기로 cursor를 사용중인데요! ('한시간으로 끝내는 LangChain 기본기' 강의 따라하면서 cursor를 이번에 사용하게 되었습니다) 강의 동영상에서는 함수 위에 마우스 오버하면 argument 옵션들이 쫙 보여서 어떤 인자를 넣어야할지 확인하기 쉬운데요. 제 환경에서는 모두 (function) : Any 로만 떠서 확인이 안되네요ㅠ cursor라서 안보이는걸가요? argument 리스트를 확인할 수 있는 옵션 아시면 알려주시면 감사하겠습니다!
강병진 강사님 안녕하세요:) 하나하나 떠먹여주시는 강의 너무나 잘 듣고 있습니다! 저도 하나하나 실습하면서 내용 소화시키는 중인데요ㅎㅎ 3.1.3 실습을 하는 중에, ollama가 그 사이에 업데이트 되어서 공식 문서를 보면 더이상 langchain_community를 import 하지 않더라구요! 화면에 보여주신 아래 링크 보면서 자체적으로 langchain-ollama 설치하고, langchain_ollama의 ChatOllama import해서 실습 따라해보았습니다. https://python.langchain.com/docs/integrations/chat/ollama/ 업데이트된 내용 모르실까봐 공유 드려보았습니다! (사소하지만 ipynb 파일 이름에서 ChatOllana라고 오타가 있더라구요~ 이것도 도움될까봐 일단 공유 드려보아요!) https://github.com/jasonkang14/inflearn-rag-notebook/blob/main/3.1.3%20%ED%99%98%EA%B2%BD%20%EC%84%A4%EC%A0%95%EA%B3%BC%20LangChain%EC%9D%98%20ChatOllana%EB%A5%BC%20%ED%99%9C%EC%9A%A9%ED%95%9C%20%EA%B2%80%EC%A6%9D.ipynb 좋은 강의 만들어주셔서 다시 한번 감사합니다. 🙂
안녕하세요, 강의를 듣고 있는 수강생입니다. 퀄리티 있는 강의 감사드립니다. 다름이 아니라, 저는 윈도우 환경에서 VisualStudio에서 소스를 돌리고 있고 소스를 실행하는 실행환경은 venv 가상환경 python 3.10.11 버전으로 구성을 했습니다. 다른 소스는 문제 없이 수행되나 Chroma.from_documents 수행시에 kernel 이 중단되는 문제가 있습니다. C기반의 라이브러리 충돌이나 시스템 메모리 충돌일 가능성이 높다고 하여 python 버전도 바꿔보고, 깔려 있는 라이브러리들의 버전도 바꿔보고 C기반 라이브러리도 다시 설치해보고 했으나 여전히 저 과정에서 죽습니다. documents 사이즈를 한문장 처럼 작은 단위로 줄여서 시도도 해봤으나 이것도 저한테는 효과가 없네요.. 같은 데이터셋으로 FAISS에 저장하는 건 제 가상환경에서도 성공하는데... Chroma만 되지 않습니다.. 혹시 어떻게 하면 좋을지 조언 얻을 수 있을까요?
수업 너무 잘들었습니다. 제가 강사님 수업을 듣고, 사용자 질의에 따라 sql 쿼리를 반환하는 모델을 만들어보고 있는데요, 모델은 허깅페이스에서 "LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct" 이용해서 만들고 있는데, 요청에 따라 적절히 sql 쿼리를 만들려면, 일단 모델이 1) db 테이블 구조를 명확히 알아야하고, 2) 질의를 db 테이블 용어(ex: '카톡'을 얘기했을때, sns_type =1 로 대체)로 대체하는 dictionary가 잘되어야 할것같은데, 현재는 프롬프트에 1) few_shot 예시와, system 프롬프트에 2) 테이블 구조에 대한 설명, sql 작성 규칙 등을 넣어서 결과를 받고 있습니다. (system 프롬프트는 langChain hub에서 rlm/text-to-sql 을 참조 했습니다) 예시와 유사하거나 예시에서 약간 변화를 준 질의에 대해서는 잘 답변을 하고있는데, 조금만 벗어나면 잘못된 답을 줍니다. 예를들면 userid 칼럼인데 user_id 로 적는다던지, 말을 조금만 바꿔도 못알아 듣는다던지, 심지어 dictionary_chain에 프롬프트로 잡아줘도 대체를 못하는 경우도 있습니다. 어떻게 모델이 질문에 유연하게 이해하고 적절히 답을 하도록 만들어야하는지 방향을 잘모르겠습니다. 조언 부탁드립니다ㅠ 🙏 (그리고 벡터스토어를 효용성을 못찾고 이용하지 않고 있는데 이 모델에서 벡터 스토어를 잘 이용할수 있는 방법이 있을까요?)
안녕하세요. 강의 듣던 도중에 궁금한 점이 있어 질문드립니다! 현재 zerox로 gpt-4o-mini를 이용하여 pdf -> md로 변환하는 과정에서 Rate limit 에러가 나서 임의로 concurrency = 2로 변경하여 진행하였습니다. (속도는 36분 걸렸습니다.) 이때 input token이 강사님보다 한자리수 많이 나오는데, 제가 건드린 게 concurrency 밖에 없어서요. concurrency 값과 input token 사이에 어떤 연관관계가 있는지 아실까하여 질문드립니다...!!! 저는 병렬처리에 관한 값이라고 생각하고 숫자를 줄여 rate를 내린다는 생각으로 concurrency 값을 조정했는데(프롬프트는 동일하고 병렬적으로 수행하는 프로세스의 수만 줄어든다고 생각했습니다.), 뭔가 프롬프트의 양이 늘어난 걸 보면 한번에 변환 요청하는 페이지수? 같기도 하다는 생각이 듭니다...