JSONLoader 관련 질문있습니다!
안녕하세요!
강의를 듣고 docx를 가지고 RAG 설정하는 걸 배우고나서
JSON파일을 가지고 RAG을 설정해보려고 하는데요,
이렇게 json을 로드하면 한글이 잘 출력이 됩니다.
하지만, langchain의 JSONLoader를 이용해서 load and split을 하려고 하면
해당 부분이 인코딩 되어 출력됩니다.
공식문서에서 해결방법을 찾지 못했는데,
혹시 강사님께서 해당 문제를 해결하는 방법에 대해서 알고 있으실까요?
Câu trả lời 2
1
안녕하세요! JSONLoader는 사용해본 적 없습니다. 문서를 보니 JSONLoader 가 jq 를 사용하는데 jq 문서를 보니 jq 가 디폴트로 저렇게 동작하는 것 같네요 ( --ascii-output 섹션을 보시면 됩니다)
LLM이 답변을 생성할 때는 유니코드로 넘겨줘도 정상적으로 답변을 생성해서, 저대로 그냥 LLM에 넘겨줘도 서비스 운영에는 지장은 없습니다.
그런데 원본의 출처를 꼭 보여줘야하는 경우에는 랭체인의 로더를 쓰려면 json.load() 로 제대로 불려오는 텍스트를 .md 나 .txt 로 변환하시고 TextLoader 나 BlobLoader 같은걸 사용하셔야 할 것 같습니다
소득세법 docx 파일 공유 요청건
0
65
1
EXAONE 모델 불러오기 안되는 문제
0
89
2
[5.1 강의] LLM Evaluator에 Upstage를 사용하는 방법 + 변경된 Langsmith Docs를 참고하여 구현하는 방법 공유
0
107
2
강의 9에 QA관련된 import가 되지 않네요
0
111
2
🚨 python3.14 를 쓰고 계시면 chroma 에서 ConfigError 가 발생합니다.
1
200
1
강의와 책 관련 질문
0
87
1
문서 전처리 고민
0
111
1
RAG 배포 질문드립니다
0
95
1
강의 내용과는 별개로 궁금한 점이 있습니다
0
89
2
폐쇄망 챗봇 모델
0
94
1
AI agent 쿠폰
0
95
2
저는 왜 그대로 했는데 답변이 틀리게 나오는지 모르겠네요
0
103
2
langchain howto/sequence는 지금 doc 공식 사이트 어디서 확인할 수 있나요?
1
95
1
new_question에 대한 답 출력
0
75
2
랭체인 라이브러리
0
148
2
[LangGraph를 활용한 AI Agent 개발] 쿠폰 유효기간
0
107
1
postgresql의 pgvector 벡터는 어떤가요?
0
346
2
doc관련
0
128
2
load_dotenv() 실행 False
0
96
1
RAG 답변 개선을 위한 정답지 활용 구조 검토 요청
0
119
2
3.2 from langchain.chains ~ 에서 모듈을 찾지 못할 때.
1
406
2
강의 완료 오류
0
89
1
hub.pull 이슈
0
131
2
[3.3 강의] Upstage를 사용한 RAG 구현 성공기 공유
1
150
1