JSONLoader 관련 질문있습니다!
안녕하세요!
강의를 듣고 docx를 가지고 RAG 설정하는 걸 배우고나서
JSON파일을 가지고 RAG을 설정해보려고 하는데요,
이렇게 json을 로드하면 한글이 잘 출력이 됩니다.
하지만, langchain의 JSONLoader를 이용해서 load and split을 하려고 하면
해당 부분이 인코딩 되어 출력됩니다.
공식문서에서 해결방법을 찾지 못했는데,
혹시 강사님께서 해당 문제를 해결하는 방법에 대해서 알고 있으실까요?
Answer 2
1
안녕하세요! JSONLoader는 사용해본 적 없습니다. 문서를 보니 JSONLoader 가 jq 를 사용하는데 jq 문서를 보니 jq 가 디폴트로 저렇게 동작하는 것 같네요 ( --ascii-output 섹션을 보시면 됩니다)
LLM이 답변을 생성할 때는 유니코드로 넘겨줘도 정상적으로 답변을 생성해서, 저대로 그냥 LLM에 넘겨줘도 서비스 운영에는 지장은 없습니다.
그런데 원본의 출처를 꼭 보여줘야하는 경우에는 랭체인의 로더를 쓰려면 json.load() 로 제대로 불려오는 텍스트를 .md 나 .txt 로 변환하시고 TextLoader 나 BlobLoader 같은걸 사용하셔야 할 것 같습니다
소득세법 docx 파일 공유 요청건
0
57
1
EXAONE 모델 불러오기 안되는 문제
0
82
2
[5.1 강의] LLM Evaluator에 Upstage를 사용하는 방법 + 변경된 Langsmith Docs를 참고하여 구현하는 방법 공유
0
99
2
강의 9에 QA관련된 import가 되지 않네요
0
106
2
🚨 python3.14 를 쓰고 계시면 chroma 에서 ConfigError 가 발생합니다.
1
191
1
강의와 책 관련 질문
0
84
1
문서 전처리 고민
0
106
1
RAG 배포 질문드립니다
0
92
1
강의 내용과는 별개로 궁금한 점이 있습니다
0
86
2
폐쇄망 챗봇 모델
0
87
1
AI agent 쿠폰
0
93
2
저는 왜 그대로 했는데 답변이 틀리게 나오는지 모르겠네요
0
98
2
langchain howto/sequence는 지금 doc 공식 사이트 어디서 확인할 수 있나요?
1
90
1
new_question에 대한 답 출력
0
71
2
랭체인 라이브러리
0
143
2
[LangGraph를 활용한 AI Agent 개발] 쿠폰 유효기간
0
104
1
postgresql의 pgvector 벡터는 어떤가요?
0
334
2
doc관련
0
126
2
load_dotenv() 실행 False
0
93
1
RAG 답변 개선을 위한 정답지 활용 구조 검토 요청
0
117
2
3.2 from langchain.chains ~ 에서 모듈을 찾지 못할 때.
1
395
2
강의 완료 오류
0
87
1
hub.pull 이슈
0
128
2
[3.3 강의] Upstage를 사용한 RAG 구현 성공기 공유
1
147
1