문서에서 텍스트를 추출해서 벡터 DB를 구축한 뒤 검색하는 RAG 시스템을 공부하고 있습니다. 지금 고민은 표 같은 2차원 데이터를 LLM이 인식하도록 구현하는 부분입니다. 문서에 포함된 표를 JSON형태로 만들어 모델의 입력으로 집어 넣어야 한다고 알고 있습니다만, 이 변환 방법에 대해 많은 고민을 하는 중입니다. OCR을 사용하는 것도 고려중입니다만, OCR을 이용해 가능한 기능이 텍스트 추출까지인지, 인식한 텍스트를 특정 양식으로 변환까지 가능한 건지 이 부분도 궁금합니다. (단순 텍스트 추출까지만 가능하다고 하면 리소스 최소화 측면에서 Computer Vision으로 극복하고 NLP나 RAG 구현에 집중하고 싶습니다.) 혹시 이 부분을 해결하신 경험이 있다면 많은 조언 부탁드립니다.
안녕하세요, 현업에서는 PHP, Java를 주로 다루고 있는 개발자입니다. 요 근래 LLM, RAG, LangChain 등 지능형 챗봇이라던지 AI Agent를 개발하기 위한 기술들에 대한 관심이 있었지만 이쪽 분야에 지식이 없다보니, 이것저것 알아보던 중 반가운 소식을 맞이하게 되었습니다. 아무래도 AI쪽과 관련된 개발은 Python을 주로 다루는 것 같더라구요. 그래서 현재 업무 외 시간에 Python을 학습중에 있는데, 어느정도 레벨이 되어야 이번에 출판될 책을 구매 후 읽었을 때 이해도 수월하고, 손 쉽게 따라서 코딩할 수 있을지 궁금합니다. (저의 목표 중 하나는 PHP, Java로 개발된 서비스에 Python으로 개발한 지능형 챗봇(Ex. 유저의 질문의 맥락을 파악하여 유사한 홈페이지 컨텐츠 찾아주는 봇 등...)을 연동시키는데 있습니다.) 그리고 이런 분야는 데이터분석, 빅데이터 영역과는 별개의 영역인지도 궁금합니다! 지식이 얕아 질문의 내용이 다소 미흡하더라도 너그러운 양해 부탁드립니다. [제이쓴님 출판 공지...] https://inf.run/E4Ea7
