LLM의 표 인식

문서에서 텍스트를 추출해서 벡터 DB를 구축한 뒤 검색하는 RAG 시스템을 공부하고 있습니다.

지금 고민은 표 같은 2차원 데이터를 LLM이 인식하도록 구현하는 부분입니다.

문서에 포함된 표를 JSON형태로 만들어 모델의 입력으로 집어 넣어야 한다고 알고 있습니다만,

이 변환 방법에 대해 많은 고민을 하는 중입니다.

OCR을 사용하는 것도 고려중입니다만,

OCR을 이용해 가능한 기능이 텍스트 추출까지인지, 인식한 텍스트를 특정 양식으로 변환까지 가능한 건지 이 부분도 궁금합니다.

(단순 텍스트 추출까지만 가능하다고 하면 리소스 최소화 측면에서 Computer Vision으로 극복하고 NLP나 RAG 구현에 집중하고 싶습니다.)

혹시 이 부분을 해결하신 경험이 있다면 많은 조언 부탁드립니다.