pdf화일을 임베딩하고 싶어요

Question

현재 국가전산망 화재로 소득세법을 '국가법령센터'가 장애중입니다. 대체사이트인 (사법정보공개포탈)에서는 PDF와 TXT만 다운로드가 가능합니다. 대부분 pdf화일 문서가 많은데, word말고 pdf문서를 임베딩하는 방법/강의가 있었으면 합니다. 추가로, 문서내 텍스트외에 도형이나 표같은경우는 어떻게 임베딩을 하면 좋을까요?

제이쓴 · Answer

안녕하세요! 좋은 질문 감사합니다. pdf를 임베딩 하는 방법은 저의 다른 강의에 소개되어 있는데요, PDF 임베딩만을 위해 수강하기에는 무리가 있을 것 같아 소스코드를 전달 드립니다. 아래 두가지 파일을 참고하셔서 진행하시면 됩니다. 특정 경로에 처리하고자하는 모든 pdf파일들을 몰아넣고 임베딩 하는 예시입니다. https://github.com/jasonkang14/inflearn-agent-use-cases-lecture/blob/main/14.1%20%ED%8C%8C%EC%9D%B4%EC%8D%AC%EC%9D%84%20%ED%99%9C%EC%9A%A9%ED%95%9C%20%EB%8D%B0%EC%9D%B4%ED%84%B0%20%EC%A0%84%EC%B2%98%EB%A6%AC.ipynb https://github.com/jasonkang14/inflearn-agent-use-cases-lecture/blob/main/14.2%20%ED%8C%8C%EC%9D%B4%EC%8D%AC%EC%9D%84%20%ED%99%9C%EC%9A%A9%ED%95%9C%20%EB%8D%B0%EC%9D%B4%ED%84%B0%20%EC%A0%84%EC%B2%98%EB%A6%AC.ipynb 도형의 경우에는 LLM으로 해당 도형을 설명하는 내용을 임베딩하고, 도형은 S3와 같은 스토리지에 별도로 저장한 후에, 도형의 설명이 유사도 검색에 걸리면 S3의 경로에있는 이미지를 사용자에게 보여줄 수 있습니다. 표도 마찬가지로 표의 내용을 요약해서 임베딩에 걸리게되면, 해당 표를 사용자에게 보여주는 것이 현재 구현할 수 있는 가장 편리한 방법인 것 같습니다.

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. cocopep님. PDF 문서를 임베딩하고 싶으신 경우, 다음과 같은 방법을 고려해볼 수 있습니다: 1. PDF 문서 임베딩 PDF 문서는 일반적인 텍스트 파일과는 다른 구조를 가지고 있어 이를 임베딩하려면 몇 가지의 전처리 작업이 필요합니다. LangChain 등의 라이브러리를 활용해 PDF 파일에서 텍스트를 추출하고 이를 임베딩할 수 있습니다. PDF to Text 변환 : 라이브러리 PyPDF2 또는 pdfminer.six 를 사용하여 PDF 문서의 텍스트를 추출합니다. 텍스트 임베딩 : 추출된 텍스트는 기본적인 NLP 임베딩 기법을 사용해 벡터화할 수 있습니다. 예를 들어, Sentence Transformers 라이브러리를 활용하여 문장 단위로 임베딩할 수 있습니다. 2. 도형 및 표 처리 PDF 안의 도형 및 표 데이터를 처리하는 방법은 기본 텍스트와 다르며, 이미지나 포맷을 별도로 처리해야 합니다. OCR 활용 : 문서 내의 도형 및 표를 이미지로 처리한 후에, Tesseract와 같은 OCR 도구를 통해 텍스트를 추출할 수 있습니다. 표 처리 : 표의 경우, 구조를 변환하여 CSV 등으로 변환 후 활용할 수 있습니다. 이 과정에서 도형 및 표 데이터를 직접 임베딩하기보다는 관련 정보를 추출하여 텍스트 형태로 변환하고, 이를 임베딩하는 것이 일반적입니다. 유사한 질문과 답변을 참고할 수 있는 링크입니다: - pdf loader 관련 해결 방법 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.