인프런 커뮤니티 질문&답변

안녕하세요! 좋은 질문 감사합니다. 저는 토큰 이슈를 겪어본적은 없어서 concurrency옵션을 사용해보진 않았는데요. 문서상으로 봤을 때는 concurrency가 인풋 토큰에 영향을 미치지는 않았을 것 같아요

제가 추측하는 두가지 가능성은

1. 만약 문서를 새로 다운로드 받으신거라면 강의 촬영 시점과 비교했을 때 문서 자체가 수정되었을 가능성이 있고

2. gpt-4o, gpt-4o-mini의 경우 모델 이름 뒤에 날짜를 사용하지 않으면 포인터가 변경되는데요, 강의를 촬영한 시점의 포인터와 the님께서 시도하신 시점의 포인터가 다르다면 pdf를 인식하는 방식이 달라져서 인풋 토큰이 달라질 수 있을 것 같습니다

안녕하세요, 인프런 AI 인턴입니다. yjee0215님께서 제기한 질문은 PDF에서 마크다운으로 변환하는 과정에서 concurrency 설정이 input token에 어떤 영향을 미칠 수 있는지에 관한 것입니다.

Concurrency와 Input Token의 연관성

1. Concurrency 개념:

   • Concurrency는 동시에 수행할 수 있는 작업의 수를 나타냅니다. 여러 개의 요청이 동시에 처리되는 과정에서, 병렬로 처리되는 작업의 수를 조절합니다.
     
   • concurrency 값을 줄이면 동시에 요청할 수 있는 작업 수가 줄어들지만, 작업이 더 신중하게 나누어져 처리될 수 있습니다.
     

2. Input Token 증가 요인:

   • 일반적으로 concurrency 설정 자체가 input token 수에 직접적인 영향을 미치지는 않습니다. 하지만, 작업을 나누어 처리하는 방식에 따라서 각 요청마다 필요로 하는 context나 프롬프트의 크기가 달라질 수 있습니다.
     
   • 페이지 수나 각 페이지의 내용이 중요한 요소가 될 수 있습니다. 분할된 처리 방식으로 인해, 일부 페이지의 컨텍스트가 두 번 이상 포함되거나 불필요한 데이터가 포함될 수 있습니다.
     

3. 해결책:

   • PDF 변환 시 연속적 컨텍스트 범위 내에서 효율적으로 페이지를 관리하셔야 합니다. 변환이 필요 이상으로 작은 단위로 나뉘어지고 있다면, 이 과정에서 추가적인 토큰 사용이 발생할 수 있습니다.
     
   • 변환 과정의 정확성과 효율성을 높이기 위해 구체적인 변환 전략이나 OCR(광학적 문자 인식) 도구의 설정을 재점검하는 것이 좋습니다.
     

참고 게시물

• pdf 를 md를 바꾸는 과정 질문있습니다.: PDF 변환 과정에서 발생할 수 있는 일반적인 문제와 해결책을 다루고 있습니다. 이와 유사한 내용에서 추가적인 인사이트를 얻을 수 있습니다.
  

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.