인프런 커뮤니티 질문&답변

tk.lee님의 프로필 이미지

작성한 질문수

Azure Native로 나만의 GPT 만들기

나만의 Azure OpenAI service (gpt-4o) 구성하기

해결된 질문

24.08.26 17:38 작성

·

64

1

조금씩이지만 열심히 따라서 구현을 해 보려고 하지만 모르는게 너무 많아 조금은 힘드네요

그래도 강의 내용이 스텝 바이 스텝으로 상세해 아주 큰 도움이 됩니다

 

저희 중요 업무는 고객 요구 사항들 (텍스트/ 이미지)이 기록되어 있는 문서를 참조로

현재 개발된 디자인이 모든 요구 사항들을 다 잘 지켜서 개발이 완료된 건지를 체크하는 일입니다

기존에 일일히 하나하나 체크를 하다 보니 시간도 너무 오래 걸리고

일부 경험 많은 엔지니어의 경우 기존 경험에 의존해 체크가 누락되는 경우도 발생이 되고 있습니다

 

이에 고객 요구 사항들을 AI (gpt-4o)에게 학습시키고 완료된 디자인 문서를 프로프팅 창에 입력해

자동으로 미지원 항목을 체크해 알려주는 기능을 만드는 것이 목표입니다

 

이를 위해 프롬프트 창에 디자인 문서 (텍스트/ 파워포인트/ PDF/ JPG 등) 멀티모달 프롬프팅이 되어야 디자이너 스스로 자기가 만든 디자인 파일의 셀프 체크가 가능하기에 gpt-4o를 선택해서 구현을 할려고 합니다

여기서 중요한건 비교를 해야 하는 고객 요구 사항을 어떻게 gpt-4o에게 학습시키는지에 대해 잘 몰라

난감해서 문의 드립니다

 

가장 효과적인 학습 방법에 대한 조언을 주실 수 있으실지요?

사내 전용 우리 회사만의 GPT라면 비교 자료도 나만의 자료가 되는게 필요해서 문의 드립니다

답변 부탁 드리겠습니다

감사합니다

 

답변 2

0

정동형님의 프로필 이미지
정동형
지식공유자

2024. 08. 26. 18:58

두 가지 방법이 있을 듯 합니다.

 

Fine-Tuning 및 LLM 학습을 통해 해결한다.

이 경우 난이도도 높고, 학습 데이터 셋도 필요하고.. 학습을 시키더라도 학습이 잘 되었는지 검증이 필요합니다. 가능할지언정, 현실적으로 개인 프로젝트 레벨에서 진행하기엔 무리가 있다고 생각됩니다.

 

프롬프트 엔지니어링을 통해 해결한다.

"OpenAI 연동하기" 강의의 14분쯤에 나오는 내용을 참조해주시면 될 듯 합니다. 해당 강의에는 "질문에 대해 한국어로 대답해" 라고 시스템 프롬프팅이 되어있지만, 질문해주신 내용을 수행하기 위해서는 다음과 같이 프롬프트를 적용해볼 수 있을 듯 합니다.

전달받은 이미지 파일에 대해 다음 요구 조건이 만족되었는지 확인하고, 만족되지 않은 요구사항을 출력 해.

1. 이미지의 해상도가 ~~~x~~~인가?
2. 페이지 내 설명이 들어가있는가?
3. ~~~~

등으로 시스템 프롬프트를 세팅하시고, 프롬프트 엔지니어링을 통해 말씀하신 내용을 수행하는게 현실적인 대안이라 생각합니다. 이 프롬프트 엔지니어링에는 많은 튜토리얼들이 존재하고, 흔히 "GPT 제대로 다루기" 같은 강의들이 이 프롬프트 엔지니어링을 잘하기 위한 강의들입니다. 영어로 질문한다거나, 목적을 맨 마지막에 말한다거나, 더 상세하게 말한다거나.. 이런 프롬프트 엔지니어링을 잘하기 위한 여러 팁들이 존재하니 따로 찾아보시면 좋을 것 같습니다.

 

디자인 파일을 JPG혹은 PNG등의 사진 파일로 변환한 뒤, 해당 이미지 파일을 GPT-4o에게 읽게 하는게 현실적인 대안이라 생각되는데, 현재 강의에서는 파일 입출력을 다루지 않아 해당 내용에 대해서는 개인적으로 학습하셔야합니다 ㅠㅠ; (후속강의를 준비중이나 아직 출시까지 시간이 많이 남았습니다..)

또한, 강의는 "나만의 GPT 만들기" 에 초점이 맞춰져있는게 아닌 "Azure 학습하기"에 초점이 좀 더 맞춰져있으므로 Azure를 학습하기 위해 일부러 좀 더 복잡한 아키텍처가 적용되어있습니다.

말씀하신 내용만 구축한다면, Azure Function을 3개로 구축하는게 아닌 하나로 구축하는게 좋아보입니다.

 

하지만, 어떠한 방법으로 해결하든 Hallucination 문제는 무조건 발생합니다. Hallucation(환각) 문제란 존재하지 않는 정보를 질문했을 때 GPT가 추측해서 답변하는 문제입니다. 따라서 100% 자동화는 어려울 수 있으며, 최종적으로 사람의 눈으로 확인은 필요합니다.

또한, 대부분의 GPT에 해당되는 내용인데, 일단 질문을 해봐야 퀄리티를 확인할 수 있습니다.

요구사항이 너무 복잡해서 GPT가 이해하기 어려울 수도 있고, 혹은 GPT-4o의 이미지 이해율이 생각보다 떨어질수도 있습니다.

 

결론적으로.. 요구사항이 굉장히 복잡하여 시스템 프롬프트에 다 담아내지 못할 수 있으나, 요구사항 중 놓치기 쉬운 요구사항 혹은 중요한 요구사항만 수동으로 추출하여 시스템 프롬프트에 담아낸 뒤, 100% 자동화보다는 업무 반자동화 툴 정도로 사용하는게 좋을 것 같습니다.

0

인프런 AI 인턴님의 프로필 이미지

2024. 08. 26. 17:41

안녕하세요, 인프런 AI 인턴입니다. tk.lee 님의 질문에 대해 도움이 될만한 정보를 찾았습니다.

먼저, tk.lee 님께서는 고객 요구 사항들을 참조하여 개발된 디자인이 요구 사항을 준수하고 있는지 확인하는 AI 기능 구현에 관심이 있으신 것으로 이해됩니다. 구체적으로, 여러 형태의 문서(텍스트, 파워포인트, PDF, JPG 등)를 프롬프트에 입력하여 GPT-4o를 사용해 자동으로 미지원 항목을 체크하고자 하시는 거군요.

이러한 목표를 달성하기 위해, 고객 요구 사항을 GPT-4o에 학습시키는 방법에 대한 답변이 필요하신 것 같습니다. 현재 제공된 정보에서 직접적으로 같은 상황을 해결하는 구체적인 해결 방안을 찾지는 못했습니다. 그러나, 이와 유사한 맥락에서 조언을 줄 수 있는 일부 정보를 공유드리고자 합니다.

SLM을 이용한 사내 전용 AI 질문에서, ChatGPT와 유사한 LLM(Large Language Models) 대신 SLM(Smaller Language Models)을 이용해서 한정된 분야에 전문화되고 사내 전용으로 보안을 확보한 상태에서 개발할 수 있는 방법에 대해 문의한 상황이 있었습니다. 여기에서는 Hugging Face와 같은 오픈소스 사이트에서 여러 LLM 및 SLM이 공개되어 있는 것과 관련 문서를 참조하는 방법에 대한 안내가 있었습니다.

질문자님이 구현하고자 하시는 기능과 직접적으로 일치하는 상황은 아니지만, 이 경우에도 유사하게 고객 요구 사항과 비교 대상 문서들을 모델이 학습할 수 있는 데이터 형태로 전처리하고, 적절한 모델(여기서는 GPT-4o)과의 상호작용을 통해 요구하는 바를 충족할 수 있는 방법을 모색할 수 있을 것 같습니다.

또한, SLM 사용에 대한 고려사항과 함께, Azure OpenAI, 특히 Platform OpenAI API 사용 시, 사용자의 데이터가 모델 학습에 사용되지 않는다는 점, Azure OpenAI를 사용할 때의 데이터 학습 및 개선에 관한 정보는 해당 질문-답변에서 확인 가능하실 겁니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

정동형님의 프로필 이미지
정동형
지식공유자

2024. 08. 26. 18:21

엇.. 뭔가 제 지난 답변을 기준으로 GPT가 답변해준 듯 합니다 ㅎㅎ; 답변 준비중입니다 ㅠㅠ

tk.lee님의 프로필 이미지
tk.lee
질문자

2024. 08. 26. 18:34

네 선생님이 답변하신게 아닌 것 같다라는 느낌적인 느낌을 받았습니다 ㅎ

덕분에 기본적인 구성은 어느정도 구성을 했습니다만

Azure OpenAI에 고객 요구 사항 (약 500개 파일로 항목 별로 구분되어 있습니다) 데이터 학습에서 딱 막혔습니다

Azure OpenAI service에 효과적인 방법이 있을 듯 한데 개발 업무가 거의 처음이라 우왕좌왕 중입니다

감사합니다

tk.lee님의 프로필 이미지

작성한 질문수

질문하기