inflearn logo
강의

Khóa học

Chia sẻ kiến thức

Hội chia sẻ kinh nghiệm ứng dụng LLM

Hỏi: Tôi muốn biết cách tạo chatbot nội bộ. (mô hình sử dụng, máy chủ GPU)

사내망 전용 챗봇 개발

75

kjh897819922344

1 câu hỏi đã được viết

0

안녕하세요 현재 직원수가 400명 정도 되는 중견 기업에서 IT 부서에 근무하고 있는 직원 입니다.

현재 python 으로 streamlit 이용해서 사내망 전용 챗봇을 개발 중입니다.ollama 를 이용 해서 일부 개발 진행 중인데 답변도 정확하지 않는 부분이 많습니다. 어떻게 하면 좋을까요 그리고 사내망 전용 챗봇 개발 시 참고 해야될 부분이 있으면 알려주시면 감사하겠습니다.

llm rag

Câu trả lời 1

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다. 김진홍님.

사내망 전용 챗봇 개발 시 고려해야 할 몇 가지 중요한 사항을 안내드립니다.

  1. 데이터 품질과 학습: 챗봇의 정확도를 높이기 위해서는 고품질의 데이터가 필요합니다. 사내에서 자주 묻는 질문과 그에 대한 답변을 수집하여 데이터셋을 강화하는 것이 중요합니다. 이를 위해서는 IT 부서가 주도적으로 사내 데이터를 정제하고, 학습 데이터셋으로서 활용할 수 있도록 준비하는 것이 필요합니다.

  2. 모델 선택: 다양한 자연어 처리(NLP) 모델이 있으며, 각 모델은 특정한 장점과 한계를 가지고 있습니다. 주어진 목적에 맞는 최적의 모델을 선택하는 것이 중요합니다. GPT-3, BERT, 혹은 최신 LLM(대형 언어 모델) 등 사용 목적에 맞는 모델을 고려해 보세요.

  3. 보안: 사내망에서 운영되는 챗봇인 만큼 데이터 보안에 특히 신경 써야 합니다. 민감한 정보가 외부로 유출되지 않도록 데이터 암호화 및 접근 권한 제어를 엄격히 관리해야 합니다.

  4. 지속적인 피드백 루프: 챗봇의 성능을 개선하기 위해서는 사용자로부터 지속적으로 피드백을 받을 수 있는 메커니즘이 필요합니다. 피드백을 기반으로 모델을 개선하면서, 사내에서 활용되는 다양한 시나리오를 더 잘 처리할 수 있도록 발전시켜 나가야 합니다.

이에 더해 직무 관련 토론 및 개발 팁을 얻기 위해 다음 URL에서 다양한 인사이트를 찾을 수 있습니다: 챗봇 개발 관련 토론

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

온톨로지 활용

0

3

1

질문있는데요.. vLLM은 말씀하신 사양에 적용이되나요?

0

15

2

제공해주신 레포가 Windows 환경에 너무 비친화적입니다.

0

14

2

ollama설치해서 llama로 돌려도 되나요?

0

27

2

수업 잘 들었습니다.

2

28

2

라이브 수강 어려움

0

37

3

섹션22 퀴즈 질문

0

30

1

도커 설치 관련 WSL 설치 에러 관련

0

33

2

제미니 구독 관련

0

22

2

챗봇 기능 구체화 (RAG)

0

29

2

마크다운을 텍스트 파일로 변환하기

0

34

1

실습 안떠요

0

30

0

18강 smithery 를 이용한 mcp 실습(업데이트 요청)

0

23

1

guardrails 부분도 현재버전과 약간 다릅니다.

0

24

1

smithery ai 언제 업데이트 되나요?

0

21

1

무료할당량 사용하는데 문제가 생겼습니다.

0

27

1

섹션2-11 내용중 tool_call

0

30

2

max token을 제한하는게 왜 성능을 개선하게 되는걸까요?

0

51

2

n8n Email Trigger(IMAP) 네이버 메일 연동 시 Published 이후 트리거 미동작 문제

0

56

2

20강에서 파인튜닝 때 사용한 데이터가 없어졌습니다. LoRA Trainer 매개변수도 라이브러리 업그레이드로 수정되었습니다.

0

24

1

docker 설치관련 문의

0

56

2

gradio 를 통한 챗봇 인터페이스 실습이 진행되지 않습니다.

0

50

1

pc에서는 괜찮은데 탭으로 들으니 화면확대시 화면이 까맙니다

0

24

1

모든 자료 다운로드 누를때마다 똑같은 excel파일이 다운로드 받아짐. 노션 주소 공유되나요?

0

35

2