게시글
질문&답변
2024.04.28
colab 환경에서 Autoencoder 구현하였으나 결과가 보이지 않는 분들 참고사항
안녕하세요~. 반갑습니다. colab에서 진행하실 경우 말씀해주신대로 해당 부분을 주석처리후에 진행하시면 됩니다^^. 좋은 하루되세요. 감사합니다.
- 0
- 1
- 30
질문&답변
2024.04.16
KorQuad 데이터셋에서 context
안녕하세요~. 반갑습니다. KorQuad 데이터셋을 Llama2 모델에 활용하기 위해서 context는 제거를 하시고 단순하게 Q와 A로 구성된 데이터셋을 구성하였는데 context를 유지해서 학습하는 방법은 없어서 적용하는 건가요? 아니면 LLM의 학습에는 적합하지 않아서 사용하지 않는건가요? -> context를 포함해서 학습을 진행하고 싶으시다면 context를 포함해서 데이터셋을 구성한뒤에 파인튜닝을 진행하시면 됩니다. LLM의 학습에 적합하지 않아서 사용하지 않은 것은 아닙니다. GPT등의 모델을 파인튜닝 한다고 했을때도 context는 제거하는게 맞는 건가요?? -> context를 제거하느냐 제거하지않느냐는 최종적으로 학습이 끝난 LLM 모델을 사용할때 인풋 프롬프트가 어떤식으로 사용되느냐에 따라서 결정하시면 됩니다. 파인튜닝이 끝난 모델을 최종적으로 사용하는 시나리오에서 인풋 프롬프트에 context까지 같이 받아서 추론을 진행하는 상황을 가정하면 context를 포함해서 학습을 진행하시면 되고, 파인튜닝이 끝난 모델을 사용하는 시나리오에서 context를 제외하고 question만 받아서 추론을 진행하는 상황을 가정하면 context를 제거해서 학습을 진행하시면 됩니다. 좋은 하루되세요. 감사합니다.
- 0
- 1
- 54
질문&답변
2024.04.16
안녕하세요 P-tuning 관련 질문있습니다.
안녕하세요~. 반갑습니다. 먼저 강의를 잘 듣고 계시다니 기쁘네요^^. 먼저 해당 기법이 적용된 모델로 추론시에 질문이 모델에 들어가면 모델에서 질문을 임의로 변경하여 추론한다고 생각하면 되겠죠?? -> 질문에 [PROMPT]라는 Pseudo Token 추가 한뒤에 추론을 진행한다고 생각하시면 됩니다. 그리고 프롬프트 인코더(LSTM)의 어떤값을 임베딩 벡터로 사용하는 건가요?? 그림을 봤을땐 LSTM의 입력과 출력값은 독립적이고 히든레이어의 출력값이 임베딩 벡터로 사용되는 것으로 보이는데 맞나요? -> LSTM의 output layer의 출력값을 임베딩 벡터로 사용하게 됩니다. 좋은 하루되세요. 감사합니다.
- 0
- 1
- 40
질문&답변
2024.04.16
GPT3의 퓨샷러닝과 파인튜닝에 대해 질문있습니다.
안녕하세요~. 반갑습니다. 먼저 강의를 잘 듣고 계시다니 기쁘네요^^. 일반적으로 GPT 3.5를 그냥 사용한다고 할때, 퓨샷러닝이 학습때 사용되는 기법이 아니라고 이해하였는데 그러면 제가 GPT에게 "영어로 번역해줘"라고 타이핑하면 제 눈에는 안보이지만 GPT 자체적으로 예시를 몇가 지 만들고 해당 내용을 바탕으로 추론 결과를 출력한다고 이해하는게 맞을까요? -> GPT가 자체적으로 예시를 몇가지 만들고 해당 내용을 바탕으로 추론을 진행하지는 않습니다. 따라서 GPT의 성능을 최대한 끌어올리려면 명시적으로 프롬프트를 구성할때 사람이 수동으로 실제로 몇가지 퓨샷 예시를 추가해서 GPT에게 전달하는 것이 좋습니다. GPT3 학습시 사용되지 않은 데이터에 대해서(특정 산업군 지식이라던지) 적절한 정보를 출력하는 LLM을 만들고자 한다면 파인튜닝이 필수적이라고 생각하였는데 맞나요?? -> GPT3 학습시 사용되지 않은 데이터에 대해서(특정 산업군 지식이라던지) 적절한 정보를 출력하는 LLM을 만들고자 한다면 2가지 선택지가 있습니다. 첫번째로 해당 지식을 포함한 데이터로 파인튜닝을 진행하는 것입니다. 두번째로는 랭체인 등의 라이브러리를 이용해서 프롬프트를 구성할때 해당 지식을 같이 넣어주는 RAG(Retrieval-Augmented Generation) 시스템을 구축하는 것입니다. 좋은 하루 되세요. 감사합니다.
- 0
- 1
- 49
질문&답변
2024.04.16
GPT1과 GPT2 학습 차이
안녕하세요~. 반갑습니다. 먼저 강의를 잘 듣고 계시다니 기쁘네요^^. GPT1의 경우 마지막 출력으로 다음 토큰에 대한 소프트맥스 값과 TASK에 대한 소프트맥스 값이 출력되고 각 레이블 값에 의해 학습되는 것이라 이해하였는데 해당 모델 구조가 그림상으론 같이 표현되어 있는데 처음에 비지도학습시엔 토큰에 대한 예측값만으로 학습하고 파인튜닝시엔 두가지 출력을 모두 활용하여 학습한다고 이해하는 것이 맞나요?? -> 말씀해주신 바가 맞습니다. 제대로 이해하고 계신 것 같습니다. 또한, GPT2에선 테스크에 대한 소프트맥스값으로 학습한다는 개념이 빠지고 오로지 다음 토큰에 대해서만 학습한다는 개념이 맞을까요? -> 네. 맞습니다. 이부분도 제대로 이해하고 계신 것 같습니다. 좋은 하루 되세요. 감사합니다.
- 0
- 1
- 38
질문&답변
2024.04.14
Mnist 에 keras를 통해 softmax를 활용한 regerssion error 발생
안녕하세요~. 반갑습니다. 해당 에러 내용을 확인해보면 import tensorflow as tf 부분에서 tensorflow 라이브러리를 import 하는 과정에서 에러가 발생한 것으로 확인됩니다. 즉, 로컬 환경에 tensorlfow 라이브러리가 제대로 설치되지 않은 상황으로 판단됩니다. 아래 colab 링크를 이용해서 colab 환경에서 실습을 진행해보시기 바랍니다. https://colab.research.google.com/drive/1ekrOwpXy2y5sY0L1A_AoZo9Az0ZD8epV?usp=sharing 아니면 로컬 환경에서 설치된 python 버전과 tensorflow 버전이 호환되는 버전인지 확인해보시기 바랍니다. python 버전별 호환되는 tensorflow 버전은 아래 문서를 참조하세요. https://www.tensorflow.org/install/source_windows?hl=ko#cpu 좋은 하루되세요. 감사합니다.
- 0
- 2
- 74
질문&답변
2024.03.26
Rag 사용시 전혀 관계없는 데이터를 가져오는 이슈
안녕하세요~. 반갑습니다. 해당 경우처럼 XXX 담당자가 명확히 지정되어있는 정형데이터의 경우 순수한 Embedding을 이용한 Similarity 비교만을 사용하기보다는 metadata에 추가정보를 맵핑해서 저장하고 metadata에 저장된 정보를 key로 활용하여 필터링 할 경우에 좀더 정확한 매칭 결과를 받아올 수 있습니다. (예를 들어 Vector Store에 저장할때 각 데이터 별로 담당자를 명확히 metadata로 저장하는 것입니다.) 아래 강의 영상들과 심화 실습 - Compression & 2-Depth 구현 - 판사GPT(JudgeGPT) 심화 실습 - Compression & 2-Depth 구현 - 특허GPT(PatentGPT) 아래 SelfQueryRetriever 문서를 참조하세요. https://python.langchain.com/docs/modules/data_connection/retrievers/self_query 좋은 하루되세요. 감사합니다.
- 0
- 2
- 204
질문&답변
2024.03.23
Fine-tuning 모델 성능 지표
안녕하세요~. 반갑습니다. Fine-Tuning 결과를 정량적으로 측정하는 지표는 어떤 task를 목적으로 fine-tuning하느냐에 따라 달라집니다. 예를 들어 번역 task에 fine-tuning할 경우 번역결과에 대한 성능을 측정할때 일반적으로 사용하는 BLEU 지표가 얼마나 개선되는지 정량적으로 측정하고, Language Modeling task에 fine-tuning할 경우 Language Modeling에 대한 성능을 측정할때 일반적으로 사용하는 Perplexity 지표가 얼마나 개선되는지를 정량적으로 측정합니다. 다양한 NLP 각 task 별로 어떤 지표가 정량적 지표로 주로 활용되는지는 아래 강의 영상들을 참조하세요. GPT-2 (2019) 모델 논문 리뷰 - Experiments GPT-3 (2020) 모델 논문 리뷰 - Results 1 좋은 하루 되세요. 감사합니다.
- 0
- 2
- 111
질문&답변
2024.03.20
bert vs gpt 의 혼란스러운 점
안녕하세요~. 반갑습니다. 구글에서도 BERT 이후에도 연구를 계속해서 최근에 발표된 Gemini(제미나이), Gemini 이전에 발표된 PaLM 모델등 BERT 이외의 생성모델을 연구하여 해당 모델들을 기반으로 채팅서비스를 만들었습니다. OpenAI에서는 말씀해주신대로 GPT를 기반으로 채팅서비스를 만들었습니다. 또한 위 모델들이 채팅에 대한 답변을 생성하는 기반 딥러닝 모델이라는 사실이 알려져 있을뿐 실제 채팅서비스에 딥러닝 기법외에 추가적인 별도의 엔지니어링 작업이 얼마나 들어가 있는지는 정확히는 알수없습니다. 좋은 하루되세요. 감사합니다.
- 0
- 2
- 95
질문&답변
2024.03.03
chromadb 용량
안녕하세요~. 반갑습니다. 말씀해주신 상황만으로는 정확히 어떤 상황이신지 파악하기 힘들지만 Embedding dimension이 어떤 크기인 임베딩 모델을 사용하느냐에 따라 용량이 달라질 수 있습니다. 용량을 줄이고 싶으시다면 Embedding dimension이 더 작은 임베딩 모델을 테스트해보시면 좋을 것 같습니다. 좋은 하루되세요. 감사합니다.
- 0
- 2
- 141