모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
안녕하세요. 저는 현재 llama2 모델을 KorQuad 데이터셋을 이용하여 파인튜닝하는 실습을 진행중에 있습니다. 파인튜닝 후에 궁금한게 생겼는데, 강의에서 처럼 KorQuad 데이터셋을 이용하여 llama2 모델을 파인튜닝을 한 뒤에 Chat GPT API 처럼 Maximum length 나 Temperature 등을 파라미터로 넣어서 답변의 길이나 Temperature 를 조절 할 수 있을까요?
안녕하세요. 교수님 강의 잘듣고 있습니다. Mask rcnn의 수업과정의 'Balloon 데이터를 이용한 Train 실습 - Train 실행 및 Gray Scale로 배경 적용한 Segmentation 구현하기'를 참고해서, 제가 가지고 있는 이미지 데이터에 학습을 시켜보고 있습니다. MMDetection은 배치사이즈를 어디서 설정하는지 궁금합니다. config 파일을 보면, 'mask_rcnn_r50 _fpn.p y'은 mmdetection/configs/base/models에 위치해 있는데, 배치사이즈로 볼만한 내용이, 다음 내용밖에는 없거든요. cfg.auto _scale_lr = dict(enable=False, base_batch_size=62) 16을 62로 변경했는데, Epoch의 배치사이즈는 변하지 않고 그대로 10으로 설정되는것 같습니다. Mask Rcnn은 배치사이즈를 어디서 설정하는지 궁금합니다.
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
이번 강의의 다음 코드에서 왜 prompt 의 instruction 과 response 앞에 ### 을 넣어주는건가요? # 빠른 학습을 위해 20개만 추출 num_items = 20 final_prompt_list = [] for idx, (question, answer) in enumerate(refined_dict.items()): if idx >= num_items: break prompt = f"Below is an instruction that describes a task. Write a response that appropriately completes the request. ### Instruction: {question} ### Response: {answer}" print(idx, prompt) prompt_dict = {} prompt_dict['text'] = prompt final_prompt_list.append(prompt_dict)
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
LLama2 모델을 이용하여 특정 분야의 리포트를 작성해주는 모델로 파인튜닝 하고 싶습니다.(Chat GPT 의 complete 모델 처럼) 너무 막연한 질문이긴 하지만.. 이때 필요한 데이터 셋의 형태는 어떤 형태이며, 어떤 모델을 어떤식으로 파인튜닝을 진행해야하는지 가이드를 주실 수 있을까요? 예를들어 제가 원하는 모델은 input 으로 "안녕하세요. 이번 보고서" 라는 텍스트를 넣으면 output 으로 "에서는 다음과 같은 내용을 다룰예정입니다." 의 텍스트가 나오는 것 입니다. input 텍스트를 넣으면 input 텍스트 이후에 올 수 있는 특정 분야에 관련된 텍스트를 자동으로 완성해주는 모델을 만들기 위해서 어떤식으로 접근해야 할까요?
cnn에서는 다음과 같이 dataloader로 부터 얻은 data를 gpu로 변경 했습니다. seq, target = data[0].to(device),data[1].to(device), 하지만 RNN에서는 다음과 같이 cpu로 처리 합니다. 이유가 무엇 인가요?? seq, target = data
안녕하세요. '비전 트랜스포머-최신 모델' 강의 11:36 근처 슬라이드를 기준으로 질문드리겠습니다. (사실 그 이후부터 계속 지속적으로 차원 혼동이 있는 것 같아서, 하나를 기준삼아서 질문드리면 나머지가 저절로 해결될 것 같습니다.) p=(size of patch)로 정의를 하고 사진을 N개로 쪼갠다고 가정했을 때, 그것을 flatten시켜준 각각의 벡터들, (x_{p}^{i}, i=1,...,N)이라고 가정했을 때, 해당 벡터는 P^2*C 차원의 벡터들이 되는 거잖아요? 그렇다면, 그 N개의 벡터들을 concatenate하여 행렬 x_p를 구축했을 때, 그 차원은 (P^2*C) by N이 되어야 하는게 아닌가요? 이 이후부터 슬라이드에서는 가로와 세로가 뒤바뀌어 있는 것 같은데 뭐 실전에서는 transpose하면 되는 문제긴 하지만 나름대로 엄청나게 궁금해져서 질문을 드려봅니다. 설명을 해주신거나 그림을 그려주시는 것은 모두 x_{p}^{i}가 열벡터이고 concatenate를 하실 때 row-wise가 아니라 column-wise로 합치신 것 같아서 그렇게 생각이 들었습니다.
1분 쯤에 나오는 표에서 conf는 임계치가 아닌 confidence score를 나타냅니다. 그런데 강의 내용과 오른쪽 P-R curve는 conf를 임계치로 생각하고 말씀을 해주시는데, 제가 헷갈린건지 아니면 오류가 있는건지 알려주실 수 있으실까요? 😀 또 헷갈리는게 있는데, 만약 AP를 계산할 때 IoU 임계값에 따른다고 하면 confidence 임계 값은 고정을 하고 계산하는거겠죠? 그렇다면 논문 마다 mAP를 계산하는 방식이 다른데 이는 논문에서 계산방법을 보통 알려주나요?
안녕하세요! 강의에서 Precision-Recall를 구할 때 Confidence score를 기준으로 내리차순 한 뒤 P, R을 구하는 방법을 알려주셨습니다. 근데 실제 구현에서는 바로 tp,fp,tn,fn 을 구한 뒤 P,R을 구하는게 훨씬 빠를 것 같은데 해당 방식은 왜 나온건가요? 사람이 직접 구할 때 조금 더 직관적으로 보기 위해서 사용하는 방식인가요?
안녕하세요! 수업중 궁금한 부분이 있어 문의 드립니다. self.encoder = nn.Sequential( nn.Conv2d(1, k, 3, stride=2), # 흑백 이미지로 체널이 1개, 나머지는 임의로 설정 nn.ReLU(), nn.Conv2d(k, 2*k, 3, stride=2), nn.ReLU(), nn.Conv2d(2*k, 4*k, 3, stride=1), nn.ReLU(), Flatten(), nn.Linear(1024, 10), nn.ReLU() nn.Linear(1024, 10) 이 부분에서, MNIST의 경우 미리 계산하면 1024가 나온다고 말씀 주셨는데요, 어떻게 계산해야 하는건지 알 수 있을까요? 또한, 이 수치를 코드 작성자가 꼭 계산해서 넣어줘야 하는지도 궁금합니다! 크기(1024)를 코드로 출력해서 확인해 보는 방법이나, 저 부분에 1024 크기가 계산되어 들어가도록 코드를 작성할 수도 있을까요?
model.summary 명령어로 딥러닝 모형을 확인하는 데까지는 문제가 없었는데, 그 이후에 모형을 컴파일해서 history 변수에 할당하는 부분에서 "Failed to convert a NumPy array to a Tensor (Unsupported object type float)." 에러가 발생합니다. 구글링한 결과로는 float 형식이 아닌 타입의 데이터가 섞여 있어서 그렇다고 나오는데, 지금 학습을 돌리고 있는 x_train 데이터를 확인해 보니 아래처럼 0, 1이 아닌 True, False 값이 들어가 있었습니다. 더미화 이후 강사님과는 다르게 True, False 값으로 데이터가 생성되었는데 혹시 이것 때문에 에러가 나는 걸까요?
안녕하세요. 데이터 전처리 강의 내용 중 코드를 똑같이 따라쳤는데도 에러가 나는 부분이 있는데요, 구글링을 열심히 해봤는데도 해결하지 못해서 질문 남깁니다. df_bool = ~df.groupby('hour')['cnt'].apply(is_outliers) df_out = df[df_bool] 위 코드를 실행하면 Unalignable boolean Series provided as indexer (index of the boolean Series and of the indexed object do not match). 에러가 발생합니다. df_bool.index 위 메서드로 df_bool의 인덱스를 확인해보니 (hour, n) 의 튜플로 된 멀티 인덱스가 나왔습니다. df의 인덱스는 0, 1, 2, ... , 17413의 숫자로 되어 있어서 조건식으로 넣은 boolean 시리즈(df_bool)의 인덱스와 df의 인덱스가 일치하지 않아서 발생하는 에러로 이해했습니다. 다만 구글링을 아무리 해도 해결방법은 잘 모르겠습니다. 강의 내용을 똑같이 따라 쳤는데 왜 에러가 발생하는 걸까요?
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
autotrain advanced 사용시 --use_peft 옵션을 사용하면 어떤 peft 방식을 사용하게 되는건가요? autotrain advanced 사용시 LoRA, Prefix Tunning 등 특정 방식으로 학습하도록 선택이 가능한가요? autotrain advanced에서 --use_peft 등 parameter 값들에 대한 사용법이나 정보를 어디서 얻을 수 있나요? document 페이지를 찾아보려고 하는데 내용이 잘 없는것같아서요. autotrain advanced는 유료인가요? 이런 페이지를 봤습니다. https://huggingface.co/docs/autotrain/cost
# 성별에 따른 예측값 계산 merged_ratings = pd.merge(x_train,users) users = users.set_index('user_id') g_mean = merged_ratings[['movie_id','sex','rating']].groupby(['movie_id', 'sex'])['rating'].mean() g_mean 코드는 이렇게 작성했고요. merged_ratings = pd.merge(x_train,users) 이 부분에서 MergeError: No common columns to perform merge on. Merge options: left_on=None, right_on=None, left_index=False, right_index=False 이런 에러가 발생해요. 강의랑 똑같이 했는데 왜 에러가 나는걸까요? ㅠ ㅠ
1.q와 k를 내적 하는 이유가 궁금합니다. 이는 입력의 유사도 행렬을 얻기 위함으로 알고 있습니다. 그렇다면 q와 k가 아닌 q와 q의 트랜스포즈로 내적하면 안되는걸까요? 음 ...업데이트 할때 q와 k가 비슷하게 학습되었다는 가정을 가지고 내적 한걸까요? 2.그리고 Multi Head와 그냥 Self attention의 차이가 궁금합니다. 별도의 파라미터로 학습되기때문에 하나일때보다 많은 관점이 녹아있다고 생각하면 될까요? 3.다른 댓글에서 코드A@V가 리니어 라고 하셨는데요 PPT에서는 SA(z)=Av와 [SA1(z)...]Umsa가 따로 있습니다. 코드에서는 A@V만 있는데 어떻게 연결지어서 봐야 할지 잘 모르겠습니다.