교수님 안녕하세요 실무에서 분류하는 과제를 하고 있습니다. (파이썬 코드를 직접 짜고 있지는 않고 상용 딥러닝 툴을 써서 하고 있습니다.) 공장안에서 여러 설비들이 조금씩 다른 세팅으로 카메라가 세팅이 되어있는 상태이고 (이미 너무 많은 설비들이 있는데 이거를 지금 시점에 같은 조건으로 다 맞추기는 힘들 것 같습니다.) 관리를 하려면 이 조금씩 세팅이 다른 카메라 이미지를 하나의 모델로 만들어야 한다고 판단하고 있습니다. 밝기 세팅이나 카메라 노출 회전 여부가 조금씩 다른데 1) 전체 학습 이미지 데이터 셋 2) 전부다 회전을 시켜버리고 3) 전부다 밝기 조절을 해서 ex) 제품의 특정 위치의 이미지상 밝기가 대부분 10이고 어떤 카메라는 특이하게 15라면 가지고 있는 학습 이미지를 다 15로 바꿔버린다음에 추가 학습을 시킴 20인 카메라가 확인되면 다 20으로 바꿔버린다음에 추가 학습을 시킴 학습 데이터 셋을 2배 3배 4배 늘려버려서 학습을 시킨다면 모델의 성능이 좋아지게 될지 성능이 떨어지게 될지 어떻게 하는게 유리할지 조언을 주실 수 있을까요? 잘모르는 부분이어서 조금 답답한 부분이 있어서 혹시나 도움을 받을 수 있을까 해서 문의드리게 되었습니다.
앞에서 설치하는 동영상은 윈도우 버전이고 수업영상 구현할때는 갑자기 맥북으로 넘어가서요. 2.3으로 설치해서 코드 구현하니까 버전 문제가 생겼다 해서요 파이썬3.7.9 tensorflow 2.3버전 맞나요? File "C:\Users\Administrator\Desktop\deep-learning-tensorflow-book-code-master\Ch03-TensorFlow_Basic\3.3-linear_regression.py", line 6, in <module> W = tf.Variable(tf.random_normal(shape=[1])) AttributeError: module 'tensorflow' has no attribute 'random_normal' 구현하면 이렇게 떠요
ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. imageio 2.31.6 requires pillow<10.1.0,>=8.3.2, but you have pillow 10.3.0 which is incompatible. 위와 같은 에러 메시지가 발생하는데 어떻게 하면 될까요?
LSTM 함수 정의전 맨 아래와 같이 정의를하는데 B같은 경우 인풋을 의미로 sentences = ["hi man", "hi woman"] 리스트의 값과 같이 2개를 받는다고 생각하면되나요? T 같은경우에는 time이 정확히 어떤것을 의미하는 것일까요?? D 또한 feature인데 어떤것을 의미하는 지모르겠습니다.. U는 아웃풋인건 이해했고요.. 혹시 아래 이미지와 같은 이미지를 기준으로 T값 2는 hi를 h, i 로 2개 받는다는 의미일까요? D와 T는 모르겠습니다.. U는 이미지 기준 4겠네요? 이부분만해결되면 코드를 더 이해할수있을것같습니다ㅜㅜ B = 2 #batch size / 2개의 인풋 값이 들어가도록 설정 T = 5 #time steps D = 1 #features U = 3 #LSTM units / LSTM output 유닛 개수 X = np.random.randn(B,T,D) print(X.shape) print("\n") print(X)
모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기
고스트 어텐션 한국어로 말해라, 아인슈타인처럼 말해라 와 같이 모델이 일관성을 유지해야 하는 말에 대해 자꾸 몇번 더 대화를 나누면 일관성을 잃어버려서 고스트 어텐션을 적용했다 고스트 어텐션은 인물: 아인슈타인 언어: 한국어 와같이 저장하는데 이걸 이용하는 방법은 잘 모르겠다 어디서 이용되는건지 모르겠습니다. 제가 생각했을때 이용될 수 있는 방법은 이런 파라미터를 이후에 오는 모든 파라미터앞에 붙인것 처럼 입력된다--> 이건 위에서 대조한 예시로 나온것 같은데 이러면 둘이 충돌이 일어날 상황이 생겨서 안한다고 한것 같고 인물, 언어 와 같은 카테고리를 적용한 것을 미리 파인튜닝 해둔 후 위의 프롬프트가 나오면 그 파인튜닝 된 것을 불러온다? --> 이건 너무 경우도 많고 복잡할 것 같습니다. 선생님이 간단하다고 해서 이것도 아닌것 같습니다. 고스트 어텐션이 실제로 gpts를 이용할때 프롬프트로 저장, 고정이 되어있는 부분을 말하는것 같은데 이걸 어떻게 이용하는지 궁금합니다
colab 환경에서 Autoencoder를 구현하여 코드를 실행시키면 반복(Epoch)는 완료 되었는데, 결과 이미지가 확인이 되지 않는 경우가 생깁니다. 이런 경우 맨 아래의 plt.waitforbuttonpress()를 주석 처리하시면 빠르게 결과를 확인 할 수 있습니다. [plt.waitforbuttonpress()코드 주석처리] [주석 처리 후 결과 확인] 혹시나 제가 잘못알고 있는 사항이 있으면 바로 정정 부탁드리겠습니다.
늘 강의 잘 듣고 있습니다! DBSCAN에서 Radius(R)와 Minimum Neighbor number(M)을 가르쳐주시고 Core, Border 개념을 소개해주셨는데 헷갈리는 부분이 있어 질문 드립니다. pdf 자료를 보며 R에 2unit 이렇게 되어 있는데 이 Unit이라는 건 데이터 포인트의 점 크기를 말하는 걸까요? 그리고 정한 M 값 이상의 데이터 포인트들이 R 안에 들어오면 Core고 Border는 R안에 데이터포인트가 M 보다 작은 수만큼 있는 경우, 다른 Core가 R 안에 있는 경우를 말하는 건가요? (R안에 다른 데이터포인트가 하나라도 있으면 Border인지 궁금합니다)
(1) Feature scaling 실습 강의를 듣다가 궁금한 점이 있어 질문드립니다! 타이타닉 자료에서 나이에 대한 결측치는 중간값으로 처리하고, Embarked의 경우 drop을 하는 걸로 알려주셨는데요 🙂 원래 없는 값인데 중간 값으로 결측치를 채워주는 것도 그렇구 다른 FEATURE값이 있는데 결측치가 있는 row라고 지워버리는 것도 그렇고 결측치가 주는 영향이 그만큼 크기 때문인가요?? 값이 비어있는 것보다는 평균으로라도 채워놓는 게 좋은 건지, 다른 feature 정보가 있더라도 결측치가 있는 row는 지우는 게 좋은 건지 feature engineering에 대해 제대로 이해하지 못한 것 같아 여쭤봅니다! (2) SKEW된 FARE에 log를 취해주셨는데요! 사실 그래프만 보면 parch도 sibsb도 한 쪽으로 쏠려있고 한 쪽이 많은 느낌인데 왜 fare만 skew로 log를 취해주신 걸까요? (3) 교재에서는 train_test_split 부분을 이렇게 해주셨는데요! X_train = df_titanic[:700] X_test = df_titanic[700:] y_train = X_train.pop('Survived') y_test = X_test.pop('Survived') X_train, X_test에서 survived 부분을 안 빼줘도 되는 건가요?? 늘 감사합니다!!
타이타닉 탑승자 자료로 Feature scaling을 실습하는 강의에서, heatmap을 그리는 부분을 듣고 있는데요! g=sns.heatmap(df_titanic.corr(numeric_only=True),annot=True,cmap='coolwarm') 교재에는 이렇게 되어 있는데 실제 강의에서는 numeric_only=True 부분을 작성하지 않고도 똑같이 그리셨더라구요! 교재 코드에 해당 부분이 있는 이유가 궁금해 여쭤봅니다! 감사합니다 :)
feature scaling에서 X_test는 fit_transform이 아니라 transform만 해야한다고 하셨는데요! (logistic regression 실습 18분 부근) 어차피 X_train과 평균과 표준편차가 동일할 거라는 건 이해가 되지만, 미래 값인 X_test의 평균/표준편차를 구할 순 없다는 말씀은 이해가 잘 되지 않습니다 ㅠㅠ, 그리고 어차피 동일하다면 X_test에 fit_transform을 해도 같은 결과가 나와야 하는 거 아닌가요? 늘 감사합니다!
강의 중에 성별의 경우 성별이라는 COLUMN에 여자는 0, 남자는 1 이런식으로 하면 안 되고 여자 칼럼/남자 칼럼을 나눠줘야 한다고 하셨는데 그 이유가 뭔지 질문 드립니다! 대소관계가 없도록 하는 거라고 하셨는데, 잘 이해가 되지 않아서요! 또 그럼 반대로 ordinal category의 경우 사이즈라는 칼럼을 만들어서 L은 3, m은 2, s는 1로 한 번에 넣어도 괜찮은 건가요? 늘 감사합니다, 강사님!