안녕하세요. 강의 정말 잘 듣고있습니다! 다름이 아니라 MMDetection을 다시 공부하던 중 모델 아키텍쳐 부분에서 densehead와 roihead의 차이가 궁금해져서 이렇게 글을 남깁니다. 설명에는 densehead와 roihead 모두 object의 위치와 classification을 수행한다고 나와있어서요.. 감사합니다!
[그랩마켓] axios로 네트워크 통신하기 편 수강 중 질문이 생겼습니다. 강의 중 31초에 보면 Body 부분이 HTML로 되어있는데 그 전까지는 JSON으로 하라고 했다가 갑자기 언급 없이 변경이 돼있어서 HTML로 해야되는지 JSON으로 해야되는지 헷갈립니다. 강의 중 4분 10초와 같이 통신 결과, status:200, 화면도 잘 뜹니다. 그런데 data에 화살표가 생기고 누르면 그 아래 products 객체 아래 배열대로 화살표가 생기고 하는데 저는 그냥 data에 값들이 쭉 나열만 되어있습니다. 이 부분을 강의에서처럼 바꾸고 싶습니다.
안녕하세요 선생님 얼마전 머신러닝 완벽가이드 강좌에 소프트맥스 질문 드렸던 사람입니다. 저는 소프트맥스 연산에 대한 하드웨어 가속기 설계 연구를 진행하고 있는 석사 과정생입니다. 그 때 남겨주셨던 답변에 대해 답을 드리면, Softmax의 Input 정밀도라는 것은, 마지막 FC layer를 통과한 후, Softmax층의 input으로 들어가는 값에 몇 bit를 할당할 것이냐에 관한 내용입니다. 즉 제가 알고 싶은 내용을 다시 정리해보면 다음과 같습니다. softmax의 input (혹은 output도)에 많은 bit가 할당되면, H/W resource가 커지게 되므로, 모델의 accuracy를 크게 저해하지 않는 수준에서 어느 정도의 정밀도를 유지해야 하는지 알고 싶습니다. 하여 모델에서 softmax input 전에 따로 텐서 안의 값들을 특정 소수점 자리에서 반올림 해주는 함수를 정의해 반올림을 거치거나, 기존의 FP32를 FP16으로 casting을 거치도록 하여 좀 더 낮은 정밀도에서 잘 돌아가는 지 시뮬레이션을 해보는 중이었습니다. 저의 시뮬레이션 내용은 아래에 첨부하겠습니다. (rounding의 경우는 텐서 안의 값들이 제대로 반올림이 안된 것인지, 아니면 다른 이유가 있는 것인지.. 소수점 10번째에서 rounding을 하든, 20번째, 30번째에서 하든 accuracy에 큰 변화가 없고 거의 36프로 정도를 보였습니다.) 또 일반적으로 H/W설계 시에 floating point보다 fixed point가 구현이 훨씬 간단하며, 리소스 사용량이 매우 적은데, 소프트웨어적으로 모델을 학습시킬 때의 데이터는 대부분 float 32 또는 float 64를 이용하는 것 같습니다. 이는 역전파 과정에서 높은 정밀도가 필요하기 때문이 아닐까 싶은데, 모델 학습 시에 fixed point를 사용했을 때 발생할 수 있는 문제점이 있을까요 ? (소수점 10째자리에서 반올림을 하든, 20,30째자리에서 반올림을 하든 이론상으로는 정밀도가 높아질수록 accuracy가 높아져야 될 것 같은데 제 시뮬레이션 상으로는 모두 36프로의 정확도를 보여 코드에 문제가 있는 것인지, 아니면 알고리즘적으로 문제가 있는 것인지 궁금합니다.) 또한, FP16으로 표현 가능한 최대 정밀도의 값들이 훈련 시에 자주 사용되는지, 실제로 필요한 수준의 정밀도인지 궁금합니다. softmax 층의 input으로 들어가는 logit값(?)들의 range가 어느 정도인지도 궁금합니다. 아마 모델과 사용하는 데이터에 따라 크게 달라질 것 같기는 한데, 제가 읽었던 softmax accelerator관련 논문들에서는 일반적으로 softmax의 input의 range를 [-10,10]으로 가정을 했습니다. (알고리즘 분야가 아닌 하드웨어 논문들이기는 합니다..ㅠㅠ) 허나 실제 학습 시에 floating point를 사용한다는 것은 분명 logit값이 10보다 매우 큰 값이기 때문일 것 같은데 왜 논문들에서는 저런 범위를 가정했는지 궁금하여 든 생각이 혹시 practical한 모델 내에서는 softmax로 들어가기 전에 특정 범위 안으로 들어가도록 전 처리를 해주는 layer가 따로 있는 것인지 궁금했습니다. 또 학습이 점점 진행되면서 logit 값이 학습 후반부로 갈수록 일반적으로 수렴하는 분포(?)가 있는 것인지 궁금합니다.. (epoch별로 logit 값을 출력해보고 싶은데, 아직 코딩에 익숙치 않아 난항을 겪고 있습니다) 본질적으로 softmax를 사용하는 이유가 궁금합니다.. multi classification에서 결국 하나의 class로 분류하는 것이 목적인데, 그러면 최종 logit값들 중 가장 큰 값을 선택하면 되는데 왜 굳이 softmax를 통해 확률 분포를 만든 후에 가장 높은 확률의 class로 선택하는지가 궁금합니다. (어차피 softmax를 취한 후의 maximum이나 취하기 전의 maximum이나 같을텐데) ( 시뮬레이션 내용 ) 지난 번의 코드는 깃헙에서 임의로 가져온 코드라 조금 더 제대로 된 코드로 실습하고자 이번에는 선생님의 강의 자료인 VGG_Practice 실습 코드를 이용했습니다. 실습 코드의 모델 정의 부분에서 소프트 맥스 layer 직전에 rounding, 혹은 casting하는 부분을 추가한 것 외에 달라진 점은 없습니다. 그림 1: float 16 그림 2. float 16 결과 그림 3. rounding (소수점 10째자리에서 반올림) 그림 4. rounding 결과 회로 설계 관련 연구를 진행하다 보니 AI 알고리즘에 대한 지식이 부족하여 다소 난해하게 질문드리게 된 점 정말 죄송합니다.. 또 하드웨어적 관점에서 생각하다보니 알고리즘 부분과는 다소 동떨어진 질문이 있을 수도 있을 것 같은데, 그런 부분이 있다면 죄송합니다 ㅠㅠ 몇 년전, 동아리 활동을 하면서 머신러닝에 관심을 갖게 되어 선생님의 강의를 수강하고, 잘 공부했었던 기억이 있어 이렇게 다시 찾아 질문 드리게 되었습니다. 긴 내용 읽어주셔서 감사드립니다..
안녕하세요 ! 주신 자료 너무 유익하게 잘보고 있습니다. 공부하던중 질문한가지가 있습니다. Entropy의 개념인데요. 저는 Entorpy를 불확실성 uncertainty라고 이해하고 있었는데요. 불확실성이 높을수록 high entropy를 보인다. 예를들어 coin flip의 경우 앞뒤가 모두 0.5 probability를 가지고 있기때문에 결과에 대해서 불확실하기 때문에 high 엔트로피를 보인다라고 생각하고 있었는데요. 말씀해주신 정보량 측면에서 이해하고 답변하는게 더 좋을까요? 관점이 좀 다른듯한데요. 어떤게 맞을지 문의드립니다. 감사합니다.
안녕하세요. 강의 잘듣고 있는 도중에 질문이 있어 글을 작성하게 되었습니다. 현재 cdc 기반으로 iceberg 테이블에 operation(insert, update, delete) 정보들을 적용해서 데이터를 적재하고 있습니다. 이부분까지는 DMS -> kinesis -> lambda-> firehose -> iceberg 순서로 문제없이 적재를 진행하고 있지만 이런형식으로 운영중인 iceberg 테이블 10개를 join 시켜 datamart에 현재는 1주일에 한번씩 전체를 삭제 후 insert하는 비효율 적인 방식으로 마트를 운영중에 있습니다. 이것을 개선시키기 위해 적재중인 iceberg 테이블들에 변경된 데이터들을 5분 10분 단위로 종합해 datamart 테이블에 변경 분에 한해서만 insert, update, delete를 반영해주고자 하는데 강의를 듣다보니 spark streaming을 활용해서 뭔가 해결을 할 수 있을것 같은데 혹시 이부분에 대한 아이디어에 대해서 조언을 구할 수 있을까요? 10개의 테이블에 대해서 10분간 발생한 변경 점들을 종합해 datamart에 반영을 해주려고 하는데 아직 제대로 감이 잡히지 않아서 질문드렸습니다.
안녕하세요. broadcast 예제코드에서는 이미 aggregation된 dataframe(코드에서 interviwer_count) 에 대해서 udf 실행을 위해서 meta 딕셔너리를 broadcast한 다음에 udf를 실행하는 것으로 이해하였는데요. 실제 운영하는 상황에서는 이런 경우에는 이미 aggregation이 된 dataframe이 먼저 만들어질 것이기 때문에 meta 딕셔너리를 dataframe으로 만든 후 join하는 것과 큰 차이가 없지 않나요? 해당 코드에서 broadcast를 함으로써 다른 방법(join 등)에 비해 얻는 이점이 어떤 건지 궁금합니다.
안녕하세요. 먼저 좋은 강의 감사드립니다. 저는 이번 9회 시험에서 1유형 30점, 2유형 40점, 3유형 20점 총 90점으로 합격했습니다. 퇴근후딴짓 선생님의 좋은 강의 덕분이라고 생각합니다. 다만 시험 중에 이상한 일이 있었습니다. 이번 3유형에 상관계수를 구하는 문제가 있었는데요, 제가 시험장에서 corr() 메서드를 사용했을 때 작동하지 않았습니다. 자료형이 틀렸거나 옵션 문제 등의 오류가 아니라, 확실히 not defined로 기억합니다. corr() 메서드 호출 자체가 불가능했습니다. 몹시 당황해서 이런저런 라이브러리를 불러도 보고, dir, help 등도 시도해봤지만 호출 자체가 안 되니 할 수 있는 방법이 없더라고요. 마지막으로 통계학 지식을 동원해 수작업 계산을 시도했지만, 결국 시간 부족으로 corr()이 필요했던 두 문제를(각 5점) 틀리게 되었습니다. 혹시 이런 문제가 발생하는 경우에 대해 아시는 바가 있을까요? 합격과는 별개로 너무 궁금하고 답답해서 문의를 드립니다.
선생님 안녕하세요. 우선 오늘 최종 합격하여 소식을 전하게 되었습니다. 다만, 다름이 아니라 점수가 좀 턱걸이인지라.. 담주에 예정된 최종 결과에서 합격예정이 불합격으로 바뀌는 사례가 있는지 궁금합니다. 제가 알기로는 불합격 사례에서 합격 한 사례는 있는 것으로 아는데 반대 사례가 있는지요?? 우선 정말 감사드립니다. 큰 도움이 되었습니다.
금일 빅분기 실기 가체점 결과가 올라와서 확인했는데... 합격했습니다. 1교시가 너무 어렵게 나와서 힘들었었는데... 강사님이 시험전에 2교시->3교시->1교시 순으로 준비를 하라는 글을 보고 많이 도움이 됐습니다. 덕분에 2차시험 2번째에 합격해서 감사드립니다. 회사일 때문에 강사님이 올려주신강의와 모의고사 풀이를 4번이상 반복해서 풀어본거, 마이드 맵을 기반으로 리마인드 해본 것이 많이 도움 됐습니다. 감사합니다.~~
안녕하세요. 선생님의 강의로 머신러닝 및 딥러닝에 관심을 갖게 되었습니다. 다름이 아니고, CIFAR100 dataset에 대해서 VGGNet이라는 모델을 이용해 훈련을 시켜보고 있는데, 제가 궁금한 것은 Softmax의 Input의 정밀도를 어디까지 유지하면 모델이 잘 학습될 수 있을까?입니다. 아래의 코드는 training부분입니다. 첫 번째 사진처럼 모델을 훈련시키는데, model(images)를 통해 나온 실제 output을 이용하면 모델이 잘 학습이 되는데 (마지막 epoch의 validation accuracy 55, Top-5 Test Accuracy 80%정도), 이 output을 rounding을 하면 소숫점 아래 20째자리까지 반올림을 해서 높은 정밀도를 유지해도 모델 학습이 아예 되지 않는 (모든 epoch가 끝나도 Validation Accuracy가 1%남짓) 문제가 발생합니다. 이러한 문제가 왜 발생하는지, 어떻게 하면 해결할 수 있을지 또 제가 궁금한 Softmax layer에서 요구하는 최소 Input 정밀도에 대해 다른 방법으로 측정할 수 있을지 궁금합니다 ㅠㅠ 감사합니다
강의 에서 예측진행시 선형회귀 랏소 릿지의 경우 model= 하고 뒤에 해당 모델을 작성했는데 18분 22초 랜덤포레스트의 경우 regressor =RandomForestRegressor()로 정의해 놓고 밑에 학습은 model.fit으로 하고 pred도 model.fit으로 했는데 그럼 위에 있는 라쏘를 가지고 모델링을 한게 아닌가 궁금합니다. ※요약 1: 랜덤포레스트에는 모델로 안하고 왜 regressor = 으로해서 진행했는가, 요약2: model.fit으로 진행했는데, import를 랜덤포레스트로 했음에도 , 랜덤포레스트가 아닌 위에 model을 정의한 라쏘로 학습이 된것 아닌가 이렇게 궁금합니다!!