• 카테고리

    질문 & 답변
  • 세부 분야

    딥러닝 · 머신러닝

  • 해결 여부

    해결됨

안녕하세요 선생님

24.03.20 15:02 작성 조회수 100

0

안녕하세요 선생님 우선 좋은강의 감사드립니다.

두가지 질문이 있는데요....

 

우선 아나콘다 주피터 노트북에 대해서 질문입니다.

prev_baseline_01 관련 파이썬을 실행중이고 '섹션3 previous_application 데이터 가공/모델 학습/평가'에서 주피터노트북으로 코딩을 실행하는데 자꾸 커널이 죽어버립니다. 데이터 전처리들을 다 실행하고. LGBMClassifier를 실행하는데.. ''the kernel appears to have died. it will restart automatically'' 이런 문구가 떠서 구글링도 하고 그랬지만, 어떤분은 max_buffer_size를 크게 올려라고도 했는데 잘 되지가 않네요..

의문이 있습니다만, 주피터노트북이 컴퓨터 사양으로 돌아가는것이 아닌가요? 저의 컴퓨터가 굉장히 하이엔드 컴퓨터라 램도 64기가가 넘는데, 고작 몇매가로 뻗어버리는게 뭔가 마음?이 아프고 고작 이정도로 이러면 앞으로 주피터노트북에서 텐서랑 케라스를 돌리면 어떻게 되는걸까 되게 의문이 많습니다. 제가 어디를 놓치고 있는것인지,. 괜찮은 방법이 있다면 알려주시면 감사드리겠습니다.

(아 처음에 VM서버랑 주피터노트북이랑 연동하지못했습니다. 맥 환경이라. 하지를 못해서 ㅠㅠㅠ)

 

 

그리고 두번째로, 으음 제가 대학원이랑 취업을 준비하고있습니다. 수학하고 통계를 전공해서 학사졸업을 했구요, 인공지능이나 데이터사이언스로 대학원을 가기를 희망해서 현재 선생님의, 데이터비젼강의들과, 머신러닝 강의를 수강하고있고, 일주일내로 SQL강의또한 수강을 할 생각입니다.

그런데 컴퓨터전공에 대한 지식이 부족해(알고리즘,자료구조,컴퓨터구조,데이터베이스 등등...) 조금 고민이 많은데요.

이게 이것마져도 다 할려고 덤비니까 굉장히.. 힘들더라구요(개발자도 아닌데..) 혹시 일단은 여기정도까지만 공부하면 괜찮다..! 싶은 선이 있을까 싶습니다.

답변 1

답변을 작성해보세요.

1

안녕하십니까,

제 강의를 많이 듣고 계시는 군요. 감사드립니다 ^^

jupyter notebook은 특별한 설정을 하지 않으면 RAM 메모리를 다 사용합니다. max_buffer_size를 enable하면 오히려 RAM을 max_buffer_size 설정값까지 밖에 사용하지 못합니다.

근데 오류 메시지만 봐서는 원인은 정확하진 않지만 메모리 부족일 수 있겠군요. 제가 맥을 써보진 않아서 잘은 모르지만, 실습 코드를 수행하면서 메모리 사용량을 직접 확인해 보시면 어떨까 싶습니다.

아래에 실시간 메모리 사용량을 확인할 수 있는 URL 참조 부탁드립니다.

https://cksl9508.tistory.com/entry/%EB%A7%A5Mac%EC%97%90%EC%84%9C-%EB%9E%A8-%EB%A9%94%EB%AA%A8%EB%A6%AC-%EC%82%AC%EC%9A%A9%EB%9F%89-%ED%99%95%EC%9D%B8%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95

실습코드의 각 단계별(데이터 전처리, LightGBM 돌리기전, LightGBM 수행 중) 메모리 사용량을 기록해 보시고 여기에 다시 글 부탁드립니다.

 

그리고 제가 취업 전문가(?)는 아니어서 제 조언이 적절한지 조심스럽습니다만,

수학과 통계 전공이시고, 만약 데이터 분석/데이터 사이언스 분야로 진출하실 거라면 머신러닝, 딥러닝, SQL 까지 하신다면 차고도 넘칠 역량일 것 같습니다. 다만 (취업에 조금이라도 유리하기 위해서) 컴퓨터 관련 전공에 대해서 좀 더 공부해 보실 거라면, 알고리즘/자료 구조는 시간이 많이 걸리실 것 같아서 권장은 하지 않습니다. 물론 일부 좋은(?) 기업들은 알고리즘 구현능력을 인터뷰시 확인해 보는걸로 알고 있지만, 이건 개발자인 경우만 해당이 될 것 같습니다.

차라리 오픈소스로 되어 있는 여러가지 Vision Classification, Object Detection 패키지들을 직접 구현해 보는 자체 프로젝트를 해보시면 어떨까 싶습니다. 좀 더 본인 전공에 대한 전문적인 실력을 더 키워 보시는것이 더 좋지 않을까 싶습니다.

감사합니다.