• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 분석

  • 해결 여부

    미해결

수업을 따라가는데 있어서 어려움

19.08.19 14:22 작성 조회수 201

0

tutorial 2부터 강사님이 해주시는데로 따라하는데 생각되로 안되거나 문제가 발생되는 경우가 많네요..,ㅠ

첫번째로 이전에 올렸던 multiprocessing 관련 코드 부분도 그렇고

 

두번째는 KaggleWord2VecUtility 이 부분은 제가 관련 소스를 찾아서 로딩을 하고

중간에 apply_by_multiprocessing 관련 함수도 있어서 이 함수가 들어간 소스를 찾아 중간에 소스도 수정해서 다시 import를 했습니다.

그리고 마지막으로 세번째는 word2vec모델을 학습시키는데 있어서 정말 엄청나게 많은 시간이 걸렸습니다.

 

* p.s.

그냥 강사님이 올려주신 colab을 바탕으로 실습안하고 눈으로만 보는게 나을까요? ㅠㅠ

실습하는데 어려움이 너무 많이 따르네요.., ㅠㅠ

저는 처음 수업을 시작했을 때 생각은 머신러닝 관련된 기법에 대해서 이해하는 방향으로 수업을 듣고 이해하고 싶었는데,

텍스트 데이타라는 비정형 데이터의 처리법의 어려움 때문인지 아니면 관련 처리를 하는 라이브러리를 다루는데 있어서 어려움 때문인지.., 머신러닝 기법들의 개념들이 정리가 안되고 갈수록 어렵네요.., ㅠㅠ

시간이 오래걸리거나 하는 라이브러리라던가 아니면 수업 중 애로사항들은 개선이 되었으면 합니다.

뭔가 많이 아쉽습니다. ㅠㅠ

 

/******************************************************/

↓ 관련 내용들

/******************************************************/

prob 3> word2vec모델을 학습

: 거의 15시간 하루에 반나절 가량 걸렸던 것 같습니다.

len(sentences) 가 795538 인데

데이타 양이 많아서 이렇게 오래걸리는건가요? 이 정도로 시간이 오래 걸리는게 맞나요?

그리고 학습을 시킨 후 모델결과를 탐삭해는데 있어서 데이타가 stemming 처리가 안됬는데 이 부분은 제가 앞에서 처리를 잘못한 문제일까요? 모델 학습시키는것과 관련이 있나요?

 

제가 궁금한거는 ① 학습시간이 15시간이나 걸림. 이렇게 오래 걸리는게 맞음?

그리고 ② stemming 처리가 안됨. 모델 학습관련 문제인지 아니면 앞전에서 내가 무언가 처리를 빠뜨린건지?

입니다.

 

 

prob 2> KaggleWord2VecUtility.apply_by_multiprocessing?

관련 함수가 있는 소스를(KaggleWord2VecUtility.py) 다시 구글링에서 찾은 후 저의 현재 작업디렉토리에 해당 파일을 열어 해당 소스로 수정해주고 해당 라이브러리를 다시 임포트 후 실행을 해도 계속 apply_by_multiprocessing 함수를 찾을수 없다는 에러가 나옵니다.

혹시 파이썬 노트북을 새로 고침해야 한다거나 아니면 파일을 지우고 다시 해당 파일을 다운받는다거나 하는 작업이 필요할까요?

새로고침을 하고 싶은데 앞전에 modelling에서 15시간가량 걸린작업을 또 해야 할 것 같은 두려움에 새로고침은 하지 못했습니다. 지금 이틀동안 노트북도 끄지 않았습니다. ㅠㅠ

어떤 문제인지 모르겠습니다.

답변 1

답변을 작성해보세요.

0

안녕하세요. 학습에 대해 많은 어려움이 느껴져요 ㅠㅠ

① 학습시간이 15시간이나 걸림. 이렇게 오래 걸리는게 맞음?

=> 이건 장비의 성능에 따라 달라지는데 오래 걸리는 코드라 멀티스레드로 실행되도록 구현을 했어요. 로컬 장비에서 이렇게 오래 걸린다면 Colab으로 실행해 보실 것을 권장드립니다. Colab 으로 실행하면 몇 분이면 끝납니다.

그리고 ② stemming 처리가 안됨. 모델 학습관련 문제인지 아니면 앞전에서 내가 무언가 처리를 빠뜨린건지?

=>  아래 Colab 링크로 다시 돌려보시는 게 좋을거 같아요.

https://colab.research.google.com/drive/1BS75ExsTWotPP4L9fGgBfaweQaC4XuZ3