inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[NLP] IMDB 영화리뷰 감정 분석을 통한 파이썬 텍스트 분석과 자연어 처리

[2/4] NLP 텍스트 데이터 전처리

멀티 프로세스 코드가 작동하지 않습니다

379

이준호

작성한 질문수 1

0

# 참고 : https://gist.github.com/yong27/7869662
# http://www.racketracer.com/2016/07/06/pandas-in-parallel/
from multiprocessing import Pool
import numpy as np

def _apply_df(args):
    df, func, kwargs = args
    return df.apply(func, **kwargs)

def apply_by_multiprocessing(df, func, **kwargs):
    # 키워드 항목 중 workers 파라메터를 꺼냄
    workers = kwargs.pop('workers')
    # 위에서 가져온 workers 수로 프로세스 풀을 정의
    pool = Pool(processes=workers)
    # 실행할 함수와 데이터프레임을 워커의 수 만큼 나눠 작업
    result = pool.map(_apply_df, [(d, func, kwargs)
            for d in np.array_split(df, workers)])
    pool.close()
    # 작업 결과를 합쳐서 반환
    return pd.concat(list(result))


%time clean_train_reviews = apply_by_multiprocessing(\
    train['review'], review_to_words, workers=8)  

%time clean_test_reviews = apply_by_multiprocessing(\
    test['review'], review_to_words, workers=4)    

 

위 코드를 돌리면 무한하게 돌아가고, cpu 사용량은 1자릿수로 유지됩니다.

NLP python

답변 2

0

이준호

싱글 프로세싱보다 오래걸리는게 정상인가요?

멀티 프로세싱을 공부중인데, 다른 예제도 정상적으로 안돌아가는 것 같아서 문의드립니다.

현재 개발 환경은 윈도우10, 라이젠 3500u입니다. 라이젠 때문에 안돌아갈 수도 있나요..?

0

박조은

안녕하세요. 위 코드는 실행시간이 조금 오래 걸리는 편이에요.

장비에 따라 속도 차이가 좀 나는데 아래의 링크로 실행하시면 구글 colab을 통해 코드를 실행해 보시는데 도움이 될거 같습니다.

https://colab.research.google.com/drive/1BS75ExsTWotPP4L9fGgBfaweQaC4XuZ3

word2vec 질문

0

306

1

질문 드립니다

0

326

1

%time clean_train_reviews = apply_by_multiprocessing(\ train['review'], review_to_words, workers=4)

0

329

2

한국어 텍스트 분석과 영어 텍스트 분석의 차이

0

551

1

코랩 실습 링크 파일 다시 올려주시면 안되나요?

0

465

1

강의 자료는 어디서 받을 수 있나요?

0

350

1

data폴더안에 tsv파일이 없다고 나오는데 어떻게 해야하나요?

1

719

4

젠심

1

386

1

질문드립니다

1

232

1

질문드립ㄴ디ㅏ

1

409

3

질문드립니다

1

335

2

word2vec 실행 오류

1

382

1

gensim 4.0 버전 문제

1

2173

1

멀티 프로세싱 오류 질문입니다

1

1099

1

1-2 NLP 텍스트 데이터 처리 오류 관련 질문드립니다.

1

352

1

1강 질문드립니다.

1

236

1

질문드립니다.

1

428

2

질문드립니다.

1

210

1

id 말고 어떤 영화인지는 어떻게 알수있을까요?

1

281

1

[NLP] IMDB 영화리뷰 감정 분석을 통한 파이썬 텍스트 분석과 자연어 처리

1

481

1

has no attribute 'syn0'

2

324

1

영상 "섹션1. [2/4] NLP 텍스트 데이터 전처리" 부분에 대해 질문 있습니다!

1

313

5

wget 오류

1

781

1

html5lib 과 lxml 에서 모두 에러가 발생하고 있습니다.

1

530

1