inflearn logo
강의

Course

Instructor

(UPDATED) Personalized Recommendation Systems using Python | Recommendation Algorithms | Recommendation AI

sparse matrix를 추천 알고리즘에 적용하기에서

Resolved

281

inuyasa742010

10 asked

0

안녕하세요 거친코딩님!

Sparse Matrix를 추천 알고리즘에 적용하기 파트에서

#Sparse matrix를 추천 알고리즘에 적용
import os
import numpy as np
import pandas as pd
base_src = 'drive/MyDrive/RecoSys/Data'
ratings_20m_src = os.path.join(base_src,'ratings-20m.csv')
r_cols = ['user_id','movie_id','rating','timestamp']
# 20M data 읽기
ratings = pd.read_csv(ratings_20m_src,
                      names=r_cols,
                      sep=',',
                      encoding='latin-1')
R_temp = ratings.pivot(index='user_id',columns='movie_id',values='rating').fillna(0)

 

이 코드는 오류가 난다 하셨잖아요?(too big) 근데 코랩에서 계속 정상적으로 실행이 되는데..

왜 그런건가요?

추천-시스템 딥러닝

Answer 1

1

거친코딩

안녕하세요.

거친코딩입니다.

해당 영상이 작년 2021년 10월쯤 촬영했는데, 그 당시 Colab의 성능은 해당 데이터를 제대로 담지 못했습니다.

그리고 사실 해당 강의 내용의 취지 또한 현재 코드가 돌아가냐 안돌아가냐가 중요한 것이 아니라,

앞으로 지금 데이터보다 더 큰 데이터의 경우 또한 Colab에 안돌아갈 수 있고,

향후 추천시스템 구축을 할 때도 Sparse한 데이터가 많다면 학습의 성능에 큰 영향을 줄 수 있기 때문에

Sparse Matrix를 위한 또다른 조치가 필요하다는 취지의 영상이라고 이해해주시면 감사하겠습니다.

또 궁금하신 내용이 있다며 언제든 질문남겨주세요.

감사합니다.

 

-거친코딩 드림- 

model.predict 의 결과 값 index가 왜 movie id ?

0

402

3

model.predict에 특정 user id로 상위 movie 5개 출력?

0

372

3

새로운 회원이 선택한 영화를 모델로 넘기는 방법 질문

0

297

1

올려주신 파일과 sparse matrix

0

335

1

Unable to allocate 55.9 GiB for an array with shape (25000, 100000, 3) and data type int64

0

993

3

사용자 집단별 추천 코드

0

246

1

무비렌즈 최신 데이터를 이용하고싶은데요~

1

325

2

추천시스템의 이진데이터 적용

1

336

1

평가 관련

1

269

1

딥러닝 추천시스템 변수추가 부분 코드 관련 질문입니다.

1

3531

1

딥러닝을 위한 추천시스템 원핫 인코딩 질문

0

284

1

CF_knn_bias 실습에서 not in index error 발생합니다.

0

704

3

MergeError가 납니다

0

555

2

코드 오류 질문입니다!

1

604

3

코드를 똑같이 따라햇을때

1

369

1

강의자료는 어디서 다운로드 받을 수 있나요?

0

312

1

train,test 분리 MF알고리즘에서 결과가 출력이 안되요 ㅠㅠ

1

389

1

알고리즘을 프로젝트에서 써보고 싶은데요

1

196

1

ML 방식 모델 활용방안에 대해서

1

247

1

그 외의 CF 정확도 개선방법에서

1

179

1

화면이 안나오는데 정상인가요?

1

210

1

아이템 기반 CF 코드 질문

1

297

3

실시간 처리 질문

1

201

1

CF 관련 질문

1

325

3