sparse matrix를 추천 알고리즘에 적용하기에서
안녕하세요 거친코딩님!
Sparse Matrix를 추천 알고리즘에 적용하기 파트에서
#Sparse matrix를 추천 알고리즘에 적용
import os
import numpy as np
import pandas as pd
base_src = 'drive/MyDrive/RecoSys/Data'
ratings_20m_src = os.path.join(base_src,'ratings-20m.csv')
r_cols = ['user_id','movie_id','rating','timestamp']
# 20M data 읽기
ratings = pd.read_csv(ratings_20m_src,
names=r_cols,
sep=',',
encoding='latin-1')
R_temp = ratings.pivot(index='user_id',columns='movie_id',values='rating').fillna(0)
이 코드는 오류가 난다 하셨잖아요?(too big) 근데 코랩에서 계속 정상적으로 실행이 되는데..
왜 그런건가요?
Answer 1
1
안녕하세요.
거친코딩입니다.
해당 영상이 작년 2021년 10월쯤 촬영했는데, 그 당시 Colab의 성능은 해당 데이터를 제대로 담지 못했습니다.
그리고 사실 해당 강의 내용의 취지 또한 현재 코드가 돌아가냐 안돌아가냐가 중요한 것이 아니라,
앞으로 지금 데이터보다 더 큰 데이터의 경우 또한 Colab에 안돌아갈 수 있고,
향후 추천시스템 구축을 할 때도 Sparse한 데이터가 많다면 학습의 성능에 큰 영향을 줄 수 있기 때문에
Sparse Matrix를 위한 또다른 조치가 필요하다는 취지의 영상이라고 이해해주시면 감사하겠습니다.
또 궁금하신 내용이 있다며 언제든 질문남겨주세요.
감사합니다.
-거친코딩 드림-
model.predict 의 결과 값 index가 왜 movie id ?
0
402
3
model.predict에 특정 user id로 상위 movie 5개 출력?
0
372
3
새로운 회원이 선택한 영화를 모델로 넘기는 방법 질문
0
297
1
올려주신 파일과 sparse matrix
0
335
1
Unable to allocate 55.9 GiB for an array with shape (25000, 100000, 3) and data type int64
0
993
3
사용자 집단별 추천 코드
0
246
1
무비렌즈 최신 데이터를 이용하고싶은데요~
1
325
2
추천시스템의 이진데이터 적용
1
336
1
평가 관련
1
269
1
딥러닝 추천시스템 변수추가 부분 코드 관련 질문입니다.
1
3531
1
딥러닝을 위한 추천시스템 원핫 인코딩 질문
0
284
1
CF_knn_bias 실습에서 not in index error 발생합니다.
0
704
3
MergeError가 납니다
0
555
2
코드 오류 질문입니다!
1
604
3
코드를 똑같이 따라햇을때
1
369
1
강의자료는 어디서 다운로드 받을 수 있나요?
0
312
1
train,test 분리 MF알고리즘에서 결과가 출력이 안되요 ㅠㅠ
1
389
1
알고리즘을 프로젝트에서 써보고 싶은데요
1
196
1
ML 방식 모델 활용방안에 대해서
1
247
1
그 외의 CF 정확도 개선방법에서
1
179
1
화면이 안나오는데 정상인가요?
1
210
1
아이템 기반 CF 코드 질문
1
297
3
실시간 처리 질문
1
201
1
CF 관련 질문
1
325
3

