인프런 커뮤니티 질문&답변
작성한 질문수
sparse matrix를 추천 알고리즘에 적용하기에서
해결된 질문
작성
·
278
0
안녕하세요 거친코딩님!
Sparse Matrix를 추천 알고리즘에 적용하기 파트에서
#Sparse matrix를 추천 알고리즘에 적용
import os
import numpy as np
import pandas as pd
base_src = 'drive/MyDrive/RecoSys/Data'
ratings_20m_src = os.path.join(base_src,'ratings-20m.csv')
r_cols = ['user_id','movie_id','rating','timestamp']
# 20M data 읽기
ratings = pd.read_csv(ratings_20m_src,
names=r_cols,
sep=',',
encoding='latin-1')
R_temp = ratings.pivot(index='user_id',columns='movie_id',values='rating').fillna(0)
이 코드는 오류가 난다 하셨잖아요?(too big) 근데 코랩에서 계속 정상적으로 실행이 되는데..
왜 그런건가요?
답변 1
1
거친코딩
지식공유자
안녕하세요.
거친코딩입니다.
해당 영상이 작년 2021년 10월쯤 촬영했는데, 그 당시 Colab의 성능은 해당 데이터를 제대로 담지 못했습니다.
그리고 사실 해당 강의 내용의 취지 또한 현재 코드가 돌아가냐 안돌아가냐가 중요한 것이 아니라,
앞으로 지금 데이터보다 더 큰 데이터의 경우 또한 Colab에 안돌아갈 수 있고,
향후 추천시스템 구축을 할 때도 Sparse한 데이터가 많다면 학습의 성능에 큰 영향을 줄 수 있기 때문에
Sparse Matrix를 위한 또다른 조치가 필요하다는 취지의 영상이라고 이해해주시면 감사하겠습니다.
또 궁금하신 내용이 있다며 언제든 질문남겨주세요.
감사합니다.
-거친코딩 드림-