🤍 전 강의 25% 할인 중 🤍

2024년 상반기를 돌아보고 하반기에도 함께 성장해요!
인프런이 준비한 25% 할인 받으러 가기 >>

  • 카테고리

    질문 & 답변
  • 세부 분야

    딥러닝 · 머신러닝

  • 해결 여부

    해결됨

sparse matrix를 추천 알고리즘에 적용하기에서

22.07.11 02:11 작성 조회수 180

0

안녕하세요 거친코딩님!

Sparse Matrix를 추천 알고리즘에 적용하기 파트에서

#Sparse matrix를 추천 알고리즘에 적용
import os
import numpy as np
import pandas as pd
base_src = 'drive/MyDrive/RecoSys/Data'
ratings_20m_src = os.path.join(base_src,'ratings-20m.csv')
r_cols = ['user_id','movie_id','rating','timestamp']
# 20M data 읽기
ratings = pd.read_csv(ratings_20m_src,
                      names=r_cols,
                      sep=',',
                      encoding='latin-1')
R_temp = ratings.pivot(index='user_id',columns='movie_id',values='rating').fillna(0)

 

이 코드는 오류가 난다 하셨잖아요?(too big) 근데 코랩에서 계속 정상적으로 실행이 되는데..

왜 그런건가요?

답변 1

답변을 작성해보세요.

1

안녕하세요.

거친코딩입니다.

해당 영상이 작년 2021년 10월쯤 촬영했는데, 그 당시 Colab의 성능은 해당 데이터를 제대로 담지 못했습니다.

그리고 사실 해당 강의 내용의 취지 또한 현재 코드가 돌아가냐 안돌아가냐가 중요한 것이 아니라,

앞으로 지금 데이터보다 더 큰 데이터의 경우 또한 Colab에 안돌아갈 수 있고,

향후 추천시스템 구축을 할 때도 Sparse한 데이터가 많다면 학습의 성능에 큰 영향을 줄 수 있기 때문에

Sparse Matrix를 위한 또다른 조치가 필요하다는 취지의 영상이라고 이해해주시면 감사하겠습니다.

또 궁금하신 내용이 있다며 언제든 질문남겨주세요.

감사합니다.

 

-거친코딩 드림- 

채널톡 아이콘