평가 관련
안녕하세요 강사님. 평가 지표에 관련된 내용을 여쭤보려고 합니다. mAP, nDCG 같은 성능을 측정하려면 어떻게 해야 하나요?
Answer 1
1
안녕하세요.
제가 답변이 늦어진 점 사과의 말씀 먼저 드립니다.
일단 추천시스템 관련해서 평가지표는 좀 다양할 수 있습니다.
학습자님께서 말씀하신 것처럼 mAP와 nDCG도 함께 고려될 수 있습니다.
기존 mAP와 nDCG의 경우, 다른 평가지표와 확연한 차이점은 "순서" 입니다.
그래서 일단 mAP 같은 경우는 수식을 따로 설명드리는 것보다,
각 추천한 아이템들의 각각의 precision을 구해서 선택된 아이템들의 숫자로 평균을 내는 방식입니다.
(구체적인 수식은 다음 링크를 통해서 확인가능합니다.)
nDCG의 경우, mAP와 비슷하게 순서를 고려하긴 하지만
차이점이라고는 1)순서에 대한 가중치를 줄 수 있다는 점과 2) mAP에서 사용되는 binary한 방식과는 다르게 relevance란 추상적인 개념 덕분에 지표에 대한 Custom이 가능합니다.
(구체적인 수식은 다음 링크를 통해서 확인가능합니다.)
질문에 대한 답변이 되셨길 바라겠습니다.
추가적인 질문은 대댓글 남겨주세요.
감사합니다.
거친코딩 드림.
model.predict 의 결과 값 index가 왜 movie id ?
0
402
3
model.predict에 특정 user id로 상위 movie 5개 출력?
0
372
3
새로운 회원이 선택한 영화를 모델로 넘기는 방법 질문
0
297
1
올려주신 파일과 sparse matrix
0
335
1
Unable to allocate 55.9 GiB for an array with shape (25000, 100000, 3) and data type int64
0
993
3
사용자 집단별 추천 코드
0
246
1
무비렌즈 최신 데이터를 이용하고싶은데요~
1
325
2
추천시스템의 이진데이터 적용
1
336
1
딥러닝 추천시스템 변수추가 부분 코드 관련 질문입니다.
1
3531
1
딥러닝을 위한 추천시스템 원핫 인코딩 질문
0
284
1
CF_knn_bias 실습에서 not in index error 발생합니다.
0
704
3
MergeError가 납니다
0
555
2
sparse matrix를 추천 알고리즘에 적용하기에서
0
281
1
코드 오류 질문입니다!
1
604
3
코드를 똑같이 따라햇을때
1
369
1
강의자료는 어디서 다운로드 받을 수 있나요?
0
312
1
train,test 분리 MF알고리즘에서 결과가 출력이 안되요 ㅠㅠ
1
389
1
알고리즘을 프로젝트에서 써보고 싶은데요
1
196
1
ML 방식 모델 활용방안에 대해서
1
247
1
그 외의 CF 정확도 개선방법에서
1
179
1
화면이 안나오는데 정상인가요?
1
210
1
아이템 기반 CF 코드 질문
1
297
3
실시간 처리 질문
1
201
1
CF 관련 질문
1
325
3