실시간 처리 질문

안녕하세요.

거친코딩입니다.

먼저 개인 사정으로 인해 답변을 늦게드린 점 진심으로 사과드립니다.

질문주신 부분에 답변드리면 다음과 같습니다.

1.Q) 많은 데이터들을 모두 메모리에 올리고 하나요?

1.A) 일단 강의 맨 뒷부분을 보시면 해당 내용이 나오긴 하지만, 간단히 설명드리면, CF 모델의 경우 많은 메모리 소비가 들기 때문에 말씀하신대로 인메모리로 실제 비즈니스 서비스를 하기는 매우 어렵습니다. 그래서 보통 CF 모델을 사용하시는 경우에는 로컬 컴퓨터가 아닌 클라우드 환경에서 분산처리(spark와 같은)를 통해 사용하게 됩니다. 아니면 실제 트래픽이 적은 시간에 미리 돌려 놓고, 결과 값을 미리 데이터베이스에 저장해놓는 방식도 있습니다. 하지만 이러한 방법들은 인프라 유지비용이 많이 들 수 있기 때문에 딥러닝과 같은 모델 방법론을 통해서 미리 학습된 모델을 필요할 때마다 input을 집어넣어 실시간성으로 활용하곤 합니다. 그래서 각자 현업 환경에 맞게 사용하는 것이 일반적입니다.

2.Q) 지금 알려주시는 방법들이 실무에서 사용이 되나요?

2.A) 물론입니다. 실제 비즈니스 사용에 실시간으로 사용가능하냐는 질문에는 1번의 답처럼 미리 추천결과물을 저장해놓거나 분산처리를 하거나, 혹은 딥러닝 모델을 통해서 실시간 서비스를 사용할 수 있습니다.

3.Q) 시간을 변수로 활용할 수 있나요?(이렇게 이해했는데, 다르다면 말씀부탁드립니다.)

3.A) CF 모델이나, MF 모델의 경우 새로운 변수(user_id, item_id 이외의)를 추가해서 추천 알고리즘을 만드는 것은 꽤나 복잡합니다. 그래서 변수 추가의 다양성을 위해서는 딥러닝 모델을 사용하시면 될 것 같습니다. 변수 추가를 통한 딥러닝 강의가 커리큘럼에 있으니 참고해주시면 감사하겠습니다. 마지막으로 시간은 시계열 데이터이고, 학습자님이 질문하신 것처럼 정답은 없고 만드는 사람의 목적에 따라 변수 엔지니어링이 필요해 보입니다. 시간의 우선을 고려한 변수 엔지니어링 후에 딥러닝 모델의 변수에 넣으시면 될 것 같습니다.

감사합니다.

-거친코딩 드림-