쿠팡 크롤링 상품 순서 질문

강의 들으며 똑같이 코드를 작성했습니다.

다만, 로캣배송 badge_rocket 까지 작성했을 때, 막상 홈페이지에 나와있는 순위와 비교를 하며 보니 일치하지 않고 순서가 뒤죽박죽 되어 나와 있습니다. 또한 화면 상에서는 광고 표시가 없지만, 막상 html을 살펴보면 search-product search-product__ad-badge라고 되어 있는 경우도 있습니다. 혹 새로고침 할 때 마다 조금씩 바뀌어 제공하는 것 때문에 그런 것인지, 코딩 창과 홈페이지를 동시에 새로고침 해 보아도 순위가 정확하지 않습니다.

이런 상황에서 크롤링이 정확하게 되고 있는 지 어떻게 알 수 있나요?

쿠팡은 원래 접속할 때마다 다릅니다.

왼쪽은 크롬에서 노트북을 검색, 오른쪽은 웨일에서 노트북을 검색한 화면입니다. 바로 이어서 했으니 시간차는 1~2초는 있겠죠. 여기에 바로 이어서
왼쪽은 크롬 시크릿모드에서 노트북 검색, 오른쪽은 웨일 시크릿모드에서 노트북 검색한 화면입니다.

보시다시피 결과가 다 다릅니다.
쿠팡이 어느정도인가하면 특정 키워드의 모든 제품을 수집하려고 코드를 짜서 실행해보면 바로 연달아서 실행해도 갯수가 다릅니다. 1천개 검색되던 제품이 이어서 해보면 9백개 나오기도, 그 다음은 1천1백개 나오기도 합니다.
광고도 마찬가지로 항상 같은 광고가 나오는건 아닌거죠.
requests로 접속해서 가져온 제품과 내가 눈으로 보고 있는 쿠팡 화면의 제품을 완벽하게 일치할 수 있는 방법은 없습니다.

특히,
로그인 한 화면과 로그인 안한 화면, 여러 번 들어갔던 화면과 아예 첫 접속일 때 차이가 더 커집니다.
그건 쿠팡에서 접속한 사람들에게 맞춰서 제품을 보여주기 때문입니다.
그래서 최대한 내가 원래 사용하는 환경을 맞춰서(로그인 등) 크롤링을 하더라도 의미가 없습니다.
다른 사람들에게는 또 다르게 보이기 때문이죠.

인프런 커뮤니티 질문&답변