쿠팡 크롤링 상품 순서 질문

쿠팡은 원래 접속할 때마다 다릅니다.

왼쪽은 크롬에서 노트북을 검색, 오른쪽은 웨일에서 노트북을 검색한 화면입니다. 바로 이어서 했으니 시간차는 1~2초는 있겠죠. 여기에 바로 이어서
왼쪽은 크롬 시크릿모드에서 노트북 검색, 오른쪽은 웨일 시크릿모드에서 노트북 검색한 화면입니다.

보시다시피 결과가 다 다릅니다.
쿠팡이 어느정도인가하면 특정 키워드의 모든 제품을 수집하려고 코드를 짜서 실행해보면 바로 연달아서 실행해도 갯수가 다릅니다. 1천개 검색되던 제품이 이어서 해보면 9백개 나오기도, 그 다음은 1천1백개 나오기도 합니다.
광고도 마찬가지로 항상 같은 광고가 나오는건 아닌거죠.
requests로 접속해서 가져온 제품과 내가 눈으로 보고 있는 쿠팡 화면의 제품을 완벽하게 일치할 수 있는 방법은 없습니다.

특히,
로그인 한 화면과 로그인 안한 화면, 여러 번 들어갔던 화면과 아예 첫 접속일 때 차이가 더 커집니다.
그건 쿠팡에서 접속한 사람들에게 맞춰서 제품을 보여주기 때문입니다.
그래서 최대한 내가 원래 사용하는 환경을 맞춰서(로그인 등) 크롤링을 하더라도 의미가 없습니다.
다른 사람들에게는 또 다르게 보이기 때문이죠.