inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

무한 스크롤 처리하기

무한스크롤을 하면 최상단 상품이 사라지는 경우

84

diebuster!

작성한 질문수 4

0

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!
- 먼저 유사한 질문이 있었는지 검색해보세요.
- 서로 예의를 지키며 존중하는 문화를 만들어가요.
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.

무한스크롤을 하면 하단에 없던 상품이 동적 로딩 되지만

상단 상품들이 사라지는 경우

강의에서 처럼 스크롤을 끝까지 내린다음이 아니라

스크롤을 조금씩 내리면서 상품을 담아야 할까요?

python 웹-크롤링

답변 2

0

스타트코딩

네 맞습니다~!

사이트의 스크롤 로직에 따라서 위 상품들이 사라지는 경우가 있어요

그러면 해당 로직에 맞춰서 개발을 해주셔야 합니다

 

고민 조금만 해보면 어떤식으로 개발을 해야할지

머리속에 그려지실 거에요 ^^

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. diebuster! 님

무한스크롤을 진행할 때 상단에 있던 상품들이 사라진다면, 이는 웹페이지가 특정 스크롤 위치에 도달할 때 새로운 데이터를 로드하면서 이전 데이터를 제거하는 ‘무한 스크롤’ 방식이기 때문일 수 있습니다. 이런 경우, 스크롤을 조금씩 내리면서 각 단계에서 데이터를 저장해 두는 방식이 도움이 될 수 있습니다.

지도하는 강의의 방식처럼 스크롤을 마지막까지 무작정 내리는 것이 아니라, 적절한 시점에 각 스크롤 단계의 데이터를 임시 저장해 두어야 합니다. 이 방법은 성능상 부담을 줄여주며, 필요한 데이터를 놓치지 않도록 도와줍니다. 이렇게 데이터가 확보되면, 이후 단계에서 추가 스크롤을 진행하며 그대로 데이터를 누적합니다.

아래는 이 문제를 해결하기 위한 개략적인 방법입니다:

  1. 적절한 스크롤 간격을 유지: 스크롤을 한 번에 끝까지 내리지 않고, 일정 간격으로 내리면서 데이터 수집을 진행합니다. 이를 통하여 웹 페이지가 한번에 너무 많은 변화를 일으키지 않도록 합니다.

  2. 데이터 누적 및 저장: 스크롤 내릴 때마다 현재 보이는 데이터를 저장합니다. 스크롤을 지속적으로 내리기 전, 저장된 데이터를 지속적으로 확인하고 추가적인 데이터를 수집하여 저장합니다.

이러한 방식으로 스크롤 범위 내의 데이터를 놓치지 않고 수집할 수 있을 것입니다.

해당 주제와 관련된 유사한 질문들이 다른 강의 게시판에 다수 올라와 있으니 참고하시기를 권장합니다. 예를 들어 무한 스크롤을 더 효과적으로 관리하기 위한 방법에 대한 논의는 무한 스크롤 질문드립니다. 와 같이 관련 게시물을 찾아보시면 도움을 받을 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해 드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

셀레니움 환경설정 오류

0

52

2

네이버 로그인 관련

0

282

2

안녕하세요 셀레니움에 대해서 질문

0

89

1

크롤링 연습사이트 문의

0

102

2

선택자 질문

0

74

2

'특정 요소가 나타날 때까지 스크롤' 부분 에러

0

78

2

자동 로그인 질문

0

90

2

44강 제목, 링크

0

107

1

원하는 값이 없을 때

0

91

2

크롤링한 링크가 엑셀로 들어가면 작동이 안되요

0

230

2

셀레니움 PDF자료는 받을 수 있나요

0

100

2

글목록 추출하기

0

100

2

메일 자동화 로그인 중복방지문자해결 오류 및 명시적 대기 질문

0

91

2

강의 노트가 어디에 있는건가요?

0

80

2

강의 커리큘럼 질문

0

102

1

조건문 else 사용하지 않는 이유

0

77

2

셀레니움으로 접근할 수 없는 경우

0

97

2

웹페이지 변경

0

75

2

자바스크립트로 태그 선택 시 질문입니다.

1

65

2

수료증은 어떻게 받나요?

0

122

2

class명을 활용하여 선택자를 만들지 않는 경우..?

0

61

2

드라이버가 안 열려요

0

79

2

이거 해결방법 아시는 분?

0

121

2

네이버 지식인 크롤링..

0

202

2