인프런 커뮤니티 질문&답변

따뜻한 산호님의 프로필 이미지
따뜻한 산호

작성한 질문수

파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)

크롤링할 페이지가 없는 경우 확인 방법과 여러 페이지 한번에 크롤링하는 기법 (업데이트)

request.get은 반복 성공한거 같은데 print하면 마지막페이지만 나오되네요..

해결된 질문

작성

·

419

0

print가 5번 반복범위가 출력이 안되고 마지막 5페이지만 출력이 되네요 ㅠㅠ 계속 고민해보다 결국 못찾아 질문드립니다.!!

답변 1

0

안녕하세요. 각자 원하시는 코드에 대해서는 꼭 좀 양해를 부탁드립니다.

공지드린 내용을 다음과 같이 확인해주시면 감사하겠습니다.

코드 자체로는 정확히 무슨 이야기인지도 사실 잘  모르겠어요. 보통 여러 페이지를 크롤링해서, 각 데이터를 출력하려면, BeautifulSoup() 과 같이 파싱하고, select() 하는 구문도 반복문 안에 있어야 여러 페이지가 크롤링이 될 듯 한데, 지금 하신 것은 반복문으로 requests 만 하신 후, 반복문이 다 끝나고 나서, 파싱과 셀렉트를 하기 때문에, 맨 마지막 페이지에 대한 데이터만 가져올 것 같습니다. 반복문 안에서 각 페이지를 requests 한후에, 바로 파싱과 셀렉트를 하도록 해야, 여러 페이지에서 원하는 데이터를 가져올 것 같습니다.

감사합니다.

-----------

안녕하세요. 잔재미코딩 Dave Lee 입니다.

오늘은 한가지 공지를 드려요~~

그동안 정말 다양하고 많은 분들께서 수강을 해주고 계시는데요. 그러다보니, 질문/답변 란에 동일한 이야기를 드릴 때가 많아서 공유를 드려요.

질문/답변 란에, 각자 원하시는 크롤링 코드 관련 문의를 해주시는 경우가 꽤 있었는데요. 그 때마다, 가급적 배려를 드리는 차원으로, 가볍게 볼 수 있는 부분에 대해서만 답변을 드리기는 했습니다. 하지만, 해당 질문/답변 란은 본 강의 영상과 관련한 질문이 있을 때를 답변해드리는 것이 기본 취지인 것 같아요. 

온라인 수학 강의를 수강하면서, 강의에 나온 수학공식을 사용하는 강의 외에 각자 풀고 있는 수학 문제를 질문하고, 이를 풀어드리는 강의는 본 적이 없는데요. 마찬가지로 본 강의를 수강하시면서, 각자의 코드나, 각자 원하시는 크롤링 코드를 작성해드리거나, 함께 풀어나가는 것은 현실적으로 큰 무리가 있습니다.

더군다나 본 강의가 평생 수강이 가능하기 때문에, 이를 지원해드릴 경우, 본 강의를 들으면 내가 원하는 크롤링 코드는 모두 해결해드려야 하는 오해 아닌 오해도 생길 수 있고요. 심지어, 저도 실제 코드를 작성해봐야 해서, 코드를 작성하느라 답변이 늦어지면, 다른 답변이 늦어질 수도 있어서, 다른 수강생분들께도 문제가 될 수 있을 것 같습니다.

그래서, 질문/답변란에 문의를 주실 때에는 각자의 원하시는 크롤링 코드 관련 문의는 안해주시면 감사하겠습니다. 이 부분 꼭 양해를 부탁드립니다.

또한 가능하다면,

1) 어느 챕터의 몇분(:몇초)정도에서 이 부분이 이해가 안간다 와 같은 식으로 질문을 해주시면,

2) 강의에서 나온 코드는 이미지 캡쳐보다, 코드 자체를 텍스트로 질문에 붙여주시면,

훨씬 저도 이해가 빨라서, 빠르게 지금과 같이 상세하게 답변드릴 수 있을 것 같습니다.

감사합니다.~~~ 잔재미코딩 드림

따뜻한 산호님의 프로필 이미지
따뜻한 산호

작성한 질문수

질문하기