구글 크롤링 검색관련하여 질문입니다.

Question

강의를 잘 듣고 있는 학생입니다. 다름이 아니라 응용을 하려고 하는데. 구글 검색결과 100개로 늘려서 제목을 크롤링 하는 것을 실행하면, 데이터가 단지 10개만 출력됩니다. 어떻게 하면 검색결과 모두를 크롤링 할 수 있을 까요? 검색결과를 늘리고, 뉴스를 클릭하고 크롤링을 했을 때, 페이지 전체에 데이터가 출력되지 않습니다. 그냥 10개만 출력되서 어떻게하면 출력을 늘릴수 있나 해서 여쭈어 봅니다. (이미지상에는 전체로 되어있지만, 뉴스를 클릭한 링크를 파싱하였습니다.)

잔재미코딩 DaveLee · Answer

안녕하세요. 아마도 해당 웹페이지가 10개만 보여주는 것 같은데요. 우선은, 본 강의 후반부에, 여러 페이지를 크롤링하는 예제도 보여드리고 있으니, 해당 부분을 참고해보시면 어떨까요? 혹시라도, 위 답변 외에, 만약 위의 특정 사이트에서 원하시는 100 개의 데이터를 크롤링하는 코드 자체를 요청하신 것이라면, 해당 부분은 강의 내용이 아닌, 원하시는 크롤링 코드에 대한 부분으로 양해를 부탁드립니다. 본 질문/답변란은 본 강의의 영상이 이해가 안갈 경우등에 대한 질문/답변란이라서요. 질문/답변 란에, 각자 원하시는 크롤링 코드 관련 문의를 해주시는 경우가 꽤 있었는데요. 그 때마다, 가급적 배려를 드리는 차원으로, 가볍게 볼 수 있는 부분에 대해서만 답변을 드리기는 했습니다. 하지만, 해당 질문/답변 란은 본 강의 영상과 관련한 질문이 있을 때를 답변해드리는 것이 기본 취지인 것 같아요. 온라인 수학 강의를 수강하면서, 강의에 나온 수학공식을 사용하는 강의 외에 각자 풀고 있는 수학 문제를 질문하고, 이를 풀어드리는 강의는 본 적이 없는데요. 마찬가지로 본 강의를 수강하시면서, 각자의 코드나, 각자 원하시는 크롤링 코드를 작성해드리거나, 함께 풀어나가는 것은 현실적으로 큰 무리가 있습니다. 더군다나 본 강의가 평생 수강이 가능하기 때문에, 이를 지원해드릴 경우, 본 강의를 들으면 내가 원하는 크롤링 코드는 모두 해결해드려야 하는 오해 아닌 오해도 생길 수 있고요. 심지어, 저도 실제 코드를 작성해봐야 해서, 코드를 작성하느라 답변이 늦어지면, 다른 답변이 늦어질 수도 있어서, 다른 수강생분들께도 문제가 될 수 있을 것 같습니다. 그래서, 질문/답변란에 문의를 주실 때에는 각자의 원하시는 크롤링 코드 관련 문의는 안해주시면 감사하겠습니다. 이 부분 꼭 양해를 부탁드립니다. 추가로, 강의 외적인 문의는 인프런에서도 다음 질문/답변 커뮤니티를 활성화하고 있는 것으로 이해하고 있으니, 다음 링크를 통해서 문의를 해보시는 것도 좋을 것 같습니다. https://www.inflearn.com/community/questions