재미있게 공부중입니다 여러페이지 한번에 크롤링중

Question

재미있게 보면서 익히고 있습니다  여러페이지를 크롤링할때 url뒤쪽에 0~10까지 붙여서  링크를 하는건 알겠는데요 2페이지 3페이지 넘길때 url주소는 그대로 인경우가 있거든요  이럴때는 어떻게 해야하나요 예를 들어서 제가 지역별 매물을 크롤링하고 싶은데요 https://onland.kbstar.com/quics?page=C059652 서울시 무슨동를 검색해서 들어가도 주소는 변화가 없어서 당황스럽습니다 ㅎ 잘 부탁드립니다 감사합니다

funcoding · Answer

안녕하세요.  주소가 그대로인 경우는 get 이라는 방식이 아니라, post 방식으로 주소를 넘기는 것으로 이해가 됩니다. 그럴 경우에는 post 방식으로 해야하는데요. 설명이 매우 복잡한 또다른 기술이라서, 관련 부분은 글로 쓸 수 있는 상황은 아니예요. 이 부분은 양해를 부탁드립니다. 가볍게 다음 링크를 검토해보셔도 좋고, post 크롤링으로 검색해보시면 좋을 것 같습니다. https://www.fun-coding.org/crawl_advance2.html 아니라면, selenium/scrapy 과정에 있는 중급 크롤링 강의를 보시면서, selenium 으로도 가능합니다. 추가로 다음 새소식도 한번 양해를 부탁드리며, 참고부탁드립니다. ------------ 안녕하세요. 잔재미코딩 Dave Lee 입니다. 오늘은 한가지 공지를 드려요~~ 그동안 정말 다양하고 많은 분들께서 수강을 해주고 계시는데요. 그러다보니,  질문/답변 란에 동일한 이야기를 드릴 때가 많아서  공유를 드려요. 질문/답변 란에, 각자 원하시는 크롤링 코드 관련 문의를 해주시는 경우가 꽤 있었는데요. 그 때마다, 가급적 배려를 드리는 차원으로, 가볍게 볼 수 있는 부분에 대해서만 답변을 드리기는 했습니다.  하지만, 해당 질문/답변 란은 본 강의 영상과 관련한 질문이 있을 때를 답변해드리는 것이 기본 취지인 것 같아요.  온라인 수학 강의를 수강하면서, 강의에 나온 수학공식을 사용하는 강의 외에 각자 풀고 있는 수학 문제를 질문하고, 이를 풀어드리는 강의는 본 적이 없는데요.  마찬가지로 본 강의를 수강하시면서, 각자의 코드나, 각자 원하시는 크롤링 코드를 작성해드리거나, 함께 풀어나가는 것은 현실적으로 큰 무리가 있습니다. 더군다나 본 강의가 평생 수강이 가능하기 때문에, 이를 지원해드릴 경우, 본 강의를 들으면 내가 원하는 크롤링 코드는 모두 해결해드려야 하는 오해 아닌 오해도 생길 수 있고요.  심지어, 저도 실제 코드를 작성해봐야 해서, 코드를 작성하느라 답변이 늦어지면, 다른 답변이 늦어질 수도 있어서, 다른 수강생분들께도 문제가 될 수 있을 것 같습니다. 그래서,  질문/답변란에 문의를 주실 때에는 각자의 원하시는 크롤링 코드 관련 문의는 안해주시면  감사하겠습니다.  이 부분 꼭 양해를 부탁드립니다. 또한 가능하다면,

major · Answer

설명감사합니다