코딩 실력? 스킬.지식의 부족?

안녕하세요. 일단 칭찬해주셔서 너무 감사합니다.

아무래도 웹페이지를 구현하는 방법이 다양하다보니, 본 강의에서만 익힌 기술로 크롤링이 가능할지, 가능하지 않을지, 정확히 알기가 쉽지는 않은데요. wadiz 사이트를 봣는데, 평범한 사이트가 아니네요. HTML을 동적으로 만들어서 웹페이지를 만들어주고 잇는 것으로 보여져요. 특정 사이트에서는 웹페이지를 서버에서 한번에 다 가져와서 보여주는 것이 아니라, 사용자가 웹브라우저로 해당 웹페이지를 접속하고, 마우스등을 이용해서 사용자 엑션을 수행할 경우, 그 때 그 때 필요한 HTML 내용을 만들어서 보여주거든요. 이런 사이트는 크롤링 기본 기술로는 크롤링이 되지 않습니다. 아마 해당 웹페이지를 requests로 가져와서 출력해봐도, 원하는 HTML 데이터가 출력되지 않을꺼예요.

일단, 이런 사이트를 크롤링하는 것은 만만치 않은 일입니다. 제가 별도로 중급 과정으로 동적 웹페이지를 selenium이라는 기술을 사용해서, 웹브라우저를 프로그래밍으로 조작해서 크롤링할 수 있는 기술을 설명했는데요. 해당 기술을 쓰긴 해야 우선 뭐라도 크롤링이 가능하긴 합니다. 다만, 해당 사이트가 크롤링을 최대한 막으려고 다양한 보완기술을 사용했다면, 쉽지 않을 수 있구요. 또 selenium 기술이 웹브라우저를 조작하다보니, 프로그래밍처럼 항상 일관된 결과를 가져오기보다, PC 환경에 따라서 영향을 받을 수는 있어요. 이 경우에는 더욱 많은 고민을 해야해서, 시간이 굉장히 많이 걸릴 수 있기는 합니다.

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

제 의견은 만약 개발자가 되시려한다면, selenium 기술을 한번 익혀서 시도해보는 것도 좋을 것 같구요. 잘안되더라도 분명 배우는 바가 많을 것이니까요. 또 성공한다면 정말 기쁘실것 같구요. 그렇지 않고, 오로지 해당 사이트 크롤링 자체만 필요하다면, 현재 가지고 있는 크롤링 이해만 가지고, 잘하는 개발자를 구해서, 간단한 외주? 를 고려해봐도 좋을 것 같습니다.

감사합니다.