안녕하세요. 요청하시는 부분이 수강자분께서 원하시는 크롤링 프로그램을 봐드리는 것인데요. 강좌에서 제시하는 크롤링 코드에 대해 문의를 주신다면 답변이 가능하지만, 각자 원하시는 크롤링 프로그램을 봐드리는 것은 무리가 있어서요. 왜냐하면,

크롤링은 웹페이지마다 다양한 케이스가 있어서요. 각자 원하시는 웹페이지를 위한 코드를 만든 후, 해당 부분에 어떤 부분이 문제가 있는지를 알기 위해서는 제가 직접 해당 웹페이지를 크롤링하는 프로그램을 작성해봐야 하거든요. 혹여나 시간을 들여서 프로그램까지 만들어서 답변드리게 되면, 오해 아닌 오해로, 모든 수강생분들이 이 강의를 들으면 각자가 원하는 크롤링 프로그램을 심지어 평생 요청하면 만들어준다는 오해까지 할수 있어서요. 이 부분은 꼭 좀 양해를 부탁드립니다.

간략하게만 말씀드리면, form에 필요한 데이터를 넣었다고 할지라도, 크롤링으로의 로그인을 막기 위해, 세션 정보 등 추가적인 정보를 함께 받아서 로그인을 허용하는 경우가 있어요. 이런 경우는 크롤링으로 인한 로그인을 막기 위해 강제로 여러 가지 기법을 사용한 것이기 때문에, 하나하나를 뚫기가 쉽지 않을 수 있고, 설사 뚫는다 손치더라도 시간이 굉장히 많이 걸릴 수 있습니다. 그래서 꼭 로그인이 필요하다면, 이와 같은 경우에는 selenium을 통해 브라우저를 제어해서, 프로그래밍으로 ID/PASSWORD를 브라우저 상에서 넣어서 마치 사람이 로그인을 하는 것처럼 할 수는 있습니다. (물론 이 기법도 웹사이트상에서 막을 수 있는 방법이 있어서 만능은 아니지만, 왠만한 사이트는 모두 가능합니다.) 

다시한번 이 부분 간곡히 양해를 부탁드리며, 위의 조언도 도움이 되었으면 좋겠습니다. 감사합니다.