트위터 크롤링 관련해서 질문이 있습니다!

안녕하세요. 우선 이렇게 다양한 케이스에 대해 말씀해주셔서 감사합니다. 또한 강의 내용을 기반으로 일종의 코드 개선을 하신 부분도 정말 잘하신것같고, 이후에는 왠만한 사이트는 모두 크롤링이 되실것 같아서, 굉장히 히 기쁘네요.

다음으로, 아무래도 프로그램을 작성하다보면, 각자 다른 생각이 있을 수 있고, 원하는 바에 따라 이런 기능이 있었으면 좋겠다는 생각을 하실 수 있습니다. 그런 부분들을 미리 예단해서 설명을 하다보면, 굉장히 복잡해질 수 있는데, 그래도 괜찮긴 한데, 그렇게 하다보면, 난이도의 단계를 넘어서는 부분이 생기고, 그러다보면 또 너무 어렵다, 이해못하겠다라는 수강생분도 생기긴 해요. 

그래서 가장 보편적인 선에서, 복잡도를 넘어서지 않는 선에서 기능을 구현하고, 코드를 설명드린 부분이 있기는 합니다.

스크롤 기능이 가능하긴 한데요. 이 부분이 각 웹페이지마다 굉장히 다양하고, 해당 페이지에 적합하게 만들어야 하고, 그렇게 해도 다른 웹페이지에서는 정상 동작이 안되는 어려움이 있습니다. 또 실제 웹페이지는 자꾸 변경이 되다보니, 스크롤까지 엮이면, 실제 웹페이지의 경우는 매번 다른 이야기를 할 수 있는 어려움도 있기는 합니다.

일단은 말씀하신 기능은 다음 링크를 참고하시면 좋긴 한데, 트위터 웹페이지가 수시로 변경되서, 이 부분은 한번 확인해보시면 좋을 것 같습니다.

https://stackoverflow.com/questions/51717120/twitter-scroll-down-of-all-posts-using-selenium-python

다음 댓글 기능은 그동안은 변경된 부분이 없었는데, 역시 살짝 변경이 된 부분이 있을 수도 있을 것 같습니다. 그렇다고 하더라도 큰 맥락에서 그렇게 여러 동적 데이터를 크롤링하는 기술을 보여드린 예에서는 크게 무리가 없는 것 같아요. 댓글 전체를 가져오는 것 자체가 목적인 아닌 부분도 있어서요. 

말씀하신 부분에 대해서는 참고하겠습니다.

감사합니다.