-
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
네이버카페 글쓰기 관련하여 질문이 있습니다.
21.03.12 03:03 작성 조회수 321
0
이제 듣기 시작하는 중인데
기존에 크롤링 몇번 해보다가 막혔던 거 질문이 있습니다.
좀 더 고급진 크롤링,
상대방이 어느정도 막으려고 해놓은 것도
크롤링 하는 리얼 크롤링은 어떻게 배울 수 있을까요?
가령 네이버 카페 글쓰기를 크롤링해보려고 하는데요.
selector로 크롤링하다보면
'#SE-a2c1290e-85ee-4ca3-8619-18f42b8b72f7 > div.se-wrap.se-dnd-wrap > div > div.se-popup.se-popup-banner.se-popup-banner-black-type > div.se-popup-container > button'
이런 게 나옵니다...
페이지에 들어갈때마다
#SE-a2c1290e-85ee-4ca3-8619-18f42b8b72f7
이 부분이 바뀝니다.
단순히 css selector만 가지고는 크롤링이 막혀버립니다.
이것말고 예전에 다른 대형사이트도 크롤링 해보려고 했었는데,
저런식으로 막으려고 한다던가,
react-virtualzied list
같은 거 나오면
크롤링이 막힙니다....
이런 거는 어떤식으로 해야 크롤링 할 수 있을까요???
답변을 작성해보세요.
0
잔재미코딩 DaveLee
지식공유자2021.03.12
안녕하세요.
우선 현업에서 크롤링은 필요한 데이터를 수집하는 목적으로, 안정적인 사이트등을 대상으로 크롤링을 진행하는 것이 일반적입니다. 크롤링으로 수집된 데이터도 법적인 범위 하에, 문제 없는 경우로만 사용을 하고요. 리얼 크롤링이라는 것이 혹시 막는 사이트를 뚫는 것을 의미하시는 것이라면, 각자의 정의는 다른 것 같습니다.
또 카페 글쓰기? 는 네이버 카페에 글을 자동으로 쓰시려는 것을 말씀하시는 것인지 잘 모르겠습니다. 특히 네이버와 같이 대형 사이트가 크롤링을 풀어놓으면, 사이트 운영이 안될 정도가 될 수 있기 때문에, 다양한 방법으로 최대한 막아놓는 것이 어찌보면 당연한 것이니까요.
네이버 카페는 다음 API를 생각해보셔도 좋을 것 같고요.
https://developers.naver.com/products/cafe/
본 강의의 질문/답변란은 당연히 본 강의의 영상의 이해를 높이기 위해, 이해가 안되는 부분을 문의하시는 것이겠죠. 각자 원하는 사이트 크롤링을 문의하시는 것은 양해를 부탁드립니다. 저도 직접 다 해봐야 하는 것이기도 하니까요.
혹시라도, 자신이 원하는 사이트의 크롤링과 막아놓은 사이트를 뚫는 어떤 기술을 익히기를 원하신다면, 본 과정은 데이터 과학의 데이터 수집 기술을 익히기 위해, 중급 난이도의 데이터 수집 기술을 익히는 것을 목표로 하므로, 자신의 수강 목표가 맞는지는 확인을 해보시고, 정 맞지 않아서, 만족도가 높지 않다면, 수강을 더 하시기 전에 환불하셔도 괜찮습니다.
답변 1