강의

멘토링

커뮤니티

인프런 커뮤니티 질문&답변

이승현님의 프로필 이미지
이승현

작성한 질문수

쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]

안녕하세요 선생님! 질문있습니다.

작성

·

217

0

웹 크롤링 관련해서 강의 너무 잘해주셔서 감사합니다!

 

다름이 아니라 웹이 아니라 앱크롤링은 대략 어떤 과정을 거쳐 진행하게되나요?

 

앱크롤링은 자료가 그렇게 많지는 않은 것 같아서 힌트를 얻을 수 있을까해서 질문드립니다.

 

감사합니다~!

답변 1

1

안녕하세요.

 

앱은 보통은 HTML/CSS 로 모바일 웹? 형태로 되어 있지 않은 경우가 많아서, 애매하긴할 것 같습니다.

제 생각에는 앱도 결국 프론트엔드로만 쓰고, 주요 데이터는 백엔드에서 받아오는 경우가 있을 것 같아서요.

그렇다면, 백엔드가 Rest API 를 쓰니까, 각 앱별로 네트워크를 분석해서, 어떤 데이터를 백엔드에서 받아오는지를 알아내서, 해당 Rest API 요청을 비슷하게 직접 해서, 데이터를 가져올 수는 있을 듯도 한데요.

 

그런데, 보통 이런 경우, 백엔드에서 플레인 텍스트 형태가 아닌, 암호화된 형태로 데이터를 전송할 수 있어서,

암호화된 형태라면, 난이도가 상당히 높을 수는 있을 것 같아요.

다음 링크에서도 유사한 글이 써있어서, 이 부분도 참고해보시면 좋을 것 같습니다.

https://kin.naver.com/qna/detail.nhn?d1id=1&dirId=1040104&docId=323075880&qb=7YGs66q9IO2BrOuhpOungQ==&enc=utf8&section=kin.qna&rank=2&search_sort=0&spq=0

 

감사합니다.

이승현님의 프로필 이미지
이승현

작성한 질문수

질문하기