안녕하세요 선생님! 질문있습니다.
233
작성한 질문수 10
웹 크롤링 관련해서 강의 너무 잘해주셔서 감사합니다!
다름이 아니라 웹이 아니라 앱크롤링은 대략 어떤 과정을 거쳐 진행하게되나요?
앱크롤링은 자료가 그렇게 많지는 않은 것 같아서 힌트를 얻을 수 있을까해서 질문드립니다.
감사합니다~!
답변 1
1
안녕하세요.
앱은 보통은 HTML/CSS 로 모바일 웹? 형태로 되어 있지 않은 경우가 많아서, 애매하긴할 것 같습니다.
제 생각에는 앱도 결국 프론트엔드로만 쓰고, 주요 데이터는 백엔드에서 받아오는 경우가 있을 것 같아서요.
그렇다면, 백엔드가 Rest API 를 쓰니까, 각 앱별로 네트워크를 분석해서, 어떤 데이터를 백엔드에서 받아오는지를 알아내서, 해당 Rest API 요청을 비슷하게 직접 해서, 데이터를 가져올 수는 있을 듯도 한데요.
그런데, 보통 이런 경우, 백엔드에서 플레인 텍스트 형태가 아닌, 암호화된 형태로 데이터를 전송할 수 있어서,
암호화된 형태라면, 난이도가 상당히 높을 수는 있을 것 같아요.
다음 링크에서도 유사한 글이 써있어서, 이 부분도 참고해보시면 좋을 것 같습니다.
https://kin.naver.com/qna/detail.nhn?d1id=1&dirId=1040104&docId=323075880&qb=7YGs66q9IO2BrOuhpOungQ==&enc=utf8§ion=kin.qna&rank=2&search_sort=0&spq=0
감사합니다.
[REST API] data의 교환방식 질문
1
666
1
headless chrome 오류 문의
0
1488
1
Selenium 처리 속도 관련 문의드립니다.
0
1955
1
동적 웹사이트에서 element가 선택되지 않는 문제에 관해 질문드립니다
0
687
1
webdriver manager
0
440
1
__init__() got an unexpected keyword argument 'service' 에러 질문드립니다.
1
11713
1
Jupiter NoteBook 파일과 PDF 파일은 어디서 다운로드 받을 수 있나요?
0
444
1
scrapy option질문
1
244
1
response.css 질문드립니다.
0
372
1
scrapy 크롤링 수행시 ffi.callback() 에러가 발생합니다
0
397
1
selenium으로 여러페이지 수집시 질문
0
381
1
연습6 모범 코드: 로그인 시나리오 해보기
0
272
1
셀레니움 문법 업그레이드 , find_element_by_tag_name 오류
3
2832
1
셀레니움 버전 변경으로 인한 코드 변경
0
1285
1
headless error
0
441
1
질문있습니다!
0
463
1
selenium&scrapy문의
0
280
1
아래분(phantele47)과 동일한 문제가 발생해서 문의드립니다.
0
910
6
ip 차단을 피하려면 어떻게 해야 하나요?
0
3370
2
start_urls = ['']가 제공해주신 것과 다르게 작동합니다.
1
287
2
json, data = json.loads(response.body_as_unicode()) 부분에 문제가 있는 것 같습니다.
0
604
3
웹크롤링이 상대방 서버에 부담이 될 때는 어떻게 하나요~?
0
685
1
scrapy 윈도우버전의 설명은 따로 없나요??
0
332
1
json 으로 저장이 안되네요
0
2133
1