크롤링 하는데 웹주소가 변동이없는건 어떻게해야하나요?
1711
작성한 질문수 22
안녕하세요 강사님
크롤링을 할때마다 종종 강의를 들으러 옵니다
수강시작한지는 오래됐지만 염치불구하고 질문드립니다
제가 이번에 게시판 이용자의 정치성향을 분석하려 데이터를 수집하는데
현정부에 긍정인 데이터를 수집하기위해
http://cafe.daum.net/moonfan
이 사이트에서 문재인을 검색하여 나오는 글 제목을 모두 크롤링하려했으나
주소의 변동이 아예없어서 url을 가져올수가 없습니다 ㅠ
네트워크탭에서 이것저것 뒤져봐도 파일이 너무많아서 어딜 봐야할지도 모르겠고,
text파일 보려고하면
이렇게 뜹니다,,, 권한이 없는것인지
이런경우에 어떻게 해야할까요..?
지금은 selenium으로 시도중인데
검색창에 접근하려고
이렇게 하여도
element가 존재하지 않는다고 합니다 ㅠ
더 괜찮은 방법이 있을지 여쭤봅니다!
답변 1
0
네이버 카페뿐 아니라 주소가 바뀌지 않는 웹페이지는 보통 프레임 구조로 동작하던가 아니면 ajax로만 동작한다고 생각하시면 됩니다.
말씀하신 카페 메인으로 접속을 해보면 위의 이미지에서 처럼 iframe 을 통해 접속이 되는걸 볼 수 있습니다. 이 iframe 의 src 속성이 실제 접속하는 주소가 되므로 이 주소를 직접 접속해서 분석을 해보시길 바랍니다. 웹크롤링을 하기 위해선 어떻게 웹페이지가 만들어지고 웹개발이 이뤄지는지.. 웹로직을 어느정도 이해하시면 많은 도움이 됩니다.
38강 = 연산자 더하고 빼기
0
59
2
주석처리
0
116
1
함수의 파라미터값 msg
0
154
1
강의자료 이미지 안나옴
0
238
3
강의자료 질문 두번째
0
164
3
강의자료 관련 질문
0
115
1
파이썬 예외 처리 try / except 파일 처리 코드가 실행이 안됩니다.
0
234
1
소수 너무 어려워요
0
244
1
imagefont 함수 사용
0
238
1
pylint
0
356
1
add 함수 문의 ㅠㅠ
0
281
1
형식 문의드립니다.
0
208
1
변수 명을 왜 src, tar로 하셨는지 궁금합니다.
0
601
1
숫자야구 코드를 짜 봤는데 뭔가 이상합니다.
0
250
1
zsh: command not found: pylint
0
268
1
텔레그램 봇 만들기 코드 실행이 안됩니다 박사님..ㅠ
0
545
1
질문드립니다.
1
373
2
list.reverse() 출력에 대해서 질문있습니다.
1
432
1
데코레이터 함수 및 동작시간 질문입니다.~
1
322
2
opencv 사용하면서 궁금한점 (해상도)
1
780
1
질문드립니다.
1
298
1
아래 오류가 뜨면서 vscode가 컴파일이 되지 않는데.. 혹시 왜이럴까요?
1
444
1
크롤링안되는 현상 문의 드립니다.
1
420
1
파이썬 크롤링 관련 문의
1
276
1