inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

네이버 카페 DB 추출 프로그램 개발 강의 [selenium]

4. 전체글 기반 추출 1 [페이지 분석]

계정 정보 찾을수가 없어요

306

akk1

작성한 질문수 4

0

 스크린샷 2024-04-29 111720.png로직이 바뀐거 같아서 질문 드립니다 .

영상처럼 위에 링크가 떠야되는데 아예 안뜨고

<script type="text/javascript">wordBreak($("article_0103378_0"));</script>

이런 걸 도저히 찾지 못하겠습니다.

 

스크린샷 2024-04-29 112111.png

블로그보기로 들어가서 계정아이디 확인하고 개발자도구에서

ctrl+ f 한다음 붙여놔도 아예 안뜨네요

중고나라 카페 로직이 바꼈는지 한번 봐주시면 감사하겠습니다

웹-크롤링 selenium flask

답변 2

0

akk1

스크린샷 2024-05-05 131548.png네트워크 탭을 통해 확인해보니 회원닉네임을 눌렀을때 블로그보기 나오는 닉네임들은 targetShowId 이곳에 id가 나오는데

스크린샷 2024-05-05 131602.png그렇지 않은 아이디들은 안나와서 어디에 있는지 도무지 모르겠습니다

확인 부탁드립니다

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다.
Shelby님, 질문해주신 내용에 대해 답변드립니다.

웹 사이트의 로직이 변경되어 기존에 사용하던 코드나 방법으로 원하는 정보를 추출하는 데 어려움을 겪고 계신 것 같습니다. 이 경우 크롬 개발자 도구(DevTools)를 이용하여 페이지의 새로운 구조를 분석하고, 필요한 정보를 얻을 수 있는 새로운 선택자(selector)를 찾는 과정이 필요합니다.

네이버 카페나 중고나라와 같은 커뮤니티 사이트는 주기적으로 페이지 구조를 업데이트하거나 변경할 수 있어, 이에 따라 스크립트나 크롤러도 업데이트해야 할 필요가 있습니다. $("article_0103378_0")와 같은 선택자가 더 이상 페이지에 존재하지 않는다면, 개발자 도구의 Elements 탭을 이용하여 현재 페이지 구조를 확인하고, 새로운 선택자를 찾는 것이 좋습니다.

추가적으로, 크롤링하는 과정에서는 페이지의 로딩 시간이나 AJAX를 통한 비동기적인 데이터 로딩 등을 고려해야 할 수도 있으니, 이 부분도 함께 확인해 보시기 바랍니다. AJAX 데이터의 경우 Network 탭을 통해 확인할 수 있습니다.

크롤링과 관련된 코드를 업데이트할 때는 웹사이트의 이용 약관을 확인하고, 사이트의 데이터를 사용할 때는 저작권이나 사용 허가에 대해서도 주의해야 합니다. 무엇보다도, 해당 사이트의 부하를 과도하게 발생시키지 않도록 주의할 필요가 있습니다.

도움이 될 만한 추가 자료나 문제 해결의 구체적인 방법을 찾기 위해서는 인프런과 같은 학습 플랫폼에서 관련 강좌를 찾아보시는 것을 추천드립니다.

질문에 대한 답변이 충분치 않았거나 더 자세한 도움이 필요하시면, 웹 개발 관련 커뮤니티나 포럼을 통한 질문도 고려해보시길 바랍니다.

파이썬크롤링수업중 예제사이트 연결이 안됩니다.

0

24

3

네이버증권 데이터 크롤링 불법?

0

39

2

naver 글자 수집 오류 건

0

27

1

62강 노션 링크 사용권한 승인 부탁드립니다.

0

31

2

62강 노션 링크 사용권한 승인 부탁드립니다.

0

29

1

PROJECT_STRUCTURE.md 파일 공유좀 해주세요

0

37

2

노션 사용권한 불편합니다.

0

36

2

노션 사용 권한 없음

0

39

2

섹션 5 부분 exe 파일 과정

0

25

1

Notion에서 이 페이지에 대한 사용 권한 없음

0

41

2

VCP 시그널 상태 추가 스크립트 에서 return_pct 조건

0

33

2

캐쉬가 업데이트 안됩니다.

0

37

2

노션 사용권한 요청

0

44

2

시각화_가이드 자료는?

0

42

2

거래대금에 대한 필터링 문제

0

42

1

41강에 vcp 결과가 다르게 나옵니다.

0

34

2

뉴스 검색에서 날짜 필터링

0

46

2

scorer.py 에 뉴스/재료 점수 부분이 없어요.

0

37

2

로직이 바껴서 실습이 전혀 안됨

0

225

1

환불요청 실습 진행 적용 불가

0

323

1

질문있습니다.

0

293

2

flask 서버에 접속이 안되는데 한 번 봐주세요.

0

1552

2

환경 잡는 부분이 없네요

1

270

2

이강의도

1

474

1