inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

무한 스크롤 처리하기

여러 태그 제어하는 방법 강의 질문입니다

91

박종성

작성한 질문수 32

0

여러 태그 제어하는 방법 강의 질문입니다

해당 강의에서 알려주신대로 gmarket 에서 작업하면 봇으로 인식해서

진행이 안 됩니다.

사람인지 확인하는 절차가 나오는데

이 부분에서 더 이상 진행되지 않습니다.

강의를 위해서 만드신 사이트 말고 실제 gmarket 같은 곳에서

할 수 있는 방법을 알려주세요

python 웹-크롤링

답변 1

0

스타트코딩

안녕하세요
배운내용을 적용해보니 봇으로 인식이 되어서 불편하셨나보네요 ㅠ

그 마음 충분히 이해합니다 ㅠㅠ

질문에 대해서 한번 제 생각을 담아 답변 드려볼게요!!

 

우선 해당 기술들을

강의를 위해 만든 사이트에서 알려준 이유는

사이트의 업데이트가 일어나면 수강생들이 따라할 수 없어서입니다

이부분은 아마 이해가 되실거에요 ㅎㅎ

수강생들을 위해서 그렇게 강의를 진행했습니다.

 

그리고 중요한 내용이 있는데 자동화기술은

모든 사이트에 100% 적용가능하진 않습니다.

실전편에서 알려드리는 내용은 90~95% 가량 적용이 가능할거에요.

 

나머지 5~10% 사이트는 자동화를 막기위한

전문적인 보안기술들을 도입하고 있고

그걸 뚫기위해서는 일반적으로 알려진 방법으로는 힘들죠 ㅠ

이러한 내용은 다른 어떤 강의에서도 체계적으로 다루기 힘든 부분이라는 것을

이해해 주시면 감사하겠습니다

 

아마 지마켓이 클라우드플레어라는

전문 봇탐지 기술을 도입한것으로 알고 있는데 일반적인 방법으로는 어려울 겁니다 ㅠ

혹시 봇으로 인식할때 어떤 메세지가 뜨시나요???

그리고 코드가 있으면 같이 첨부해 주시면 확인해 보겠습니다 ㅎㅎ

셀레니움 환경설정 오류

0

52

2

네이버 로그인 관련

0

282

2

안녕하세요 셀레니움에 대해서 질문

0

89

1

크롤링 연습사이트 문의

0

102

2

선택자 질문

0

74

2

'특정 요소가 나타날 때까지 스크롤' 부분 에러

0

78

2

자동 로그인 질문

0

90

2

44강 제목, 링크

0

107

1

원하는 값이 없을 때

0

91

2

크롤링한 링크가 엑셀로 들어가면 작동이 안되요

0

230

2

셀레니움 PDF자료는 받을 수 있나요

0

100

2

글목록 추출하기

0

100

2

메일 자동화 로그인 중복방지문자해결 오류 및 명시적 대기 질문

0

91

2

강의 노트가 어디에 있는건가요?

0

80

2

강의 커리큘럼 질문

0

102

1

조건문 else 사용하지 않는 이유

0

77

2

셀레니움으로 접근할 수 없는 경우

0

98

2

웹페이지 변경

0

75

2

자바스크립트로 태그 선택 시 질문입니다.

1

65

2

수료증은 어떻게 받나요?

0

122

2

class명을 활용하여 선택자를 만들지 않는 경우..?

0

61

2

드라이버가 안 열려요

0

79

2

이거 해결방법 아시는 분?

0

121

2

네이버 지식인 크롤링..

0

202

2