inflearn logo
강의

Khóa học

Chia sẻ kiến thức

Hiện tại, công nghệ trích xuất dữ liệu mạnh nhất: Khám phá Scrapy và Selenium

Thu thập thông tin trong thế giới thực: Kiểm soát trình duyệt của bạn để truy xuất nhiều dữ liệu khác nhau

셀레늄으로 네이버 로그인 불가능 한가요?

855

klue11051136

2 câu hỏi đã được viết

0

ㄴ이렇게 코드를 작성해서 네이버 로그인 해보려 했더니 안되던데..  방법이 있나요? ^^;

 

그리고 셀레늄으로 카페 매일 간단한 인사말 같은거 자동으로 남기는 것도 가능한가요? 

selenium 웹-크롤링 scrapy

Câu trả lời 3

1

funcoding

안녕하세요. 네이버는 크롤링을 가장 싫어해요. 그래서 셀레니움으로 할 때에도 이와 같이 다양한 방법으로 막고 있습니다. 

물론 뚤을 수도 있지만, 수시로 웹페이지를 바꿔서 그 때마다 또 막은 부분을 뚤는 것이 시간이 매우 많이 걸립니다.

카페와 로그인 기능은 다음 네이버에서 공식적으로 제공하는 API 를 사용하는 것이 가장 좋습니다. 다만 기능이 제한적이고, 카페의 경우에는 글쓰기시 이미지등이 들어가면, HTML이 적용이 안된다든지 하는 버그가 2017년도 부터 있어왔는데, 아직도 수정을 안한 것 같아요. 네이버는 가급적 접근 안하심을 추천드립니다. 정신건강에 정말 안좋더라고요.

https://developers.naver.com/docs/cafe/api/

0

RzR

id_field = driver.find_element_by_name('id')

id_field.clear()

id_field.send_keys('아이디아이디')

id_field.send_keys(Keys.RETURN)  -------> 이 줄을 삭제해보세요.

현재 코드는 id칸을 선택하고, 혹시 입력돼 있는 내용이 있으면 지우고, 아이디를 입력한 후, 엔터를 누르는 코드입니다.

문제는 비밀번호를 누르기 전에 아이디만 입력하고 엔터를 누른다는 것입니다.

아시다시피 평소에 네이버 로그인할 때 아이디만 입력하고 로그인 버튼을 누르면 로그인이 되지 않고 비밀번호를 잘못 입력한 것으로 인식될 수 있습니다. 이를 반복하면 기계로 의심해서 자동입력 방지 문자를 입력하는 페이지로 넘어가게 되죠.

아마도 기존 코드를 가지고 왜 되지 않는지 몇 번 테스트하셨던 것 같습니다. 네이버에 수동으로 로그인하셨다가 로그아웃하신 후 수정된 코드로 시도해보세요.

0

klue11051136

그렇군요~ 역시 네이버네요...ㅎㅎ  답변 감사합니다 ^^ 

코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다

0

630

1

scrapy를 jupyter 환경에서 할 수 있나요

0

363

1

[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.

0

316

1

[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문

0

223

1

[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문

0

282

1

xml을 parsing할때 <을 &lt; 로 인식합니다.

0

337

1

pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ

0

293

3

PhantomJS 문의

0

297

1

selenium 문의

0

332

1

브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의

0

3007

1

on error 해결 방법 질문

0

358

1

[팁] 윈도우 cmd 커맨드

0

349

1

[팁]Chrome User Agent 아는법

0

331

1

실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문

0

257

1

동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?

0

239

1

CSS Selector 에서 질문이 있습니다.

0

439

2

pip install scrapy 오류

0

488

1

셀레니움 실행불가

0

1587

1

실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.

0

229

1

언제 get_text()를 사용하고 또 언제 .text를 사용하나요?

0

290

1

강의교안자료 받을수있을까요?

0

265

1

[강의 9:27관련 질문] price, title 열 위치

0

161

1

div에 있는 클래스가 2개이면 어떻게 하나요?

0

369

1

css 셀렉터에 대해 질문이 있습니다.

0

148

1