inflearn logo
강의

講義

知識共有

現在最強のクロール技術: ScrapyとSeleniumを征服

本番クロール:ブラウザを制御してさまざまなデータをインポートする

실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문

253

SOO MIN CHOI

投稿した質問数 1

0

안녕하세요. 선생님
 
선생님 강의를 따라하며 정말 잘 듣고 있습니다.
실전 크롤링의 트위터 사이트 로그인 강의를 따라하다 질문이 있어서 이 곳에 글을 올립니다.
 
선생님께서 강의를 만드셨을 때의 트위터 사이트와 현재의 트위터 사이트가 다르게 바뀌었습니다.
 
선생님께서 올려주신 새소식의 공지사항을 읽어보고 로그인 및 크롤링을 다시 시도를 해보았지만 잘 되지 않았습니다.

선생님께서 가르쳐 주신 방법으로 driver.find_element_by_name 으로 "username"과 "password"를 입력하려고 시도하였지만 이것도 잘 되지 않아 어떻게 해결 할 수 있을지 모르겠어서 질문을 드립니다.

트위터 웹-크롤링 scrapy selenium

回答 1

1

funcoding

안녕하세요. 우선은 알려주셔서 감사합니다. 

저도 수시로 확인해보기도 하지만, 아무래도 초기에 강의를 만들때, 실제로 도움이 되실까 해서, 가장 다양한 실전 사이트들을 크롤링해보다보니, 여러 실전 사이트에서 이슈가 있었습니다.

기존에는 실전 사이트 예제는 사이트가 수시로 바뀜에 따라, 변경된 사이트에서도 동작하는 코드를 별도로 새소식에 공유드렸고, 트위터 사이트도 마찬가지로 공유드렸었습니다.

다만, 이번에는 아예 개인 ID 로 로그인할 수 있는 관련 메뉴가 없어져서, 동작할 여지가 아예 없어져서, 부득이 관련 영상 부분은 삭제하였습니다.

추가로 로그인을 자동으로 하도록 허용하는 것은 아무래도 보안적 이슈가 크기 때문에, 로그인이 필요한 좋은 사이트들은 수시로 사이트를 변경하고, 로그인 메뉴의 보안을 강화하는 것이 일반적입니다. 따라서, 계속해서 자동으로 로그인이 가능할만한 사이트를 추가로 찾기에는 무리가 있는 것 같습니다.

사실 그렇다하더라도, 다양한 기법을 보여드린다는 차원에서 참고가 될 수 있을 것 같아서, 강사로써의 아쉬움은 있지만, 어찌되었건, 코드가 정상동작해야, 보다 많은 수강생분들께서, 아쉬움없이 들으실 수가 있어서, 이 부분은 양해를 부탁드립니다.

 

 

0

SOO MIN CHOI

선생님 안녕하세요.
선생님 강의를 보고 도움을 많이 받고 있습니다. 감사합니다.
답변을 해주셔서 감사합니다. 

선생님의 노고가 많이 느껴졌습니다.

다만 선생님의 의도하신 대로 다양한 기법을 볼 수 있어서 정말 많이 참고가 되는 영상이였습니다. 혹시 괜찮으시다면 비록 정상작동은 되지 않더라도 영상을 다시 볼 수 있는 기회를 주시면 안될까요?

코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다

0

625

1

scrapy를 jupyter 환경에서 할 수 있나요

0

359

1

[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.

0

313

1

[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문

0

220

1

[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문

0

278

1

xml을 parsing할때 <을 &lt; 로 인식합니다.

0

333

1

pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ

0

291

3

PhantomJS 문의

0

293

1

selenium 문의

0

328

1

브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의

0

3003

1

on error 해결 방법 질문

0

356

1

[팁] 윈도우 cmd 커맨드

0

346

1

[팁]Chrome User Agent 아는법

0

327

1

동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?

0

237

1

CSS Selector 에서 질문이 있습니다.

0

434

2

pip install scrapy 오류

0

482

1

셀레니움 실행불가

0

1577

1

실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.

0

225

1

언제 get_text()를 사용하고 또 언제 .text를 사용하나요?

0

286

1

강의교안자료 받을수있을까요?

0

262

1

[강의 9:27관련 질문] price, title 열 위치

0

159

1

div에 있는 클래스가 2개이면 어떻게 하나요?

0

367

1

css 셀렉터에 대해 질문이 있습니다.

0

147

1

계쏙 질문해서 죄송합니다...

0

227

1