inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

input hidden type 검색 데이터 selenium 활용방법

821

this2u

작성한 질문수 1

0

안녕하세요

selenium을 활용하여, 특정 사이트를 검색하고자 하였는데,

데이터 input 창이 예제에서 보여주신 python 페이지의 타입과 같은 search가 아니라, hidden으로 설정되어 있어

같은 방법으로 시도하였을 때 

Message: element not interactable

  (Session info: chrome=90.0.4430.212)

에러 메세지가 나옵니다.

input 창의 검색은 연도를 검색하도록 되어있으며.
각 연도를 입력하였을 때 타이핑 혹은 클릭하도록 되어있습니다.
예) 2021년을 검색하려하면, 20까지 쳤을 때 20**년도의 항목 배너가 나와 클릭하거나, 끝까지 2021을 타이핑하여 선택할 수 있음.

페이지에서의 코드는 아래와 같으며,

<input id="periods" name="ps" type="hidden" class="ct-select2 select2-offscreen" data-placeholder="Select up to 5 periods." tabindex="-1" value="all" style="">


실제 페이지소스보기를 통해 들어가면
<input id="periods" name="ps" type="hidden" class="ct-select2" data-placeholder="Select up to 5 periods." />
<i><code>All</code> or a valid period. Up to 5 may be selected.</i>
로 나옵니다.

위와 같은 사이트에는 어떻게 적용할 수 있을지 확인부탁드립니다.

input 웹-크롤링 selenium scrapy

답변 1

0

잔재미코딩 DaveLee

안녕하세요. 말씀하신 부분은 강의 영상에 대한 내용이 아닌 부분이라서, 양해를 부탁드립니다.
본 질문/답변란은 본 강의의 영상이 이해가 안갈 경우등에 대한 질문/답변란이고요. 초반부 꿀팁 영상에서도 말씀을 드리고, 관련된 문의를 하신 질문/답변란에도 상세히 설명을 드렸는데요.
강의 자체가 평생 강의라서, 강의 영상이 아닌 문의까지 평생 답변을 드리는 부분은 무리가 있어서요.
또 온라인 수학 강의를 수강하면서, 강의에 나온 수학공식을 사용하는 강의 외의 문제나 문의를 평생 답변해주기를 기대하는 경우는 없는데요. 마찬가지로 본 강의도 이런 부분을 양해를 부탁드립니다.
매우 가볍게만 이해보면, 정확히는 어떤 데이터를 추출하는 것인지는 모르겠는데요. selenium 으로 어떻게 css selector 를 선택하였느냐에 따라, 다르긴 할텐데, 기본적으로 input 의 타입이 hidden 이라면, 그 것은 해당 웹페이지의 화면에 나오는 태그가 아니라서, selenium 은 해당 웹페이지의 화면 제어는 안될 것 같습니다. 다른 태그를 선택해봐도 좋지 않을까 합니다.
감사합니다.

코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다

0

641

1

scrapy를 jupyter 환경에서 할 수 있나요

0

372

1

[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.

0

326

1

[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문

0

232

1

[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문

0

285

1

xml을 parsing할때 <을 &lt; 로 인식합니다.

0

340

1

pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ

0

295

3

PhantomJS 문의

0

305

1

selenium 문의

0

337

1

브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의

0

3013

1

on error 해결 방법 질문

0

365

1

[팁] 윈도우 cmd 커맨드

0

355

1

[팁]Chrome User Agent 아는법

0

334

1

실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문

0

258

1

동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?

0

249

1

CSS Selector 에서 질문이 있습니다.

0

446

2

pip install scrapy 오류

0

496

1

셀레니움 실행불가

0

1593

1

실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.

0

231

1

언제 get_text()를 사용하고 또 언제 .text를 사용하나요?

0

300

1

강의교안자료 받을수있을까요?

0

271

1

[강의 9:27관련 질문] price, title 열 위치

0

162

1

div에 있는 클래스가 2개이면 어떻게 하나요?

0

371

1

css 셀렉터에 대해 질문이 있습니다.

0

154

1