inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Node.js로 웹 크롤링하기

4-2. 인피니트 스크롤 태그 분석하기

선생님 아무리 해도 안되는 부분이 있어서 올립니다.ㅜㅠㅜㅜ

255

백용익

작성한 질문수 5

0

해당 영상에서는 postman에서 안켜지는 동적으로 나온 이미지들을 selector를 이용해서 가져오는 것으로 보이는데요.

아래의 코드를 사용해서 카카오맵 상세화면 크롤링 해오려고 하는데 셀렉터로 찾게된 div class 'info_menu'를 찾으면 아무것도 안 나옵니다..

제발 도와주세요..ㅠㅠㅠ 이거하려고 강의 구매한 건데 못하겠어요ㅠㅠㅠㅠ

stackoverflow 에서 검색해보고 찾긴했습니다. ..

await page.goto('https://place.map.kakao.com/873103765', { waitUntil: "networkidle0" });

이렇게 해주니 되었습니다. 

 

 

const fs = require("fs");
const puppeteer = require("puppeteer");
const axios = require("axios"); //ajax 라이브러리
const cheerio = require("cheerio"); //html 파싱

const crawler = async () => {
try {
const browser = await puppeteer.launch(
{headless : false}
);
const page = await browser.newPage();
await page.goto('https://place.map.kakao.com/915459672');
const result = await page.evaluate(()=>{
const scoreEl = document.querySelector('div.info_menu');
if(scoreEl){
console.log('있다!!');
return scoreEl.outerHTML;
}else{
console.log('없다!!');
return [];
}
});

console.log(result);
await browser.close();

} catch (e) {
console.error(e);
}
 
};
crawler();

nodejs puppeteer 웹-크롤링 javascript

답변 1

0

제로초(조현영)

페이지 로딩 시 바로 안뜨는 태그들이 있습니다. 그런 건 await page.waitForSelector(선택자)로 나타나기까지 기다리면 됩니다.

headless 궁금한게 있어요!

0

414

2

6강 프록시 서버 테스트 관련하여

0

339

2

페이스북 로그인 로그아웃 자동화관련

0

277

2

3-2 axios로 이미지 저장하기에서 axios 관련 오류..

0

269

2

3-1 이미지 다운로드 준비하기 에서 선택자 구성 질문

0

250

3

2-4 csv 출력하기에서 오류 발생

0

294

3

try-puppeteer.appspot.com 을 사용할 수 없나요?

0

151

1

크롬 확장프로그램 관련 질문드립니다.

0

169

1

크롤링 자바스크립트 exe파일

0

555

1

puppeteer 관련

0

599

2

6-3 proxy-database 관련

1

288

1

크롤링을 여러개 돌리려면 어떠한 방법을 선택하는게 좋을까요?

0

794

1

네이버 영화 평점 크롤링 (axis cheerio)

1

489

1

아래 noscript 내용입니다.

0

528

1

크롤링

0

377

1

앱 크롤링

0

1783

1

페이스북 로그인

0

544

1

2019년도 영상이라 error가 나는 걸까요? 2-4. csv에 출력하기에서 error

1

461

1

안녕하세요! for of와 Promise.all 차이점에 관해서 질문드려요!

0

440

2

대량 요청 처리 방법

0

464

1

구글 패스워드 자동입력시 오류

0

250

1

반복크롤링 할 때 아래 질문주신분 하고 약간 형태가 달라요

0

366

2

인스타그램 돔의 value 값으로 쿼리셀렉터 찾을 수 있나요?

0

300

1

페이스북 로그인시 돔이 생성 안되는 문제

0

310

1