inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Node.js로 웹 크롤링하기

도저히 모르겠어서, 여기다 올리네요ㅜ

184

jadubell

작성한 질문수 10

0

안녕하세요. 크롤링 강의를 수강하는 사람입니다.

강의를 바탕으로 개인 프로젝트를 하고 있는데, 도저히 진행이 안되서 여기다 질문드립니다..

강의랑 상관없는 내용일 수  있어서 곤란하시면 답변을 안주셔도 상관없습니다..ㅠ

--지금 상황--

1. 크롤링 프로젝트를 만들고, 헤로쿠에서 기동하고 있습니다.

2. 파일 업로드 소스에서 문제가 발생합니다.

3. 로컬에서 기동할 때에는 잘 되는데, heroku에서는 파일 업로드가 잘 안됩니다.

4. 파일 업로드 소스부분입니다.

    imagePathArray = fs.readdirSync(path.join(__dirname, '../tempSave'), function(error, fileList){
        if(error)return console.log("error",error);
        return fileList;
    })
    imagePathArray = imagePathArray.map((v) => {
        return path.join(__dirname, `../tempSave/${v}`);
    });
    const[fileChooser] = await Promise.all([
        page.waitForFileChooser(),
        page.click('.bmm-c-field__input .bmm-c-img-upload__dropzone'),
    ])
    console.log("imagePathArray 확인", imagePathArray);
    await fileChooser.accept(imagePathArray);
    await page.waitForTimeout(20000);

헤로쿠에서 위의 소스의 imagePathArray에 path값이 들어오는 것은 확인 했습니다.

문제는 Promise.all인것 같은데, 이부분이 로컬에서는 잘되는데 헤로쿠에서는 잘 안되는 것같습니다.

혹시 사용법이 잘못되었을까요..? 뭔가 아시는분이 있으면 답변 부탁드립니다ㅜ

nodejs 웹-크롤링 puppeteer javascript

답변 1

0

제로초(조현영)

console.log("imagePathArray 확인", imagePathArray);
이게 로그가 안 찍히는 상황 맞으신가요? path값이 들어오는 것은 어떻게 확인하셨나요?
await fileChooser.accept(imagePathArray);
뒤에도 console.log 넣어보심이 좋을 것 같습니다.

0

jadubell

답글 감사합니다ㅜ

위의 문제 해결했습니다!

headless 궁금한게 있어요!

0

408

2

6강 프록시 서버 테스트 관련하여

0

337

2

페이스북 로그인 로그아웃 자동화관련

0

275

2

3-2 axios로 이미지 저장하기에서 axios 관련 오류..

0

269

2

3-1 이미지 다운로드 준비하기 에서 선택자 구성 질문

0

250

3

2-4 csv 출력하기에서 오류 발생

0

293

3

try-puppeteer.appspot.com 을 사용할 수 없나요?

0

148

1

크롬 확장프로그램 관련 질문드립니다.

0

169

1

크롤링 자바스크립트 exe파일

0

552

1

puppeteer 관련

0

598

2

6-3 proxy-database 관련

1

287

1

크롤링을 여러개 돌리려면 어떠한 방법을 선택하는게 좋을까요?

0

792

1

네이버 영화 평점 크롤링 (axis cheerio)

1

487

1

아래 noscript 내용입니다.

0

527

1

크롤링

0

374

1

앱 크롤링

0

1783

1

페이스북 로그인

0

543

1

2019년도 영상이라 error가 나는 걸까요? 2-4. csv에 출력하기에서 error

1

461

1

안녕하세요! for of와 Promise.all 차이점에 관해서 질문드려요!

0

440

2

대량 요청 처리 방법

0

463

1

구글 패스워드 자동입력시 오류

0

245

1

반복크롤링 할 때 아래 질문주신분 하고 약간 형태가 달라요

0

358

2

인스타그램 돔의 value 값으로 쿼리셀렉터 찾을 수 있나요?

0

295

1

페이스북 로그인시 돔이 생성 안되는 문제

0

303

1