inflearn logo
강의

Course

Instructor

Big Data Pipeline Master; Tools and Techniques for Success

[Practice] Crawling and Scraping (Urllib, BS4, Selenium)

색션2 실습 practice 1 질문드립니다.

127

rkdnwlak25655

3 asked

0

아래와 같은 양식으로 질문을 남겨주세요 🙂

 

image.png

 

빅데이터 hadoop elasticsearch logstash Kibana apache-spark s3-bucket

Answer 1

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다. 인승님과 같은 문제로 질문을 하신 적이 있는 다른 수강생 분의 사례를 통해 일정 해결책을 드리겠습니다.

프로그래밍에서 특정 URL만 출력되는 문제는 여러 가지 원인이 있을 수 있습니다. 주로 데이터가 제대로 다운로드되지 않았다거나, 지정된 형식에 맞게 처리되지 않았기 때문일 수 있습니다.

이미지를 보니, 다운로드한 데이터를 제대로 얻기 위해서는 다음 사항을 확인해야 할 것입니다:

  1. URL 접근 확인: 사용된 URL이 올바르고 실제로 네트워크에서 접근이 가능한지 확인합니다. 만약 방화벽이나 VPN의 영향을 받는다면, 접근이 불가능할 수 있습니다.

  2. 에러 핸들링: 네트워크 요청 시 예외가 발생하면 해당 예외를 처리하는 로직을 추가해보세요.

  3. 내장 디코딩 기능 활용: 데이터를 단순히 출력하기 보다는 데이터가 올바르게 디코딩되었는지 확인해야 합니다.

이 질문과 유사한 문제에 대한 답변이 아래 링크에서 논의된 바 있습니다. 해당 답변을 통해 문제 해결에 도움이 되시길 바랍니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

강의 pdf는 따로 제공안해주시는 건가요?

0

44

1

practice1 응답값 관련 질문

0

74

2

crontab 결과가 market.log 에 저장이 안돼요ㅠ

0

119

1

코딩 프로그램

0

121

1

색션2 실습 Carwling에 practice 1 부분 질문드립니다.

1

115

1

yahoo finacne 데이터 다운로드 안됩니다.

0

373

1

섹션2 가상환경 설치 오류

0

159

1

수강기간연장가능할까요?

0

201

1

수강 기한 연장이 가능할까요?

0

256

1

강의 연장 문의

0

181

1

wb.json , pandas.json 파일을 jupyter notebook 환경에서 read 가 안됩니다..ㅠ

0

531

3

[HDFS] Data integrity; checksum 관련 질문

1

349

2

안녕하세요. 강의 연장 신청 문의드립니다

0

401

2

jar input output_notice 문의

0

348

3

안녕하세요 강의 연장문의

0

326

2

aws ubuntu 22.04 크롬 드라이브 설치 및 경로 확인

0

1193

2

섹션2 실습1 코드 공유 문의..

0

426

3

Beautiful Soup 실습 출력 문의

0

169

1

venv 환경 패키지 설치 방법 문의

0

1391

2

가상머신 설치부터 안됩니다.

0

282

1

Replica Placement 질문입니다.

1

280

2

강의 연장 문의 드립니다.

0

319

2

섹션2 실습 1에서 질문 있습니다.

0

528

2

슬라이드 자료

0

271

1