파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)

안녕하세요?

인프런 지식공유자 나도코딩입니다.

유튜브에서 60만 조회수, 인프런 누적 수강생 4,000명을 기록한 【자바 기본편 - 풀코스】 강의가 이번에 책으로 나오게 되었습니다 📚

강의에서 다룬 내용에 더하여 훨씬 더 풍부해진 퀴즈와 다양한 실습 문제 + 셀프 체크까지 추가되어 처음 공부하시는 분은 물론, 복습용으로 활용하시기에도 좋습니다.

📌 이런 분들께 특히 추천드립니다

• 기초부터 객체지향까지 쉽고 재미있게 배우고 싶은 분

• 강의를 듣고 나서 한 번 더 복습이 필요한 분

   

• 다양한 응용 문제를 통해 코딩 실력을 키우고 싶은 분

   

앞으로도 여러분의 성장을 돕는 콘텐츠를 계속 만들어가겠습니다. 😊

✨ 도서 구매 바로가기

yes24: https://gilbut.co/c/26042228eX

교보문고: https://gilbut.co/c/26048152Bg

알라딘: https://gilbut.co/c/26048728Fx

감사합니다.

안녕하세요?
인프런 지식공유자 나도코딩입니다.

3월 봄학기 개강 기념으로 자바 기본편 강의를 20% 할인합니다. (~3/15 까지)
자바 강의는 현재 누적 수강생 1,300명에 평점 5점을 유지하고 있습니다.


이번 학기에 자바가 필요하신 분이라면,
세상에서 제일 쉬운 코딩 강의로 시작해보세요 😊

👉 바로가기 : https://inf.run/BUS6

감사합니다.

🎓 먼저 강의를 수강하신 분들의 후기 읽어보기 👇

안녕하세요?

인프런 지식공유자 나도코딩입니다.

【C 프로그래밍 - 입문부터 게임 개발까지】 강의가 책으로 나오게 되었습니다. 📕👏🎶

동영상 강의만으로는 부족하셨던 분들께 도움 될 수 있도록 정성껏 준비했으니 많은 관심 부탁드려요. 😊

이번에 출간되는 책은 기존 C 강의와 이렇게 달라요!

하나, 최신 개발 환경에 맞춰 모든 소스코드 및 설명 업데이트

둘, 노트와 팁 형식으로 다양한 보충 설명 추가

셋, 장마다 1분 퀴즈와 미니 프로젝트 형태의 셀프체크 제공

이 책은 이런 분들께 권해드립니다.

하나, 프로그래밍을 보다 깊이 있게 배우고 싶으신 분

둘, 컴퓨터 관련 학과에 재학 중이거나 진학 예정이신 분

셋, 어려운 내용을 쉽고 재미있게 공부하고 싶으신 분

C 언어 공부, 나도코딩이 도와드리겠습니다.

지금 바로 만나보세요 😊

📕 구매 링크

👉 예스24: https://bit.ly/3dRhv5B

👉 교보문고: https://bit.ly/3UK4L1i

👉 알라딘: https://bit.ly/3DUntxg

안녕하세요, 나도코딩입니다. ^^

강의 촬영 시점 이후 웹 페이지에 변경된 부분이 있어서 안내 드립니다.

아래 내용 참고하셔서 학습 부탁드립니다.

1. "티스토리"는 UserAgent 를 변경하지 않아도 정상적으로 html 을 받아옵니다.

(관련 강의 : User Agent)

2. "네이버"는 로그인 시도 시 자동입력방지 문자 입력 페이지가 뜹니다. 우회방법으로 자바스크립트를 이용하는 방법이 소개된 링크를 참고해주세요.

https://jaeseokim.github.io/Python/python-Selenium을-이용한-웹-크롤링-Naver-login-후-구독-Feed-크롤링/

(관련 강의 : Selenium 심화 (네이버 로그인))

3. "쿠팡" 강의 내용 확인 결과 일부 항목이 웹에서 접근했을 때와는 조금 다르게 가져오는듯 합니다. 확인 결과 화면 중 약 80% 는 정상, 20%는 페이지에 존재하지 않는 값을 가져옵니다. (어쩌면 다음 페이지에 나오는 내용일 수도 있습니다) 또한 80% 의 항목도 웹 페이지와는 달리 순서가 조금 뒤죽박죽 섞인듯 보입니다. requests  만 써서 가져왔을 때 쿠팡에서 반환해주는 값에 차이가 있는듯한데,  selenium 을 통한 결과를 비교해볼 필요가 있어 보이네요. 수업 시간에 결과 내용에 대해 전수 검사를 해볼 생각을 미처 해보지 못하여 내용에 오류가 있었던 점, 진심으로 사과 드립니다.

(관련 강의 : BeautifulSoup4 활용 2 (쿠팡))

4. "프로젝트" 강의 내용 중 네이버 뉴스를 가져올 때 500 Server Error 가 나고 있습니다. 이 때는 requests 에 headers 로 여러분 PC 의 user-agent 를 넣어주시면 됩니다.

(예시)

def create_soup(url):

    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"}

    res = requests.get(url, headers=headers)

    res.raise_for_status()    

    soup = BeautifulSoup(res.text, "lxml")

    return soup

(관련 강의 : 헤드라인 / IT 뉴스 (네이버 뉴스))

감사합니다.