Thumbnail
개발 · 프로그래밍 프로그래밍 언어
내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
(4.9)
9개의 수강평 ∙ 171명의 수강생

60,500원

지식공유자 : DeepingSauce
총 67개 수업˙총 16시간 34분
평생 무제한 수강
수료증 발급 강의
입문 초급 대상 중급이상
내 목록 추가 581 공유
초급자를 위해 준비한
[프로그래밍 언어, 데이터 분석] 강의입니다.

본 수업에서는 파이썬(Python)을 활용하여, 다양하게 작동하는 사이트로부터 데이터를 가져오고(크롤링) 처리하는 방법에 대해 배우고, 실전에서 마주할 수 있는 다양한 예제들에 직접 적용해봅니다. 이를 통해 주어진 코드를 복사해서 붙여넣는 방식의 일차원적인 업무 자동화가 아닌, 웹이 작동하는 기본 원리에 대한 이해를 바탕으로 한 실전 문제 해결 위주의 기술들에 대해서 익히고, 이에 따라 여러분들은 앞으로 어떤 사이트에서도 데이터를 수집하고 처리할 수 있는 내공을 쌓을 수 있습니다. 또한 이 과정에서 발생하는 다양한 예외상황들을 코드로써 해결해가는 과정을 직접 경험하며 최종적으로는 일상에서 발생하는 다양한 문제들을 프로그래밍적 사고로 해결하고 자동화 할 수 있는 역량을 기를 수 있습니다.

✍️
이런 걸
배워요!
웹의 작동원리부터 배워보는 탄탄한 웹크롤링의 기초
실전예제 중심의 파이썬(Python) 웹크롤링
국내외 금융데이터 수집, 인스타그램 좋아요/팔로우 자동화, 부동산 데이터 수집/처리
코드의 암기가 아닌, 사이트 작동원리에 기반하여 크롤링을 할 수 있는 역량
문제를 바라보는 다양한 관점과 프로그래밍으로 이를 해결하는 생각의 과정
크롤링 데이터를 전처리하여 관리하기 쉬운 형태로 변환하는 노하우

🙌  강사님의 다른 강의

"파이썬(Python)으로 데이터 기반 주식 퀀트 투자하기 part1"

수업 바로가기 (클릭)

수강 할인(최대 30%) 이벤트

이벤트 바로가기 (클릭)

파이썬(Python)으로  
웹크롤링 & 자동화에 도전하세요!

🙌 누구를 위한 강의인가요?

 세계적인 투자은행인 골드만삭스. 경제, 경영, 수학, 통계 등 각 분야에서 최고의 인재들이 모이는 이 회사는 놀랍게도 직원의 1/3 이상이 다름 아닌 IT 인력이라고 합니다. 금융회사임에도 불구하고 직원의 대부분이 자유자재로 코딩을 할 수 있는 인력들이라는 것이죠. 더욱 놀라운 것은 이 통계가 무려 수 년전 결과라는 것입니다. 장담컨대, 현재는 기존 직원들 중 상당수가 컴퓨터로 대체 되었을 것이고, IT인력 비중 또한 더 증가하여 최소 절반 이상이 되었으리라 생각합니다.

이처럼 시대가 변하면서, 전공, 분야, 직종을 불문하고 코딩 능력이 점점 중요해지고 있습니다. 최근에는 문이과에 상관없이 다양한 부문의 채용에 있어서도 코딩 능력을 요구하는 회사들이 점점 많아지는 추세이고, 국가적 차원에서 코딩 교육의 중요성을 강조하며 다양한 교육 정책을 적극 추진하고 있습니다.

이와 같이 코딩 능력이 점점 기본사항으로 요구되는 이유는 무엇일까요? 전세계적으로 AI, AI를 외치면서 딥러닝을 사용한 고급 알고리즘을 개발하고 적용하는 사례들이 점점 많아지는 이유도 있겠지만, 또 다른 측면에서는 현업에서 많은 (반복적인)업무들이 프로그램으로 대체 되거나 자동화 될 수 있기 때문입니다.

반복적인 업무로 하루하루를 낭비하기에는 인생이 너무 짧습니다. 그런 일들이 반복되는 일상을 살다보면, 더 중요하고 우선되어야 하는 업무에 집중하기도 어려워지죠. 우리의 일상을 가만히 돌아보면, 프로그래밍으로 대체할 수 있는 일이 상당히 많습니다. 그 중에서도 특히 웹에서 데이터를 주기적으로 가져오거나, 특정 내용을 지속적으로 확인한다든지 등 웹상에서 어떤 동작들을 지속적으로 반복해야 할 일들은 점점 많아지고 있습니다. 만약 이러한 일들을 인간보다 더 빠르고 정확한 컴퓨터가 대신 해주면 어떨까요? 

본 강의에서는 이러한 업무들을 대신해 줄 파이썬 프로그램을 만드는 법에 대해 배웁니다. 코드 몇 줄 제공하고 "이 코드를 돌리면 A라는 사이트에서 이러이러한 데이터를 긁어올수 있다" 식의 허술한 강의가 아닌, 웹의 작동 원리부터 시작해서, 크롤링 관련 문제를 바라보는 다양한 관점, 그리고 이를 프로그래밍으로 해결하는 과정을 직접 보여드리며 여러분들이 앞으로 어떠한 사이트에서도 막히지 않고 다양한 크롤링 기반 자동화 업무를 진행할 수 있도록 도와드리고자 본 수업을 준비했습니다.

🙌  ctrl+c, ctrl+v는 이제 그만! Python을 사용하여, 나만의 크롤러 만들기  

제가 과거에 비IT계열 회사들로부터 외주 요청을 받아 작업을 진행을 하게 되었을 때, 충격을 받은 적이 한 두번이 아니었습니다. 석,박사급의 고급 인력들이 연구관련 혹은 보고서에 필요한 데이터를 웹에서 수집하기 위해 연일 야근, 심지어는 밤까지 새워가며 마우스 클릭과 ctrl+c, ctrl+v만을 닳도록 두드리며 긁어오고 있었고, 이를 하나씩 엑셀로 복사하고, 이 과정에서 서식이 깨지거나 등의 부가적인 작업까지 전부 손수 진행하는 등 많은 시간을 무의미한 작업에 허비하고 있었습니다.

제가 충격을 받은 이유는 매우 당연했는데, 왜냐하면 이런 작업들은 파이썬 코드 몇 줄 만으로 충분히 자동화가 가능했기 때문입니다. 안타까운 것은 이 분들도 코딩에 대한 중요성을 충분히 인지는 하고 있었지만, 코딩을 어떻게 배우고 적용해야될 지에 대해서 막막해 하고, 당장 눈 앞에 떨어진 일들이 더 급하고 중요했기 때문에, 어쩔 수 없이 이런 악순환을 반복하고 있었습니다. 실제로 대다수의 직장인 분들이 과거에 비슷한 경험을 하시거나 현재까지도 이러한 무의미한 업무에 시간을 낭비하시며 스트레스를 받는 분들이 많을 것입니다. 본 수업에서는 이러한 분들 위해, 웹기반 관련 업무(crawling, periodic checking 등)을 코드 및 로직화하여 자동화하는 방법에 대해 배우면서 그동안 낭비했던 여러분의 소중한 시간들을 되찾아보려고 합니다.

[주식 종목별 분봉, 일봉, 재무제표 데이터 크롤링 & 전처리]

[부동산 단지정보/시세 데이터 & 단지내 갭(Gap) 분석]

[네이버 블로그 목록 크롤링]

파이썬 코드 몇 줄 만으로 여러분의 직장생활, 인생이 달라질 수 있습니다
매일 여유있는 삶을 누리고 싶지 않으신가요?

🙌  '주 40시간 제한 No + 실수, 불평, 불만 No + 페이 No'! 나만의 일꾼(비서) 만들기

'나도 내 밑에 직원만 있으면 일 맡기고 좀 쉴텐데....'

많은 직장인(특히 취직을 한 지 얼마 안 된 사회초년생)분들이 이런 생각을 최소 한 번씩은 해보셨을 것입니다. 내 일을 대신해서 처리해주는 직속 부하 직원. 그것도 한 명이 아니고 여러 명. 상상만 해도 행복한 직장생활이 될 것 같으신가요?

파이썬(Python)만 있으면 여러분들도 충분히 가능합니다. 사람이 하는 것보다 훨씬 빠르고, 실수도 전혀 하지 않는 프로그램을 파이썬(Python)으로 쉽게 만들 수 있습니다. 휴식 시간도 줄 필요 없고, 잠도 자지 않으며, 급여 또한 없기 때문에(아주 약간의 전기세 제외) 점점 높아만지는 시급 또한 걱정을 할 필요도 없습니다. 단지 저희가 해야하는 것은, 내 업무를 옳은 방법으로 잘 처리할 수 있도록 프로그래밍 언어로 문제를 잘 정의하는 것 뿐입니다.

그렇다면 파이썬(Python)으로 어떤 업무를 대신 할 수  있을까요? 거의 모든 반복적인 업무가 대체 가능합니다.

[인스타그램 팔로우 & 좋아요 자동화]

[pdf 파일 다운로드]

[Slack 메신저 알림]

이 외에도 네이버 카페, 블로그 크롤링, 뉴스 언론사 사이트 크롤링, 주식 시세, 재무제표 정보와 같이 특정 시간/날짜마다 정보를 긁어오거나, 영화 예매 시작 알림 등의 주기적 확인이 필요한 작업까지 수 많은 작업들을 전부 프로그램화, 자동화 할 수 있습니다.

내 업무를 대신해 줄 일꾼들을 직접 만들고
바쁜 일상으로부터 한층 여유를 찾아보는 것은 어떨까요?

🙋 수강생들이 가장 궁금해 하는 질문 Top 6

Q1. 본 강의를 수강하기 위해, 기존의 다른 강의(누구나 배울 수 있는 파이썬, Pandas 주식 퀀트투자 part1 등) 수강이 필수인가요? 본 수업을 듣고 다른 강의를 듣는 것이 낫나요?

Q2. 목차를 보니 주식 데이터가 메인인 것 같은데, 주식&금융 데이터 크롤링 내용에 국한된 내용인가요?

Q3. 수강을 마쳤고, 정말 좋은 내용들을 배워서 자신감 뿜뿜 중입니다. 근데 어떤 주제, 데이터에 대해 크롤링을 할 지 감이 잘 안 옵니다. 관련해서 팁 같은 것이 있을까요?

Q4. 이전 수업에서 pandas version이 0.25.3이었는데, 이번 강의에서는 pandas를 1.x대 버전을 쓰더라구요. 버전 간에 충돌은 어떻게 해야 되나요?

Q5. 강의 중간에 내용이 이해가 막히는 부분이 있어요. 어떻게 해야 되나요?

=> 위 질문들(Q1 ~ Q5)에 대한 답변은 "Section0. 오리엔테이션의 FAQ" 영상에서 자세하게 다룹니다.

Q6. jupyter 파일 내 table of contents(목차)는 어떻게 볼 수 있나요?

A6. https://www.inflearn.com/course/생초보-입문-파이썬/lecture/73183 참고바랍니다.

📚 수업 내용만큼이나 신경 써서 오리엔테이션 영상을 준비했습니다. 오리엔테이션 영상의 길이가 조금 길지만, 그 만큼 본 강좌뿐 아니라 앞으로 제작되는 강좌들의 방향, 취지에 대해 자세히 다루었고, 여러분들이 궁금해할 만한 내용에 대해서도 자세히 다루고 있습니다. 오리엔테이션을 통해 여러분의 학습 욕구를 자극시켜보세요!

📚 강사 혼자 수강생들 앞에서 원맨쇼하는 강의는 그만! 원리를 이해하고 다 같이 함께 가는 수업! 지금 시작해볼까요?

지식공유자가 알려주는
강의 수강 꿀팁!
🎓
이런 분들께
추천드려요!
웹(인터넷)에서 무언가 지속적으로 확인해야 할 일이 많으신 분
웹(인터넷)에서 원하는 데이터를 코딩을 통해 모아보고 싶으신 분
위와 같은 업무를 파이썬(Python)으로 잘 로직화해서 자동화하고 칼퇴하시고 싶으신 분
밥을 먹는 동안, 잠을 자는 동안, 휴가를 보내는 동안 돌아갈 수 있는 프로그램을 만들고 싶으신 분
파이썬 퀀트 투자 part1 수업을 들었고, 해당 수업에서 배운 기술들을 본인 입맛에 맞는 데이터에 적용해보고 싶으신 분
실전예제, 프로젝트 중심으로 파이썬(Python)을 배워보고 싶은데, 마땅한 주제를 선정하지 못하신 분
코드만 던져주고 끝나는 수업이 아닌, 원리를 통한 응용이 가능한 수업을 원하시는 분
📚
선수 지식,
필요한가요?
[필수] 파이썬 기초(문과생도, 비전공자도, 누구나 배울 수 있는 파이썬, https://www.inflearn.com/course/생초보-입문-파이썬)
[선택] 파이썬(Python)으로 데이터 기반 주식 퀀트 투자하기 Part1 (https://www.inflearn.com/course/파이썬-판다스-퀀트-투자/)

안녕하세요
DeepingSauce 입니다.
DeepingSauce의 썸네일

프로그래밍, 데이터(Data) 그리고 AI로 세상의 모든 문제를 해결할 수 있다고 믿는 Lifelong learner입니다. Lifelong contributer가 되는 것이 목표입니다.

커리큘럼 총 67 개 ˙ 16시간 34분의 수업
이 강의는 영상, 수업 노트, 첨부 파일이 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.
섹션 2. 웹사이트를 구성하는 3가지 요소, HTML/CSS/JAVASCRIPT
2.1 HTML 17:05
2.2 CSS 19:37
2.3 JAVASCRIPT 16:42
2.4 Back to the 크롬 개발자 도구 13:02
2.5 크롬 개발자 도구 관련 꿀팁(?) 12:37
섹션 3. 파이썬(Python) 크롤링 관련 라이브러리의 원리 및 주의사항
섹션 4. 파이썬 웹 크롤링 방법1. requests 라이브러리
4.1 requests, bs4 라이브러리 소개 26:48
4.2 bs4 - select() 27:11
4.3 bs4 - find(), find_all() 14:58
4.4 bs4 - text, attribute 16:27
섹션 5. requests 실전예제1 - 국내 주식 데이터(네이버 금융)
5.1 주식 일별 시세 데이터 part1 - requests 17:44
5.2 주식 일별 시세 데이터 part2 - bs4 18:22
5.3 주식 일별 시세 데이터 part3 - 전체 로직 구현 27:47
5.4 주식 일별 시세 데이터 part4 - Pandas 맛보기 17:19
5.5 주식 일별 시세 데이터 part5 - 데이터 갱신하기 30:42
5.6 주식 일별 시세 데이터 part6 - pandas로 크롤링하기[충격주의] 12:49
5.7 주식 분별 시세 데이터 10:17
5.8 주식 재무제표 데이터 part1 - json 25:38
5.9 주식 재무제표 데이터 part2 - query string관련 문제 08:28
5.10 주식 재무제표 데이터 part3 - 정규표현식 17:41
5.11 주식 재무제표 데이터 part4 - query string관련 문제 해결 05:54
섹션 6. requests 실전예제2-1 - 미국 주식 데이터 (Marketwatch)
6.1 주식 재무제표 데이터 10:47
6.2 주식 일별 시세 데이터 20:05
6.3 일별 시세 데이터 예제 & 관련 주의사항 17:46
섹션 7. requests 실전예제2-2 - 미국 주식 데이터 (yahoo finance, 3rd party lib 등)
7.1 주식 일별 시세 데이터(Yahoo finance) 23:35
7.2 주식 관련 3rd party 라이브러리 16:47
7.3 국채수익률 데이터 06:38
섹션 8. requests 실전예제3 - POST request
8.1 금융투자협회 15:37
8.2 로그인하기(성공사례) 16:13
8.3 로그인하기(실폐사례) 08:54
섹션 9. requests wrap-up
9.1 각자 해 볼 만한 것들 (Further to-do) 16:32
섹션 10. (RESTful) API
10.1 API part1 15:41
10.2 API part2 14:29
10.3 API 예제1 - OpenWeatherMap, Bittrex 11:51
10.4 API 예제2 - Slack 15:03
섹션 11. 파이썬 웹 크롤링 방법2. selenium 라이브러리
11.1 셀레니움(selenium), chromedriver 설치 04:08
11.2 chromedriver 환경변수 설정(Mac OS) 09:06
11.3 chromedriver 환경변수 설정(Windows) 06:07
11.4 More about 환경변수 08:06
11.5 selenium API 살펴보기 19:31
섹션 12. selenium 실전예제1 - 네이버 블로그 목록
12.1 사이트 작동방식 파악 15:46
12.2 로직화 및 구현 17:23
12.3 Explicit wait 13:30
섹션 13. selenium 실전예제2 - 네이버 금융 시세 데이터
13.1 selenium으로 시세 데이터 가져오기 34:17
섹션 14. selenium 실전예제3 - 인스타그램(instagram) 팔로우 & 좋아요
14.1 팔로우 & 좋아요 자동화 33:00
섹션 15. selenium 실전예제4 - 네이버 부동산(Advanced)
15.1 네이버 부동산 사이트/데이터 파악하기 part1 34:52
15.2 네이버 부동산 사이트/데이터 파악하기 part2 22:19
15.3 데이터 리포멧팅(reformatting) part1 - 개념 11:43
15.4 데이터 리포멧팅(reformatting) part2 - 단지정보 23:10
15.5 데이터 리포멧팅(reformatting) part3 - 시세 & 합치기 10:12
15.6 최종 로직 코드화 12:10
섹션 16. selenium wrap-up
16.1 각자 해 볼 만한 것들 (Further to-do) 11:04
섹션 17. 강의 wrap-up
17.1 Wrap-up 07:10
강의 게시일 : 2021년 03월 25일 (마지막 업데이트일 : 2021년 03월 25일)
수강평 총 9개
수강생분들이 직접 작성하신 수강평입니다. 수강평을 작성 시 300잎이 적립됩니다.
4.9
9개의 수강평
5점
4점
3점
2점
1점
VIEW 좋아요 순 최신 순 높은 평점 순 낮은 평점 순 평점 순 높은 평점 순 낮은 평점 순
오강현 thumbnail
조금 어렵긴 하지만, 원리를 이해하는 방향으로 접근하기 때문에 복습만 잘 받쳐 주면 응용하기 좋을 것 같습니다.
2021-07-22
sosm1992 thumbnail
믿고 듣는 Deepingsauce님 수업.. 퀀트 수업 듣고 다음 수업 정말 많이 기다렸는데, 역시나 기대를 저버리지 않는 강의네요. 여러 온라인 강의를 들어봤지만, 강의를 들으면서 이해가 가지 않는 부분을 찾아보지 않고 강의영상으로만 다 해결이 되는 강의는 처음이네요. 돈이 아깝지 않아요. 또 후속강의 기대하겠습니다.
2021-04-03
HJ Kim (WILL) thumbnail
항상 좋은 강의 감사드립니다.
2021-03-31
무야호 thumbnail
원리부터 설명해주시는 강의 정말 좋았어요!
2021-07-11
흑우 thumbnail
좀 어려우긴했지만 재밌게 잘 들었고, 유익해서 좋았습니다.
2021-07-31

60,500원

내 목록 추가 581 공유
지식공유자 : DeepingSauce
총 67개 수업˙총 16시간 34분
평생 무제한 수강
수료증 발급 강의
입문 초급 대상 중급이상
수강 전 궁금한 점이 있나요?
문의하기
문의
지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의를
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스