Thumbnail
BEST
비즈니스 · 마케팅 업무 자동화

내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램) 대시보드

(4.8)
55개의 수강평 ∙  1,071명의 수강생

60,500원

지식공유자: DeepingSauce
총 67개 수업 (16시간 34분)
수강기한: 
무제한
수료증: 발급
난이도: 
입문
-
초급
-
중급이상
지식공유자 답변이 제공되는 강의입니다
폴더에 추가 공유

초급자를 위해 준비한
[업무 자동화] 강의입니다.

본 수업에서는 파이썬(Python)을 활용하여, 다양하게 동작하는 사이트로부터 데이터를 가져오고(크롤링) 처리하는 테크닉에 대해서 배우고, 이를 응용하여 실전에서 마주할 수 있는 다양한 예제들에 직접 적용해봅니다. 이를 통해 주어진 코드를 복사해서 붙여넣는 방식의 일차원적인 업무 자동화가 아닌, 웹이 작동하는 기본 원리에 대한 이해를 바탕으로 한 실전 문제 해결 위주의 기술들에 대해서 익히고, 이에 따라 여러분들은 앞으로 어떤 사이트에서도 데이터를 수집하고 처리할 수 있는 역량을 가질 수 있습니다. 또한 이 과정에서 발생하는 다양한 예외상황들을 어떻게 코드로써 해결하는지에 대한 내용을 배우며 최종적으로는 일상에서 발생하는 다양한 문제들을 프로그래밍적 사고로 해결하고 자동화 할 수 있게 됩니다.

✍️
이런 걸
배워요!
1. 웹의 작동원리부터 배워보는 웹크롤링의 기초
2. 실전예제 중심의 크롤링 기법
3. 국내외 금융데이터 수집, 인스타그램 좋아요/팔로우 자동화, 부동산 데이터 수집/처리
4. 암기가 아닌, 사이트 작동원리에 기반하여 유연하게 크롤링 코드를 작성할 수 있는 역량
5. 문제를 바라보는 다양한 시각과 이를 프로그래밍으로 해결하는 관점에 대한 이해
6. 크롤링 데이터를 전처리하여 관리하기 쉬운 형태로 변환하는 노하우

 

파이썬(Python)으로  
웹크롤링 & 자동화에 도전하세요!

커리큘럼 전체 로드맵
로드맵 전강의 30% 할인받기(클릭)

개별 강좌 수강 할인(최대 30%) 이벤트
이벤트 바로가기 (클릭)

🙌 누구를 위한 강의인가요?

 세계적인 투자은행인 골드만삭스. 경제, 경영, 수학, 통계 등 각 분야에서 최고의 인재들이 모이는 이 회사는 놀랍게도 직원의 1/3 이상이 다름 아닌 IT 인력이라고 합니다. 금융회사임에도 불구하고 직원의 대부분이 자유자재로 코딩을 할 수 있는 인력들이라는 것이죠. 더욱 놀라운 것은 이 통계가 무려 수 년전 결과라는 것입니다. 장담컨대, 현재는 기존 직원들 중 상당수가 컴퓨터로 대체 되었을 것이고, IT인력 비중 또한 더 증가하여 최소 절반 이상이 되었으리라 생각합니다.

이처럼 시대가 변하면서, 전공, 분야, 직종을 불문하고 코딩 능력이 점점 중요해지고 있습니다. 최근에는 문/이과에 구분없이 채용에 있어서도 코딩 능력을 요구하는 회사들이 점점 많아지는 추세이고, 국가적 차원에서 코딩 교육의 중요성을 강조하며 다양한 교육 정책을 적극 추진하고 있습니다.

이와 같이 코딩 능력이 점점 기본자질로서 요구되는 이유는 무엇일까요? 전세계적으로 AI, AI를 외치면서 딥러닝을 사용한 고급 알고리즘을 개발하고 적용하는 사례들이 점점 많아지는 이유도 있겠지만, 또 다른 측면에서는 현업에서 많은 (반복적인)업무들이 프로그램으로 대체 되거나 자동화 될 수 있기 때문입니다.

반복적인 업무로 우리의 소중한 시간들을 낭비하기에는 인생이 너무 짧습니다. 그런 일들이 반복되는 삶을 살다보면, 더 중요하고 우선되어야 하는 업무에 집중하기도 어려워지죠. 우리의 일상을 가만히 돌아보면, 프로그래밍으로 대체할 수 있는 일이 상당히 많습니다. 에를 들면, 웹사이트에서 원하는 데이터를 주기적으로 가져오거나, 특정 내용을 지속적으로 모니터링을 하는 등의 작업들이 있을 것 입니다. 만약 이러한 일들을 사람보다 더 빠르고 정확한 컴퓨터가 대신 해줄 수 있다면 어떨까요? 

본 강의에서는 이러한 업무들을 대신해 줄 파이썬 프로그램을 만드는 법에 대해 배웁니다. 코드 몇 줄 제공하고 "이 코드를 돌리면 A라는 사이트에서 이러이러한 데이터를 긁어올수 있다" 식의 허술한 강의가 아닌, 웹의 작동 원리부터 시작해서, 크롤링 관련 문제를 바라보는 다양한 관점, 그리고 이를 프로그래밍으로 해결하는 과정을 직접 보여드리며 여러분들이 앞으로 어떠한 사이트에서든 다양한 크롤링 기반 자동화 업무를 진행할 수 있도록 도와드리고자 본 수업을 준비했습니다.

 

 

🙌  ctrl+c, ctrl+v는 이제 그만! Python을 사용하여, 나만의 크롤러 만들기  

제가 과거에 비IT계열 회사들로부터 외주 요청을 받아 작업을 진행을 하게 되었을 때, 충격을 받은 적이 한두번이 아니었습니다. 석,박사급의 고급 인력들이 연구 관련 혹은 보고서에 필요한 데이터를 웹에서 수집하기 위해 연일 야근, 심지어는 밤까지 새워가는 경우가 많았습니다. 그리고 대부분이 마우스 클릭과 ctrl+c, ctrl+v으로 노가다를 하며 데이터를 가져오고 있었고, 이를 하나씩 엑셀로 복사하고, 이 과정에서 서식이 깨지는 등의 부가적인 작업까지 전부 손수 진행하는 등 많은 시간을 무의미한 작업에 허비하고 있었습니다.

제가 충격을 받은 이유는 매우 당연했는데, 왜냐하면 이런 작업들은 파이썬 코드 몇 줄 만으로 충분히 자동화가 가능했기 때문입니다. 안타까운 것은 이 분들도 코딩에 대한 중요성을 충분히 인지는 하고 있었지만, 코딩을 어떻게 배우고 적용해야될 지에 대해서 막막해 했고, 또 당장 눈 앞에 떨어진 일들이 더 급하고 중요했기 때문에, 어쩔 수 없이 이런 악순환을 반복하고 있었습니다. 실제로 대다수의 직장인 분들이 과거에 비슷한 경험을 하시거나 현재까지도 이러한 무의미한 업무에 시간을 낭비하시며 스트레스를 받는 분들이 많을 것입니다. 본 수업에서는 이러한 분들 위해, 웹기반 관련 반복업무(crawling, periodic checking 등)를 파이썬(Python) 코드로 로직화하여 자동화하는 방법에 대해 배우면서 그 동안 낭비했던 여러분의 소중한 시간들을 되찾아보려고 합니다.

[주식 종목별 분봉, 일봉, 재무제표 데이터 크롤링 & 전처리]

 

[부동산 단지정보/시세 데이터 & 단지내 갭(Gap) 분석]

 

[네이버 블로그 목록 크롤링]

 

파이썬(Python) 코드 몇 줄 만으로 여러분의 직장 생활, 더 나아가 인생이 달라질 수 있습니다
매일 여유있는 삶을 누리고 싶지 않으신가요?

 

 

🙌  '주 40시간 제한 No + 실수, 불평, 불만 No + 페이 No'! 나만의 일꾼(비서) 만들기

 

'나도 내 밑에 직원만 있으면 일 맡기고 좀 쉴텐데....'

많은 직장인(특히 취직을 한 지 얼마 안 된 사회초년생)분들이 이런 생각을 최소 한 번씩은 해보셨을 것입니다. 내 일을 대신해서 처리해주는 직속 부하 직원. 그것도 한 명이 아니고 여러 명. 상상만 해도 행복한 직장생활이 될 것 같으신가요?

파이썬(Python)만 있으면 여러분들도 충분히 가능합니다. 컴퓨터는 사람이 진행하는 것보다 훨씬 빠르고, 실수도 전혀 하지 않기 때문에 여러 방면에서 매우 효율적입니다. 또한 휴식 시간도 줄 필요 없고, 잠도 자지 않으며, 급여 또한 없기 때문에(아주 약간의 전기세 제외) 점점 높아만지는 시급 또한 걱정을 할 필요도 없습니다. 단지 저희가 해야하는 것은, 내 업무를 옳은 방법으로 잘 처리할 수 있도록 프로그래밍 언어로 문제를 잘 정의하는 것 뿐입니다.

그렇다면 파이썬(Python)으로 어떤 업무를 대신 할 수  있을까요? 거의 모든 반복적인 업무가 대체 가능합니다.

[인스타그램 팔로우 & 좋아요 자동화]

[pdf 파일 다운로드]

[Slack 메신저 알림]

이 외에도 네이버 카페/블로그 게시글, 온라인 뉴스 기사, 주식 시세, 재무제표 정보와 같이 특정 시간/날짜마다 데이터를 가져오거나, 영화 예매 시작 알림 처럼 주기적인 모니터링이 필요한 작업까지 수 많은 작업들을 전부 프로그램 및 자동화를 할 수 있습니다.

 

내 업무를 대신해 줄 일꾼들을 직접 만들고
바쁜 일상으로부터 벗어나 한층의 여유를 찾아보는 것은 어떨까요?

 

 

🙋 수강생들이 가장 궁금해 하는 질문 Top 6

Q1. 본 강의를 수강하기 위해, 기존의 다른 강의(누구나 배울 수 있는 파이썬, Pandas 주식 퀀트투자 part1 등) 수강이 필수인가요? 본 수업을 듣고 다른 강의를 듣는 것이 낫나요?

Q2. 목차를 보니 주식 데이터가 메인인 것 같은데, 주식&금융 데이터 크롤링 내용에 국한된 내용인가요?

Q3. 수강을 마쳤고, 정말 알찬 내용들을 배워서 자신감 뿜뿜 중입니다. 근데 어떤 주제, 데이터에 대해 크롤링을 할 지 감이 잘 안 옵니다. 관련해서 팁 같은 것이 있을까요?

Q4. 이전 수업에서 pandas version이 0.25.3이었는데, 이번 강의에서는 pandas를 1.x대 버전을 쓰더라구요. 버전 간에 충돌은 어떻게 해야 되나요?

Q5. 강의 중간에 내용 이해가 막히는 부분이 있어요. 어떻게 해야 되나요?

=> 위 질문들(Q1 ~ Q5)에 대한 답변은 "Section0. 오리엔테이션의 FAQ" 영상에서 자세하게 다룹니다.

Q6. jupyter 파일 내 table of contents(목차)는 어떻게 볼 수 있나요?

A6. https://www.inflearn.com/course/생초보-입문-파이썬/lecture/73183 참고바랍니다.

 

 

📚 수업 내용만큼이나 신경 써서 오리엔테이션 영상을 준비했습니다. 오리엔테이션 영상의 길이가 조금 길지만, 그 만큼 본 강좌뿐 아니라 앞으로 제작되는 강좌들의 방향, 취지에 대해 자세히 다루었고, 여러분들이 궁금해할 만한 내용에 대해서도 자세히 다루고 있습니다. 오리엔테이션을 통해 여러분의 학습 욕구를 자극시켜보세요!

📚 강사 혼자 수강생들 앞에서 원맨쇼하는 강의는 그만! 원리를 이해하고 다 같이 함께 가는 수업! 지금 시작해볼까요?

 

이런 분들께 추천드려요!

🎓
학습 대상은
누구일까요?
웹에서 특정 정보를 지속적으로 모니터링 해야되는 일이 많으신 분
웹에서 원하는 데이터를 간단한 코드를 통해 모아보고 싶으신 분
위와 같은 업무를 파이썬(Python)으로 잘 로직화해서 자동화하고 칼퇴하시고 싶으신 분
밥을 먹는 동안, 잠을 자는 동안, 휴가를 보내는 동안 나 대신 열심히 일하는 프로그램을 만들고 싶으신 분
파이썬 퀀트 투자 part1 수업을 들었고, 해당 수업에서 배운 내용 들을 본인이 원하는 데이터에 적용해보고 싶으신 분
실전 예제나 프로젝트 중심으로 파이썬(Python)을 배워보고 싶은데, 마땅한 주제를 선정하지 못하신 분
강사가 던져준 코드를 그대로 실행만 하며 진행하는 수업이 아닌, 원리 이해를 통해 수강생이 학습내용을 스스로 응용할 수 있는 수업을 원하시는 분
📚
선수 지식,
필요할까요?
'문과생도, 비전공자도, 누구나 배울 수 있는 파이썬' 혹은 파이썬 기초 내용, '라이브러리'에 대한 개념적 이해 필요
판다스(Pandas) 라이브러리는 optional이지만, 사용법에 대해 알고 있으면 시너지 효과!
로드맵 참고: https://www.inflearn.com/roadmaps/474

안녕하세요
DeepingSauce 입니다.
DeepingSauce의 썸네일

프로그래밍, 데이터(Data) 그리고 AI로 세상의 모든 문제를 해결할 수 있다고 믿는 Lifelong learner입니다. Lifelong contributer가 되는 것이 목표입니다.

커리큘럼 총 67 개 ˙ 16시간 34분의 수업
이 강의는 영상, 수업 노트, 첨부 파일이 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.
섹션 2. 웹사이트를 구성하는 3가지 요소, HTML/CSS/JAVASCRIPT
2.1 HTML 17:05
2.2 CSS 19:37
2.3 JAVASCRIPT 16:42
2.4 Back to the 크롬 개발자 도구 13:02
2.5 크롬 개발자 도구 관련 꿀팁(?) 12:37
섹션 3. 파이썬(Python) 크롤링 관련 라이브러리의 원리 및 주의사항
섹션 4. 파이썬 웹 크롤링 방법1. requests 라이브러리
4.1 requests, bs4 라이브러리 소개 26:48
4.2 bs4 - select() 27:11
4.3 bs4 - find(), find_all() 14:58
4.4 bs4 - text, attribute 16:27
섹션 5. requests 실전예제1 - 국내 주식 데이터(네이버 금융)
5.1 주식 일별 시세 데이터 part1 - requests 17:44
5.2 주식 일별 시세 데이터 part2 - bs4 18:22
5.3 주식 일별 시세 데이터 part3 - 전체 로직 구현 27:47
5.4 주식 일별 시세 데이터 part4 - Pandas 맛보기 17:19
5.5 주식 일별 시세 데이터 part5 - 데이터 갱신하기 30:42
5.6 주식 일별 시세 데이터 part6 - pandas로 크롤링하기[충격주의] 12:49
5.7 주식 분별 시세 데이터 10:17
5.8 주식 재무제표 데이터 part1 - json 25:38
5.9 주식 재무제표 데이터 part2 - query string관련 문제 08:28
5.10 주식 재무제표 데이터 part3 - 정규표현식 17:41
5.11 주식 재무제표 데이터 part4 - query string관련 문제 해결 05:54
섹션 6. requests 실전예제2-1 - 미국 주식 데이터 (Marketwatch)
6.1 주식 재무제표 데이터 10:47
6.2 주식 일별 시세 데이터 20:05
6.3 일별 시세 데이터 예제 & 관련 주의사항 17:46
섹션 7. requests 실전예제2-2 - 미국 주식 데이터 (yahoo finance, 3rd party lib 등)
7.1 주식 일별 시세 데이터(Yahoo finance) 23:35
7.2 주식 관련 3rd party 라이브러리 16:47
7.3 국채수익률 데이터 06:38
섹션 8. requests 실전예제3 - POST request
8.1 금융투자협회 15:37
8.2 로그인하기(성공사례) 16:13
8.3 로그인하기(실폐사례) 08:54
섹션 9. requests wrap-up
9.1 각자 해 볼 만한 것들 (Further to-do) 16:32
섹션 10. (RESTful) API
10.1 API part1 15:41
10.2 API part2 14:29
10.3 API 예제1 - OpenWeatherMap, Bittrex 11:51
10.4 API 예제2 - Slack 15:03
섹션 11. 파이썬 웹 크롤링 방법2. selenium 라이브러리
11.1 셀레니움(selenium), chromedriver 설치 04:08
11.2 chromedriver 환경변수 설정(Mac OS) 09:06
11.3 chromedriver 환경변수 설정(Windows) 06:07
11.4 More about 환경변수 08:06
11.5 selenium API 살펴보기 19:31
섹션 12. selenium 실전예제1 - 네이버 블로그 목록
12.1 사이트 작동방식 파악 15:46
12.2 로직화 및 구현 17:23
12.3 Explicit wait 13:30
섹션 13. selenium 실전예제2 - 네이버 금융 시세 데이터
13.1 selenium으로 시세 데이터 가져오기 34:17
섹션 14. selenium 실전예제3 - 인스타그램(instagram) 팔로우 & 좋아요
14.1 팔로우 & 좋아요 자동화 33:00
섹션 15. selenium 실전예제4 - 네이버 부동산(Advanced)
15.1 네이버 부동산 사이트/데이터 파악하기 part1 34:52
15.2 네이버 부동산 사이트/데이터 파악하기 part2 22:19
15.3 데이터 리포멧팅(reformatting) part1 - 개념 11:43
15.4 데이터 리포멧팅(reformatting) part2 - 단지정보 23:10
15.5 데이터 리포멧팅(reformatting) part3 - 시세 & 합치기 10:12
15.6 최종 로직 코드화 12:10
섹션 16. selenium wrap-up
16.1 각자 해 볼 만한 것들 (Further to-do) 11:04
섹션 17. 강의 wrap-up
17.1 Wrap-up 07:10
강의 게시일 : 2021년 03월 25일 (마지막 업데이트일 : 2021년 03월 25일)
수강평 총 55개
수강생분들이 직접 작성하신 수강평입니다.
4.8
55개의 수강평
5점
4점
3점
2점
1점
VIEW 추천 순 최신 순 높은 평점 순 낮은 평점 순 평점 순 높은 평점 순 낮은 평점 순
정혜선 thumbnail
5
완전 자세해요
2023-12-20
sosm1992 thumbnail
5
믿고 듣는 Deepingsauce님 수업.. 퀀트 수업 듣고 다음 수업 정말 많이 기다렸는데, 역시나 기대를 저버리지 않는 강의네요. 여러 온라인 강의를 들어봤지만, 강의를 들으면서 이해가 가지 않는 부분을 찾아보지 않고 강의영상으로만 다 해결이 되는 강의는 처음이네요. 돈이 아깝지 않아요. 또 후속강의 기대하겠습니다.
2021-04-03
GD thumbnail
3
파이썬 기초없이는 수강 불가능. 강의는 매우 속도감 있게 전개. 선생님이 무척 똑똑한듯. 그러나 수강생이 따라하면서 갈 여유가 없음. 15챕터까지 수강중... 일단 끝까지 듣고 다시 들을 생각임...선생님은 잘하시는데 학생도 잘하게될지는 잘 모르겟음...
2021-09-22
지식공유자 DeepingSauce
안녕하세요! 후기 감사드립니다 수업이 따라가기가 많이 어려우셨나보네요. 제가 말이 좀 빨라서 ㅠㅠ 말씀하신것처럼 우선 한번에 다 습득하려 하지 마시고, 한번 큰 그림을 보고 다시 수강하신다면 충분히 습득하실 수 있으리라 생각이 듭니다. 그 과정에서도 이해가 잘 안되거나 모르는 부분은 Q&A 게시판을 통해서도 질문남겨주시면, 도움 드릴 수 있도록 하겠습니다. 감사합니다!
2021-09-23
일신우일신 thumbnail
5
제가 원하던 데이타를 크롤링하는 방법이 어디를 검색해도 나와있거나 다룬 곳이 없어서 무척 답답했는데, 다행히 이곳 강의를 듣는 덕분에... 아직 다 듣지는 못했지만... 어제까지 들어본 강의로도 제가 원하던 데이타의 크롤링을 일단은 성공을 했네요..왕초짜라서 강사님의 동영상을 여러번 돌려보면서 따라하다가 우연히 얻어걸려서 너무 기분은 좋았지만, 단편적인 자료라서..., 앞에 들은 내용을 잊어서, for문을 돌리는 것을 충분히 더 숙지를 해야 할 것 같은데, 강사님 앞쪽 강의를 복기하면 충분히 될 거라고 확신하고.. 유투브같은 곳에서 챗GPT에 물어보면 다 해결될 것 같이 방송에 떠드는데, 막상 챗GPT에 물어서 답변해준 내용을 실행해보면, 절대 그렇지 않다는 것도 확실히 알게 되었고.. 강사님의 좋은 강의 덕분에 제가 원하는 소기의 성과를 얻게 되어서 너무 감사드립니다.. 추후에 강사님의 강의가 새로 생긴다면 무조건 들어볼 것 같습니다.
2024-01-12
HJ Kim (WILL) thumbnail
5
항상 좋은 강의 감사드립니다.
2021-03-31
연관 로드맵
이 강의가 포함된 잘 짜여진 로드맵을 따라 학습해 보세요!