공공데이터로 파이썬 데이터 분석 시작하기

안녕하세요. 강좌를 수강해 주신 분들께 감사드립니다.

💻 증권 데이터 수집과 분석으로 신호와 소음 찾기 👉 http://bit.ly/inflearn-finace-data

강좌를 새로 오픈하게 되었습니다. 얼리버드 기간동안 30% 할인을 진행합니다.

📈 증권 데이터로 신호와 소음 찾기

현재도 오르고 내리는 주가 데이터를 실시간으로 받아와 분석합니다.
누군가 수집해 준 데이터를 사용하지 않고 직접 수집 할 수 있는 방법을 익히고
전처리 하는 방법을 알아봅니다.
업무나 연구에 사용할 데이터 분석 방법을 익히고 적용해 보는 것을 목적으로 하고 있습니다.

📊 증권 데이터로 데이터 분석을 배우면 좋은 이유

Pandas 가 증권가에서 일하는 퀀트에 의해 개발되었다는 사실 알고 계신가요?!
증권 데이터는 다양한 분석방법, 수식, 통계 등을 적용해 볼 수 있는 데이터 입니다.

수십, 수백 페이지의 웹 사이트의 내용을 엑셀에 복붙해야 한다면?!
수집한 데이터가 너무 지저분 해서 어디부터 손을 대야 할지 모르겠다면?!

범주형 데이터와 수치형 데이터는 어떤 차이가 있고
데이터의 신호와 소음을 찾기 위한 적절한 시각화 방법은?!
다양한 포맷의 데이터를 다루는 방법을 익혀볼 수 있습니다.

이동평균, 볼린저밴드, MACD, RSI와 같은 기술적 분석을 직접 구현해 보기도 하고
이미 구현된 라이브러리를 통해 코드 한 두 줄로 그려보기도 합니다.
기술적 분석에 대한 원리를 이해하고
HTS나 MTS에서 보는 것 처럼 차트를 구현해 봅니다.

⚡️ 강의 특징 

🧹 셀레니움과 같은 무거운 도구를 사용해야만 수집할 수 있을 것 같았던 웹 페이지의 데이터를
브라우저의 네트워크 탭을 활용해서 코드 한 두줄로 수집할 수 있는 방법을 알아봅니다.
업무나 연구에 필요한 정보를 직접 수집하고 분석해 볼 수 있습니다.

📈 정적인 시각화 도구 뿐만 아니라 동적인 시각화 도구의 사용법을 익혀봅니다.

🛠 많은 도구를 한 번에 익히려면 어렵습니다.
다양한 툴을 사용하더라도 핵심 기능만 이해하면
툴이 바뀌더라도 문서를 보고 이해할 수 있는 방법을 알면
새로운 라이브러리가 등장해도 두렵지 않을거에요.

💡우리가 필요하다고 느끼는 기능은 누군가 추상화된 라이브러리로 만들어 놓았어요.
새로운 도구를 설치하고 익혀보는 방법을 알아봅니다.

🛠 학습 스킬 소개

🐼  Pandas : 파이썬의 대표적인 데이터 분석 도구로 금융 데이터 분석을 위해 만들어 졌습니다.
🧮  Numpy : 파이썬의 수치계산 도구 입니다.
📊  matplotlib : 파이썬의 대표적인 데이터 시각화 도구 입니다.
📊  seaborn : matplotlib 을 사용하기 쉽게 추상화 해 놓은 고수준 시각화 도구로 기본 통계 연산을 제공합니다.
📊  plotly : 고수준, 저수준 시각화 기능을 제공하며 인터랙티브한 시각화가 가능합니다.
📊  cufflinks : plotly와 pandas를 강력하게 이어주는 생산적인 도구 입니다.
📈  FinanceDataReader : 코드 한 두 줄로 금융 데이터를 수집할 수 있는 도구 입니다.
🌏  Requests : 웹 페이지의 소스코드를 HTTP 통신으로 받아올 수 있는 도구 입니다.
🔍  BeautifulSoup4 : 웹 페이지의 소스코드에서 원하는 정보를 가져올 수 있는 도구 입니다.
⏰  tqdm : 데이터 수집이나 전처리에서 오래 걸리는 작업의 진행 상태를 볼 수 있습니다.

📊 다양한 시각화 라이브러리의 사용법과 차이점

이미지 출처 : https://pyviz.org/overviews/index.html

💻  코드가 입력되지 않은 파일(input)과 입력된 파일(output) 2가지 실습자료를 제공

설명이 적힌 비어있는 셀에 직접 코드를 입력하며 한 줄 한 줄 강의를 따라해 볼 수도 있으며
코드가 적혀있는 파일을 통해 실행하며 실습을 진행할 수도 있습니다.
강의를 다 듣고 비어 있는 셀을 채우며 복습해 볼 수도 있습니다.

📈 HTS, MTS 에서 볼 수 있는 보조지표(이동평균, 볼린저밴드, RSI, MACD) 직접 구현하고 원리 이해하기

🙋‍♀️ 예상 질문 Q&A

• 비전공자도 들을 수 있나요? 
데이터 분석은 전공/비전공을 불문하고 익혀두면 활용할 곳이 많습니다. 엑셀대신 파이썬을 통한 데이터 분석 기법을 익혀두면 업무와 연구에 다양하게 사용해 볼 수 있어요. 이미 해당 내용으로 오프라인 커리큘럼을 통해 개발 외 직군에 기업강의를 진행한 바 있습니다. 현장에서 어려움을 느끼는 부분에 대해 다양한 인터뷰를 진행하고 커리큘럼을 보완했습니다. 분석과 시각화를 위한 핵심기능을 익히면 업무 효율을 높이는데 도움이 됩니다.

• 왜 파이썬으로 데이터 분석과 수집 기술을 배워야 하나요? 
엑셀은 어떤 업무를 하든 직장인의 필수 스킬 중 하나입니다. 하지만 엑셀로는 불러올 수 있는 데이터의 크기나 타입 등 한계가 있지만 파이썬을 통해 익히게 되면 다양한 포맷과 대용량 데이터도 다룰 수 있게 됩니다. 

• 데이터 분석과 수집 기술을 배우면 무엇이 좋은가요?
필요한 데이터를 수집하기 위해 페이지마다 넘겨가며 드래그드랍과 복사붙여넣기를 통해 반복된 작업을 해야할 일들이 종종 발생합니다. 이런 일은 이제 파이썬에게 맡기고 ⏰ 좀 더 생산적인 일에 시간을 투자하거나 휴식🧘‍♀️을 취할 수도 있을거에요.

• 강의 수강 후에는 어떤 일을 할 수 있나요?
업무와 연구에서 발생하는 데이터를 직접 수집, 분석 시각화를 하고 생산량, 재고량, 판매량, 트래픽량 등에 적용해볼 수 있을거에요. 본인이 투자하고 있는 주가의 업종이나 테마, ETF를 분석하는 용도로도 가능하지만 강의에서 투자의견을 제시하지는 않습니다.

• 강의를 듣기 전 준비해야 할 것이 있나요?
파이썬의 변수, 숫자, 문자, 리스트 등의 개념을 이해하고 있으면 도움이 됩니다. 또, 평균, 중앙값, 분산, 표준편차, 백분위 등 중학교 수준의 수학 지식이 필요합니다. 

• 수업 내용을 어느 정도 수준까지 다루나요? 
증권 데이터를 수집, 전처리, 분석, 시각화 합니다. 파이썬의 기초부터 중급까지의 스킬을 다룹니다. 업종테마 정보 수집부터는 난이도가 많이 올라갑니다. 기획, 마케팅, 영업, 운영 등 다양한 직군에서 데이터 분석을 직접 활용해 볼 수 있는 것을 목표로 합니다. 프로그래밍이 처음이라면 강의 중반 부터는 어렵게 느껴질 수도 있습니다. 이럴 때는  강사가 제공하고 있는 자료 중 파일명 끝에 output 이라는 이름을 가진 완성된 파일을 돌려보고 바로 아래에 코드셀을 만들어서 똑같이 따라 해 보는 것을 추천합니다.

• 컴퓨터의 성능은 어느정도 되어야 수강 할 수 있나요?
4G이상의 메모리와 남은 저장공간이 20G정도 되는 PC나 노트북 이라면 상관 없으며 컴퓨터의 성능이 낮다면 google colaboratory 를 통해 실습해 보실 수 있습니다.

• 수업 내용을 개인 블로그나 깃헙에 정리해서 공개해도 되나요?
해당 강의 깃헙에 저작권 표기가 되어 있습니다. 정리해서 공개할 때는 출처 표기를 해주세요.

⚠️ 수강전 확인해 주세요.

데이터 분석을 익히면 증권시장에서 큰 수익을 얻을 수 있을 것이라 기대하시는 분
이 강의는 증권 투자 강의가 아니라 데이터 분석 강의 입니다. 아쉽게도 투자와 관련된 스킬을 기대한다면 실망할 수 있습니다. 또, 강의에서 배운 분석 기법을 통해 투자를 하였다 하더라도 투자 손실에 대한 책임은 투자자에게 있습니다.

인프런 미리 보기 또는 지식공유자의 유튜브 채널을 통해 공개되어 있는 일부 강의를 먼저 듣고 수강 여부를 결정해 주세요.
수강하기 전에 일부 강의를 미리 보기 할 수 있습니다. 원하는 학습 방향인지 확인해 보세요. 또 궁금한 사항은 수강 전 문의를 통해 질문해 주세요.

📈 증권 데이터 수집과 분석으로 신호와 소음 찾기 👉 http://bit.ly/inflearn-finace-data

얼리버드 기간동안 30% 할인 예정입니다!

감사합니다.

안녕하세요.

"단 두 장의 문서로 데이터 분석과 시각화 뽀개기" 강좌를 운영한지 일년이 넘었습니다.

"공공데이터로 파이썬 데이터 분석 시작하기" 강좌처럼 해당 강좌도 꾸준히 업데이트를 할 예정입니다.

"단 두 장의 문서로 데이터 분석과 시각화 뽀개기" 강좌에 서울시 코로나19 발생현황 분석 콘텐츠가 추가되었습니다.

그리고 업데이트 기념으로 7월 24일까지 20%할인을 진행합니다.

해당 강좌를 수강하지 않더라도 일부 강좌를 "단 두 장의 문서로 데이터 분석과 시각화 뽀개기"  에서 보실 수 있으며 전체 소스코드도 강좌에서 다운로드가 가능합니다.

6월까지 서울시에서 공개하고 있는 확진자 현황 데이터(https://www.seoul.go.kr/coronaV/coronaStatus.do)를 판다스로 크롤링, 전처리, 분석 시각화합니다.

단 두장의 문서로 익혀본 내용을 현업과 유사한 프로젝트로 분석해 보기

서울시 코로나 19 발생현황 사이트를 크롤링부터 전처리, 분석, 시각화까지 판다스를 활용해서 분석해 봅니다.

뉴스기사와 일상을 통해 자주 접하는 데이터를 직접 분석해 봅니다.

• 확진자가 가장 많이 나온 구는 어디일까요?
• 어느 병원에서 확진자를 가장 많이 치료했을까요? 
• 구별로 많이 이송되는 병원이 있을까요?
• 해외유입 확진자가 가장 많이 나온 구는 어디일까요?
• 여러 국가를 유럽, 남미 등으로 텍스트 전처리를 하기 위해서는 어떻게 해야 될까요?
• 해외유입 확진은 월별로 어느정도 차이가 날까요?

판다스를 통한 데이터 전처리 방법을 이해하고 실습해 봅니다.

• 텍스트로된 날짜에서 연, 월, 일, 요일, 주는 어떻게 구할까요?
• 확진자 현황 데이터로 누적 확진수는 어떻게 구할까요?
• groupby, crosstab, pivot, pivot_table의 차이는 어떻게 되고 어떤 기능을 사용하는게 적합할까요?

 

데이터프레임과 시리즈의 데이터 구조를 이해하고 분석에 적합한 형태로 가공해 봅니다.

• Pandas 의 plot으로 그래프를 그리기 위한 데이터프레임의 형태는 어떻게 만들어야 할까요?
• 그래프에서 범주형 값에 따라 다른 색상으로 값을 표현하고 싶다면 데이터프레임을 어떻게 변경해야 할까요?
• 시리즈를 데이터프레임으로 바꾸는 방법은 어떤 방법이 있을까요?

강좌에서 직접 확인해 보세요!

 

 

지난 일년동안 많은 질문과 좋은 수강평을 남겨주신 덕분에 강의를 업데이트 할 수 있었습니다.

앞으로도 꾸준히 강좌를 개선하고 업데이트 할 예정입니다.

좋은 수강평을 남겨주시면 꾸준한 콘텐츠 개선에 큰 힘이 됩니다

 

코로나19에서 벗어나 다시 일상으로 돌아갈 수 있기를 기원합니다!

감사합니다.

안녕하세요.

📊 공공데이터로 파이썬 데이터 분석 시작하기 강의가 전면 리뉴얼 되었습니다.

챕터 1~4에 이어 [챕터5 도시공원 표준 데이터 분석]에서는 데이터 전처리에 집중해서 강좌를 개편 했습니다. 

✍🏻코드와 영상을 모두 새로 작성하였습니다.

📈[챕터5] 기존 55분 => 217분으로 데이터 전처리에 대한 콘텐츠가 대폭 추가되었습니다.

# 도시공원 표준 데이터는 결측치, 이상치, 오류값, 날짜 등 다양한 데이터 전처리를 필요로 하는 데이터라 전처리를 실 데이터를 통해 익혀보고자 하시는 분들께 적합할 것 같아요.

# 다양한 라이브러리를 사용한 기술통계 분석을 쉽고 강력하게 할 수 있는 Pandas Profiling 으로 리포트를 생성하는 방법이 추가되었습니다.

# 정규표현식을 통한 텍스트 데이터 전처리 방법이 추가되었습니다. 또, 텍스트 데이터를 다양한 방법으로 시각화 합니다.

# 개인정보보호 등에 꼭 필요한 정보 마스킹 기법이 추가되었습니다.

기존 도시공원의 분포를 분석해 보는 강의에서 전처리 업무에서 자주 마주칠 수 있는 다양한 기법에 대한 내용을 대폭 보완했습니다. 

특히 정규표현식을 통한 텍스트 전처리와 분석에 대한 내용도 함께 학습하실 수 있도록 신규로 추가되었습니다.

# crosstab을 통한 범주형 vs 범주형 데이터 교차표 만드는 방법이 추가 되었습니다. 

또, 판다스의 스타일 기능을 통해 시각화 없이 데이터프레임에 색상을 표현해 봅니다.

# 시각화 기법에 대해 좀 더 다양한 응용을 해봅니다.

주요 업데이트 내용 정리

# Pandas Profiling 

- 코드 한 줄로 데이터 전체에 대한 다양한 기술통계 리포트 생성하기

# 실무에 필요한 다양한 데이터 전처리

- 파생변수 만들기

- 결측치 대체하기

- 이상치, 오류값 찾기와 다루기

- 데이터 타입 변경하기

# 정규표현식으로 텍스트 데이터 다루기

- 원하는 데이터만 가져오기

- 다른형태의 텍스트에서 키워드만 추출해서 빈도수 세기

- 워드클라우드 그리기

- 코드 재사용을 위한 텍스트 데이터 전처리 함수 만들기

- 정보 마스킹 하기 : 개인정보 혹은 전화번호, 이메일, 자동차 등록번호의 패턴을 찾고 마스킹 하기

# 수치형 vs 범주형 변수

- 데이터 타입으로 수치형, 범주형 변수 찾기

- pivot_table vs crosstab 사용하기

# 내 주변의 공원을 찾고 지도에 표현해 보기

- 데이터 전처리와 folium 을 통한 시각화

좋은 수강평을 남겨주시면 강의를 개편하고 보완하는데 큰 힘이 됩니다!

감사합니다.

상가(상권)정보 분석이 훨씬 자세해 졌습니다.

챕터1 리뉴얼에 이어 챕터2~4까지 리뉴얼이 되었습니다.  모든 영상과 소스코드를 새로 작성하였습니다.

<리뉴얼 전>

<리뉴얼 후>

챕터2 29분=>167분

챕터3 37분=>101분

챕터4 91분=>113분

지난 일년 동안 받았던 소중한 질문과 피드백을 통해 내용을 보완하고 설명을 훨씬 자세하게 추가했습니다.

또, 실습을 할 수 있는 파일과 결과 파일을 함께 제공하며 Google Colaboratory에서 바로 실습을 할 수 있는 링크도 제공합니다.

<챕터2 상가(상권)정보로 기술통계 익히기> 

missingno를 통해 좀 더 다양한 결측치 시각화를 합니다.

또, 결측치를 제거했을 때 메모리 사용량이 달라지는 점을 보고 메모리 사용량을 줄일 수 있는 방법에 대해 다룹니다.

구별 음식점 분석과 대치동과 목동에 입시학원이 많은지 가설을 세우고 분석을 해보는 내용이 추가되었습니다.

그리고 기술통계 내용을 대폭 보완했습니다.

describe를 통해 수치형, 범주형 데이터를 요약해 볼 때 각각의 값에 대한 의미와 개별 값들을 따로 계산을 해보는 과정이 추가되었습니다.

상관계수를 구하고 회귀선을 그려서 상관분석을 하는 내용도 추가되었습니다.

<챕터3 프랜차이즈 입점 분석>

다양한 변수를 시각화 하며 jointplot을 통해 2개의 수치형 변수를 시각화 하는 방법을 좀 더 자세히 다룹니다.

Folium의 CircleMarker 외에 MarkerCluster, Heatmap 으로 위치별 매장의 밀집도를 표현합니다.

<챕터4 스타벅스, 이디야 매장위치 비교하기>

CircleMarker를 구별로 그리기 위해 위경도의 평균을 구하는 과정을 for 문을 사용하지 않고 pivot_table을 통해 연산하고 merge를 통해 연산 결과를 합치를 과정을 다룹니다. 또, 설명이 훨씬 자세해졌습니다.

<챕터5> 도 곧 리뉴얼 될 예정입니다!

앞으로도 질문 혹은 수강평을 통해 의견을 남겨주시면 더 좋은 강의를 만드는데  도움이 될 것 같아요!

수강평과 피드백을 기다립니다 :)

1년동안 운영하며 받은 소중한 피드백을 모아 2020년 3월

기존 "챕터1 전국 신규 민간아파트 분양가격 동향"이 완전히 새롭게 리뉴얼 되었습니다.

챕터1 기준 기존 영상 9개(1시간 41분)에서 20개(3시간 25분)으로 설명과 시각화가 훨씬 자세해 졌습니다.

기존보다 훨씬 다양한 그래프를 다루며(히트맵, 히스토그램, 분포도, 산점도, 회귀 그래프 등) 서브플롯을 쉽게 그려볼 수 있는 내용이 추가되었습니다.

또 실습 코드와 결과코드를 함께 제공합니다. 

영상을 보며 코드를 따라해 보실 수 있도록 간단한 가이드가 제시된 실습파일(01-apt-price-input.ipynb) 과 결과가 함께 표시된 (01-apt-price-output.ipynb) 파일을 활용해 보세요.

코드 위치와 google colaboratory 경로는 영상 소개란을 참고해 주세요!

2020년 3월 다른 챕터의 튜토리얼도 리뉴얼 예정입니다!

감사합니다.