단 두 장의 문서로 데이터 분석과 시각화 뽀개기

안녕하세요. 강좌를 수강해 주신 분들께 감사드립니다.

💻 증권 데이터 수집과 분석으로 신호와 소음 찾기 👉 http://bit.ly/inflearn-finace-data

강좌를 새로 오픈하게 되었습니다. 얼리버드 기간동안 30% 할인을 진행합니다.

📈 증권 데이터로 신호와 소음 찾기

현재도 오르고 내리는 주가 데이터를 실시간으로 받아와 분석합니다.
누군가 수집해 준 데이터를 사용하지 않고 직접 수집 할 수 있는 방법을 익히고
전처리 하는 방법을 알아봅니다.
업무나 연구에 사용할 데이터 분석 방법을 익히고 적용해 보는 것을 목적으로 하고 있습니다.

📊 증권 데이터로 데이터 분석을 배우면 좋은 이유

Pandas 가 증권가에서 일하는 퀀트에 의해 개발되었다는 사실 알고 계신가요?!
증권 데이터는 다양한 분석방법, 수식, 통계 등을 적용해 볼 수 있는 데이터 입니다.

수십, 수백 페이지의 웹 사이트의 내용을 엑셀에 복붙해야 한다면?!
수집한 데이터가 너무 지저분 해서 어디부터 손을 대야 할지 모르겠다면?!

범주형 데이터와 수치형 데이터는 어떤 차이가 있고
데이터의 신호와 소음을 찾기 위한 적절한 시각화 방법은?!
다양한 포맷의 데이터를 다루는 방법을 익혀볼 수 있습니다.

이동평균, 볼린저밴드, MACD, RSI와 같은 기술적 분석을 직접 구현해 보기도 하고
이미 구현된 라이브러리를 통해 코드 한 두 줄로 그려보기도 합니다.
기술적 분석에 대한 원리를 이해하고
HTS나 MTS에서 보는 것 처럼 차트를 구현해 봅니다.

⚡️ 강의 특징 

🧹 셀레니움과 같은 무거운 도구를 사용해야만 수집할 수 있을 것 같았던 웹 페이지의 데이터를
브라우저의 네트워크 탭을 활용해서 코드 한 두줄로 수집할 수 있는 방법을 알아봅니다.
업무나 연구에 필요한 정보를 직접 수집하고 분석해 볼 수 있습니다.

📈 정적인 시각화 도구 뿐만 아니라 동적인 시각화 도구의 사용법을 익혀봅니다.

🛠 많은 도구를 한 번에 익히려면 어렵습니다.
다양한 툴을 사용하더라도 핵심 기능만 이해하면
툴이 바뀌더라도 문서를 보고 이해할 수 있는 방법을 알면
새로운 라이브러리가 등장해도 두렵지 않을거에요.

💡우리가 필요하다고 느끼는 기능은 누군가 추상화된 라이브러리로 만들어 놓았어요.
새로운 도구를 설치하고 익혀보는 방법을 알아봅니다.

🛠 학습 스킬 소개

🐼  Pandas : 파이썬의 대표적인 데이터 분석 도구로 금융 데이터 분석을 위해 만들어 졌습니다.
🧮  Numpy : 파이썬의 수치계산 도구 입니다.
📊  matplotlib : 파이썬의 대표적인 데이터 시각화 도구 입니다.
📊  seaborn : matplotlib 을 사용하기 쉽게 추상화 해 놓은 고수준 시각화 도구로 기본 통계 연산을 제공합니다.
📊  plotly : 고수준, 저수준 시각화 기능을 제공하며 인터랙티브한 시각화가 가능합니다.
📊  cufflinks : plotly와 pandas를 강력하게 이어주는 생산적인 도구 입니다.
📈  FinanceDataReader : 코드 한 두 줄로 금융 데이터를 수집할 수 있는 도구 입니다.
🌏  Requests : 웹 페이지의 소스코드를 HTTP 통신으로 받아올 수 있는 도구 입니다.
🔍  BeautifulSoup4 : 웹 페이지의 소스코드에서 원하는 정보를 가져올 수 있는 도구 입니다.
⏰  tqdm : 데이터 수집이나 전처리에서 오래 걸리는 작업의 진행 상태를 볼 수 있습니다.

📊 다양한 시각화 라이브러리의 사용법과 차이점

이미지 출처 : https://pyviz.org/overviews/index.html

💻  코드가 입력되지 않은 파일(input)과 입력된 파일(output) 2가지 실습자료를 제공

설명이 적힌 비어있는 셀에 직접 코드를 입력하며 한 줄 한 줄 강의를 따라해 볼 수도 있으며
코드가 적혀있는 파일을 통해 실행하며 실습을 진행할 수도 있습니다.
강의를 다 듣고 비어 있는 셀을 채우며 복습해 볼 수도 있습니다.

📈 HTS, MTS 에서 볼 수 있는 보조지표(이동평균, 볼린저밴드, RSI, MACD) 직접 구현하고 원리 이해하기

🙋‍♀️ 예상 질문 Q&A

• 비전공자도 들을 수 있나요? 
데이터 분석은 전공/비전공을 불문하고 익혀두면 활용할 곳이 많습니다. 엑셀대신 파이썬을 통한 데이터 분석 기법을 익혀두면 업무와 연구에 다양하게 사용해 볼 수 있어요. 이미 해당 내용으로 오프라인 커리큘럼을 통해 개발 외 직군에 기업강의를 진행한 바 있습니다. 현장에서 어려움을 느끼는 부분에 대해 다양한 인터뷰를 진행하고 커리큘럼을 보완했습니다. 분석과 시각화를 위한 핵심기능을 익히면 업무 효율을 높이는데 도움이 됩니다.

• 왜 파이썬으로 데이터 분석과 수집 기술을 배워야 하나요? 
엑셀은 어떤 업무를 하든 직장인의 필수 스킬 중 하나입니다. 하지만 엑셀로는 불러올 수 있는 데이터의 크기나 타입 등 한계가 있지만 파이썬을 통해 익히게 되면 다양한 포맷과 대용량 데이터도 다룰 수 있게 됩니다. 

• 데이터 분석과 수집 기술을 배우면 무엇이 좋은가요?
필요한 데이터를 수집하기 위해 페이지마다 넘겨가며 드래그드랍과 복사붙여넣기를 통해 반복된 작업을 해야할 일들이 종종 발생합니다. 이런 일은 이제 파이썬에게 맡기고 ⏰ 좀 더 생산적인 일에 시간을 투자하거나 휴식🧘‍♀️을 취할 수도 있을거에요.

• 강의 수강 후에는 어떤 일을 할 수 있나요?
업무와 연구에서 발생하는 데이터를 직접 수집, 분석 시각화를 하고 생산량, 재고량, 판매량, 트래픽량 등에 적용해볼 수 있을거에요. 본인이 투자하고 있는 주가의 업종이나 테마, ETF를 분석하는 용도로도 가능하지만 강의에서 투자의견을 제시하지는 않습니다.

• 강의를 듣기 전 준비해야 할 것이 있나요?
파이썬의 변수, 숫자, 문자, 리스트 등의 개념을 이해하고 있으면 도움이 됩니다. 또, 평균, 중앙값, 분산, 표준편차, 백분위 등 중학교 수준의 수학 지식이 필요합니다. 

• 수업 내용을 어느 정도 수준까지 다루나요? 
증권 데이터를 수집, 전처리, 분석, 시각화 합니다. 파이썬의 기초부터 중급까지의 스킬을 다룹니다. 업종테마 정보 수집부터는 난이도가 많이 올라갑니다. 기획, 마케팅, 영업, 운영 등 다양한 직군에서 데이터 분석을 직접 활용해 볼 수 있는 것을 목표로 합니다. 프로그래밍이 처음이라면 강의 중반 부터는 어렵게 느껴질 수도 있습니다. 이럴 때는  강사가 제공하고 있는 자료 중 파일명 끝에 output 이라는 이름을 가진 완성된 파일을 돌려보고 바로 아래에 코드셀을 만들어서 똑같이 따라 해 보는 것을 추천합니다.

• 컴퓨터의 성능은 어느정도 되어야 수강 할 수 있나요?
4G이상의 메모리와 남은 저장공간이 20G정도 되는 PC나 노트북 이라면 상관 없으며 컴퓨터의 성능이 낮다면 google colaboratory 를 통해 실습해 보실 수 있습니다.

• 수업 내용을 개인 블로그나 깃헙에 정리해서 공개해도 되나요?
해당 강의 깃헙에 저작권 표기가 되어 있습니다. 정리해서 공개할 때는 출처 표기를 해주세요.

⚠️ 수강전 확인해 주세요.

데이터 분석을 익히면 증권시장에서 큰 수익을 얻을 수 있을 것이라 기대하시는 분
이 강의는 증권 투자 강의가 아니라 데이터 분석 강의 입니다. 아쉽게도 투자와 관련된 스킬을 기대한다면 실망할 수 있습니다. 또, 강의에서 배운 분석 기법을 통해 투자를 하였다 하더라도 투자 손실에 대한 책임은 투자자에게 있습니다.

인프런 미리 보기 또는 지식공유자의 유튜브 채널을 통해 공개되어 있는 일부 강의를 먼저 듣고 수강 여부를 결정해 주세요.
수강하기 전에 일부 강의를 미리 보기 할 수 있습니다. 원하는 학습 방향인지 확인해 보세요. 또 궁금한 사항은 수강 전 문의를 통해 질문해 주세요.

📈 증권 데이터 수집과 분석으로 신호와 소음 찾기 👉 http://bit.ly/inflearn-finace-data

얼리버드 기간동안 30% 할인 예정입니다!

감사합니다.

안녕하세요.

최근 💊 코로나19 확진자가 증가함에 따라 서울시에서 확진자 현황을 공개하는 🚧기술적인 방법이 변경⚠️되었습니다.

그래서 기존 판다스의 read_html 로 파일을 불러오려다가 당황하신 분들이 많이 계실것 같습니다.

분명 소스코드 보기를 하면 table 태그가 보이는데 데이터는 어디로 갔을까요?

사이트를 운영하다보면 이렇게 다양한 이유로 사이트의 구조가 변경 된다든지 공개하는 데이터가 변경되기도 하는데요.

더 이상 확진자가 증가하지 않아서 이런 업데이트 보다는 라이브러리 업데이트 등의 업데이트를 했으면 좋겠습니다.

그래서 변경된 📚확진자 목록을 가져오는 부록 강좌를 추가했습니다.

해당 부록 강좌는 🐼판다스의 수업범위를 벗어나는 내용이기 때문에 해당 내용을 실습해 보실지에 대해서는 선택을 하시면 될것 같아요.

기존 판다스만을 사용해서는 데이터를 가져올 수 없는 형태로 변경이 되었습니다.

그래서 requests라는 라이브러리를 사용해서 브라우저의 네트워크탭을 통해 어떤 방법으로 데이터가 보여지는지에 대한 원리를 설명해 드리고 페이지마다 데이터를 가져오는 방법에 대한 영상을 만들었습니다.

짧게 만들어 보려고 했는데 꼭 설명해야하는 내용만 담아야겠다고 생각했는데도 10분정도의 영상이 7개가 만들어졌습니다.

🕸 데이터 수집 방법이 아니라 최근 데이터만 수집을 해보고 싶다 하시는 분들은 영상 하단에 제공해 드리는 소스코드를 실행해 보시는 것만으로도 데이터를 수집해 보실 수 있습니다.

코로나19가 종식되어 다음 업데이트에는 최종으로 변경된 내용에 대한 반영이 되었으면 좋겠습니다.

또, ⭐️별점 5개⭐️의 수강평은 업데이트에 가장 큰 힘이 됩니다.

앞으로도 꾸준히 업데이트되는 강좌가 되도록 좋은 수강평 부탁드리겠습니다!🙇‍♀️

감사합니다.

안녕하세요.

"단 두 장의 문서로 데이터 분석과 시각화 뽀개기" 강좌를 수강해 주셔서 감사합니다!

온라인과 오프라인 수강생 분들께 Pandas Cheat Sheet 을 소개하며 정말 두 장의 문서만으로도 판다스의 주요 기능을 익혀볼 수 있는 것을 알려드리고 싶어서 강좌를 만들게 된게 일년이 넘었습니다.

일년동안 많은 분들이 이 강좌를 수강해 주셨습니다.

감사의 뜻으로 판다스를 통한 분석 콘텐츠를 추가했습니다.

"공공데이터로 파이썬 데이터분석 시작하기"를 통해 프로젝트 형식으로 데이터를 분석해 보실 수도 있는데요.

이 강좌에도 비슷한 프로젝트를 해보는 수업이 있으면 좋겠다는 생각이 들어서 현업과 유사한 프로젝트 수업 콘텐츠를 추가하게 되었습니다.

각 지자체에서 코로나 관련 데이터를 공개하고 있는데요.

서울시에서 공개하고 있는 코로나19 발생현황 사이트를 판다스 만으로 크롤링해서 분석하는 콘텐츠를 추가했습니다.

해당 강좌에서는 6월까지의 서울시에서 공개하고 있는 확진자 현황 데이터를 분석합니다.

단 두장의 문서로 익혀본 내용을 현업과 유사한 프로젝트로 분석해 보기

서울시 코로나 19 발생현황 사이트를 크롤링부터 전처리, 분석, 시각화까지 판다스를 활용해서 분석해 봅니다.

뉴스기사와 일상을 통해 자주 접하는 데이터를 직접 분석해 봅니다.

• 확진자가 가장 많이 나온 구는 어디일까요?
• 어느 병원에서 확진자를 가장 많이 치료했을까요? 
• 구별로 많이 이송되는 병원이 있을까요?
• 해외유입 확진자가 가장 많이 나온 구는 어디일까요?
• 여러 국가를 유럽, 남미 등으로 텍스트 전처리를 하기 위해서는 어떻게 해야 될까요?
• 해외유입 확진은 월별로 어느정도 차이가 날까요?

판다스를 통한 데이터 전처리 방법을 이해하고 실습해 봅니다.

• 텍스트로된 날짜에서 연, 월, 일, 요일, 주는 어떻게 구할까요?
• 확진자 현황 데이터로 누적 확진수는 어떻게 구할까요?
• groupby, crosstab, pivot, pivot_table의 차이는 어떻게 되고 어떤 기능을 사용하는게 적합할까요?

 

데이터프레임과 시리즈의 데이터 구조를 이해하고 분석에 적합한 형태로 가공해 봅니다.

• Pandas 의 plot으로 그래프를 그리기 위한 데이터프레임의 형태는 어떻게 만들어야 할까요?
• 그래프에서 범주형 값에 따라 다른 색상으로 값을 표현하고 싶다면 데이터프레임을 어떻게 변경해야 할까요?
• 시리즈를 데이터프레임으로 바꾸는 방법은 어떤 방법이 있을까요?

강좌에서 직접 확인해 보세요!

 

 

지난 일년동안 많은 질문과 좋은 수강평을 남겨주신 덕분에 강의를 업데이트 할 수 있었습니다.

앞으로도 꾸준히 강좌를 개선하고 업데이트 할 예정입니다.

좋은 수강평을 남겨주시면 꾸준한 콘텐츠 개선에 큰 힘이 됩니다

 

코로나19에서 벗어나 다시 일상으로 돌아갈 수 있기를 기원합니다!

감사합니다.