파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트) 대시보드

안녕하세요. Dave Lee(잔재미코딩) 입니다. (다시 전송해서 정말 죄송합니다. 미진한 부분이 있어서...)

오랜만에 두 가지 소식을 공유드립니다.

우선 강의를 또 업데이트했습니다. 올해 두번째 업데이트인데요. 일부 사이트들이 변경되어, 이를 위한 코드와 가이드를 드렸지만, 좀더 금번에 영상도 업데이트하였습니다. 빈번한 사이트 변경으로, 제가 직접 다양한 사이트를 만들어서, 크롤링을 연습하실 수 있도록 하였습니다. 또 기존보다는 프로그래밍에 조검더 자연스럽게 익숙해질 수 있도록, 프로그래밍 관련 팁들도 추가하였습니다. 관련 강의는 (2020 업데이트)로 표시하였습니다. 

그동안 정말 많은 분들께서 정말 좋은 수강평을 적어주셔서, 저도 너무 큰 힘이 되었습니다. 이런 작업들이 조금이라도 모든분들에게 긍정적인 에너지가 되면 좋겠습니다.

다음으로 신규 강의를 만들었습니다. 

처음하는 파이썬 데이터 분석 [전처리, pandas, 시각화까지 전과정 기본 기술 쉽게 익히기]

파이썬으로 데이터 전처리부터, pandas, 최신 시각화(plotly)까지 익힐 수 있는 강의입니다.

• 실전 예제를 처음부터 끝까지 함께 분석해보며 관련 기술을 설명드려서, 수업을 들으신 후에는 어떤 데이터든 데이터 분석을 바로 하실 수 있도록 꾸몄고요.
• pandas 가 은근 문법이 까다롭고, 프로그래밍이 된다해도 이 쪽을 막바로 사용하기가 쉽지 않습니다. 그렇다고 엑셀로 할 수는 없는 일이니... 이런 부분을 입문자도 이해할 수 있도록, 그리고 실전 예제로 바로 활용할 수 있도록꾸몄습니다.
• 시각화쪽도 기존 기술은 너무 예전 기술들이라, 잘 안되는 경우도 많고, 표현하기도 쉽지 않았습니다. 그래서 조작도 간편하고, 분석에도 유용하고, 그리고 이쁜(맘에 들어요) 최신 시각화 기술을 쉽게 활용할 수 있도록 설명드립니다.
• 여기에 현업에서 실제 데이터 분석을 할때 필요한 팁들을 넣었습니다.

마지막으로 강의 수가 많아지다보니, 어떤 순서로 수강하시면 좋을지 문의하시는 분들이 계서서,  다음과 같이 크게 데이터 분석/과학 트랙과 풀스택 트랙의 순서와 향후 방향을 공유드립니다.(데이터 과학 + 풀스택, 멋있지 않나요?)  인프런에 가장 좋은 강의를 오픈하기 위해 준비하고 있습니다.

개인적으로는 제가 강의를 오픈하면, 제 강의가 도움이 됬다고 느끼셨던 분들은
일단 그 기술은 큰 걱정과 고생없이 여러분들의 것이 되고,
바로 활용하실 수 있다는 느낌이 드신다면 정말 좋지 않을까 생각을 합니다. 감사합니다.~~~

데이터 분석/과학 코스

1. 파이썬 입문과 크롤링 기초 부트캠프 (파이썬과 데이터 수집 기본)
2. Scrapydhk Selenium 정복 (데이터 수집(크롤링) 중급)
3. SQL과 데이터 저장/분석 기본 (데이터 저장/분석)
4. NoSQL(mongodb) 빅데이터 기본 (빅데이터 저장/분석)
5. 파이썬 데이터 분석 기본 (데이터 분석)
6. 머신러닝/인공지능 기본 (데이터 예측, 열심히 준비하고 있습니다)

풀스택 코스

1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
2. SQL과 데이터 저장/분석 기본 (SQL 데이터베이스 기본)
3. NoSQL(mongodb) 빅데이터 기본 (NoSQL 데이터베이스 기본)
4. 백엔드 기본과 중급 (열심히 준비하고 있습니다)
5. 프론트엔드 기본과 중급 (열심히 준비하고 있습니다)
6. 풀스택 기본과 클론코딩 (열심히 준비하고 있습니다)

안녕하세요. 로그인이 필요한 사이트 크롤링과 관련하여 예제로 보여드린 한빛미디어 사이트가 변경되었네요.

아무래도 수강자분들께 보다 도움이 되고자, 제 강의가 실전 사이트 예제를 많이 보여드리려했는데요. 수강자분들께서 많이 늘어나다보니, 사이트 크롤링 연습을 많이 하셔셔, 관련 사이트 운영자분들께서 부담이 되시는 것 같습니다. 

해당 사이트가 크롤링을 강하게 막아놓은 상태라서, 해당 사이트는 부득이 중급 크롤링 강좌(현존 최강 크롤링 기술: Scrapy와 Selenium 정복 ) 에서 설명드린 selenium 기술을 써야 할 것 같습니다. 관련 기술은 별도 프로그램 설치부터 시작해서 내용 자체가 중급에 해당되는 많은 설명이 필요한 부분이라서요. 우선 해당 로그인이 필요한 사이트 강의 내용은 참고로만 부탁드립니다.

다음 코드는 해당 사이트를 selenium을 사용하여 해당 페이지를 브라우저를 조작해서 자동 로그인해서, 크롤링을 하는 코드인데요. 크롬 드라이버를 적절히 설치하셔야 동작하는 프로그램이라서, 실제 코드가 실행이 안되실 꺼예요. 

관련 기술에 대해 그렇다고 글로 해당 강의를 설명드릴 수도 없는 부분이라서 이 부분 양해부탁드립니다.

관련 기술까지 익혀보고 싶으시다면...

현존 최강 크롤링 기술: Scrapy와 Selenium 정복  강의에 대해 쿠폰을 발행해드립니다.

다음 쿠폰번호로 할인받으실 수 있습니다.

229-db7d559a415d

감사합니다.

from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

import time

driver = webdriver.Chrome('./chromedriver')

driver.get('https://www.hanbit.co.kr/member/login.html')

my_id = '아이디'

my_pw = '패스워드'

# 다음 세 줄이 기본 패턴 코드: ID 넣기

# WebDriverWait(driver, 최대 기다리는 시간).until(EC.presence_of_element_located((By.CSS_SELECTOR, CSS Selector 태그)))

login_id = WebDriverWait(driver, 3).until(EC.presence_of_element_located((By.CSS_SELECTOR, "#m_id")))

login_id.clear() # 입력창의 경우, 사전에 작성되어 있는 텍스트를 삭제

login_id.send_keys(my_id) # 내가 넣고자 하는 텍스트 삽입

# 다음 세 줄이 기본 패턴 코드: 패스워드 넣기

login_pw = WebDriverWait(driver, 3).until(EC.presence_of_element_located((By.CSS_SELECTOR, "#m_passwd")))

login_pw.clear()

login_pw.send_keys(my_pw)

# 버튼 클릭시는 다음 두 줄: 로그인 버튼 누르기

button = WebDriverWait(driver, 3).until(EC.presence_of_element_located((By.CSS_SELECTOR, "#login_btn")))

button.click()

time.sleep(1) # 로그인 후의 페이지 로딩을 위해, 1초정도 기다리면 좋음

driver.get('https://www.hanbit.co.kr/myhanbit/myhanbit.html')

coin = driver.find_element_by_css_selector('div.sm_mymileage > dl.mileage_section1 dd')

print (coin.text)

driver.quit()

안녕하세요. 잔재미코딩 Dave Lee 강사입니다.

오늘은 재미있는 케이스와 함께, 개발자로 역량을 키우실 수 있는 팁을 공유드리면 좋을 것 같아서, 공유드려요.

다음과 같은 문의가 올라왔는데요. 재미있으면서도, 이런 경우는 실제 개발자라면 어떻게 해결해 나갈까를 생각해볼 수 있는 문의같습니다.

-------------------

Exercise 38. 데이터 구조와 반복문 (리스트)

다음 리스트 변수에서 음수 데이터를 삭제하고, 양수만 가진 리스트 변수로 만들고, 해당 변수를 출력하세요.

num_list = [0, -11, 31, 22, -11, 33, -44, -55]

코드:

num_list = [0, -11, 31, 22, -11, 33, -44, -55]

for i in num_list:

    if i < 0:

        num_list.remove(i)

print(num_list)

실행 결과 : [0, 31, 22, 33, -55]

38번 문제를 풀기 위해서 위 코드와 같이 작성하였는데 -55가 왜 남아있는지 이해가 안가서 질문드립니다!

-------------------

이 문제에 답을 찾기 위해, 저는 

1. 위 코드를 먼저 실행해봤고, 이상한 부분을 이해했고,

2. 코드를 다음과 같이 각 단계별로 어떤 부분이 이상이 있는지를 변수값을 모두 line by line 으로 출력해보았습니다.

첫번째! - 음 문제 없네

num_list = [0, -11, 31, 22, -11, 33, -44, -55]

print (num_list)

두번째! - 음 문제 없네

num_list = [0, -11, 31, 22, -11, 33, -44, -55]

print (num_list)

for index, item in enumerate(num_list):

    print (index, num_list, item)

세번째! - 아 여기서 문제가 있을 수 있구나~

num_list = [0, -11, 31, 22, -11, 33, -44, -55]

print (num_list)

for index, item in enumerate(num_list):

    print (index, num_list, item)

    if item < 0:

        num_list.remove(item)

세번째 각 라인의 출력 결과를 보고, num_list 리스트 값이 동적으로 반복문 안에서 변경이 되면서, 

마지막 반복문이 실행시에 num_list의 길이는 5이고, 반복문 횟수는 0~4까지, 즉 5번이 되어,

num_list의 마지막 값인 -55 이 반복되지 않고, 그대로 반복문이 종료되었다는 것을 깨닫게 되었습니다.

제가 공유드리면 좋겠다는 팁은,

이와 같이 개발자분들은 항상 의외의 상황을 맞이하게 되는데요.

저 같은 경우는 세 가지 팁을 사용해서 문제를 해결합니다. 어차피 매번 저만의 이슈를 해결해줄 수 있는 사람은 없으니까요.

1. 코드가 내가 원하는대로 동작하지 않을 때에는 가능한 범위를 좁혀서, 가장 확실한 부분 또는 맨 윗 부분부터

의심이 되는 부분들을 모두 출력해본다. 그래도 이해가 안가면, line by line 으로 사용된 변수들의 값을 모두

출력한다.

이렇게 되면 변수가 어떻게 값이 변경되는지 이해하면서, 코드가 왜 이렇게 실행이 됬는지를 알 수 있습니다.

2. 이래도 안되면, 구글에 여러가지 검색어를 놓고, 검색을 한다 입니다.

어차피 사람은 동일해서 저만 이런 이슈를 가지고 있는 경우는 매우 드뭅니다. 다른 사람들도 유사한 이슈를 겪었고,

개발자분들은 그래도 이런 부분들을 공유하는 편입니다.

3. 그래도 안되면, 구글에 저의 이슈를 영어로 검색어를 만들어 검색을 한다 입니다.

국내 개발자가 아니라면, 분명 외국 개발자들이 유사한 이슈를 겪을 수 있습니다. 

이 세가지를 매번 이슈를 만날때마다 하게 되면, 숙련되고, 자신만의 노하우도 생기고, 갈수록 좀더 빠르게

문제를 해결하고, 더 많은 기술을 이해하실 수 있으실 꺼예요.

이런 팁도 꼭 도움이 되었으면 좋겠습니다.

감사합니다.

5월에는 새로운 강의로 찾아뵙겠습니다. 열심히 준비중입니다.

# 강의 리스트

• 파이썬 입문과 크롤링 기초 부트캠프 (쉽게! 그러나 견고하게!)
• 현존 최강 크롤링 기술: Scrapy와 Selenium 정복
• SQL/DB(MySQL) 기본부터 파이썬/데이터분석 활용까지!
• NoSQL/DB(몽고DB)기초와 파이썬활용 [최신 풀스택/데이터과학 첫걸음]

안녕하세요. 잔재미코딩 Dave Lee 강사입니다.

인프런에 오픈한 강좌가 벌써 4개가 되었는데요. 이 중에 일부 강의를 수강하시는 분들을 위해, 간단히 4개의 강의를 공유드릴겸, 할인쿠폰을 제공해드리려고 공지를 드립니다. 

본 4개의 강의는 데이터 분석과 풀스택 기술의 기초가 되는 가장 실무적인 기술인데요.  두 과정 모두 데이터 수집, 데이터 저장, 데이터 분석 기술을 공통으로 하며, 기 오픈된 4강의는 데이터 수집, 데이터 저장, 데이터 분석(일부) 기술을 설명드린 것입니다. 

금년내로 본래 4개를 기반으로 데이터 분석 이론/실무, 풀스택 기술 강의를 완료하고자 했으나, 패스트캠퍼스 강좌(알고리즘/기술면접 완전 정복 Online) 준비로 내년초로 다소 일정이 연기되었습니다. 하지만, 내년초까지는 본 4강좌를 기초로 하는 데이터분석/풀스택 강의가 곧 오픈될 예정입니다.

어느 기술이나, 처음 익히기 시작할 때가 굉장히 시간이 오래걸리는 법인데요. 막무가내로 익히시려면, 한참 헤멜 수 있는 부분들을 가능한 쉽고, 빠르게! 핵심 내용을 중심으로 현업에서 실제 활용까지 가능하도록 하는데 중점을 두어 만들었습니다.

보다 많은 수강생분들이 수강해주시고, 꼭 도움이 되셨으면 해서, 다음 테이블과 같이 최대한 할인을 하여 쿠폰을 공유해드리니, 필요하시면 수강하실 때 활용하시면 좋을 것 같습니다. 할인 쿠폰의 유효기간은 12월말일 및 각 과목별 100명 한정 입니다. 각강좌 구매시, 해당 강좌의 쿠폰코드를 넣으시면 할인이 됩니다.

감사합니다.

안녕하세요.

강좌에서 설명드린 웹페이지 다양한 크롤링 예제 중, 특정 1개의 예제에서 일부 크롤링 항목이 웹페이지 변경으로 인해, 해당 일부 항목만 크롤링이 어렵게 되었음을 확인하여 공유를 드립니다. 

크롤링 예제중 (1) 쇼핑몰 상품 정보 및  (2) 각 상품의 상세 페이지에서 제조사와 연락처를 크롤링하는 부분이 있는데요.

(2) 번의 경우에만, 현재 상품별 상세 페이지의 제조사/연락처를 포함한 상세 정보가 상품별로 항목이 다르게 바뀌어서, 제조사/연락처가 없는 경우도 많은 상황이 되었습니다. 또한, 이전과 달리 더보기 버튼이 생겼는데요. 상품별 상세 항목이 더보기 버튼을 누를 시에만 동적으로 가져오도록 되어 있습니다.

이 경우에는 본 강좌 (기초 강좌) 이후에 수강하시면 좋은 '현존 최강 크롤링 기술: Scrapy와 Selenium 정복' (중급 강좌) 에서 다루는 selenium을 사용하지 않고서는 크롤링이 어려운 상황입니다.

이 점은 실제 활용할만한 예제를 보여드리고자, 실제 사이트를 예로 들다보니, 사이트가 수시로 변경되어, 생기는 부득이한 문제임을 양해를 부탁드립니다. 더불어 해당 예제의 (2)번을 설명하는 부분은 크롤링 기법을 이해하는 예제로만 들어주시고, 해당 부분은 실제 웹페이지 변경으로 인해 크롤링이 가능하지 않다는 점을 유념부탁드리겠습니다.

다시한번 웹페이지 변경으로 인해, 특정 항목의 크롤링이 실제와 다르게 된 점 양해를 부탁드립니다.

감사합니다. 

안녕하세요. 잔재미코딩 Dave Lee 강사입니다.

인프런에 오픈한 강좌가 벌써 4개가 되었는데요. 이 중에 일부 강의를 수강하시는 분들을 위해, 간단히 4개의 강의를 공유드릴겸, 할인쿠폰을 제공해드리려고 공지를 드립니다.

최종 목표는 올해 내에, 데이터 분석 과정과 풀스택 과정을 모두 오픈하는 것인데요. 두 과정 모두 데이터 수집, 데이터 저장, 데이터 분석 기술을 공통으로 하며, 기 오픈된 4강의는 데이터 수집, 데이터 저장, 데이터 분석(일부) 기술을 설명드린 것입니다. 

어느 기술이나, 처음 익히기 시작할 때가 굉장히 시간이 오래걸리는 법인데요. 막무가내로 익히시려면, 한참 헤멜 수 있는 부분들을 가능한 쉽고, 빠르게! 핵심 내용을 중심으로 현업에서 실제 활용까지 가능하도록 하는데 중점을 두어 만들었습니다.

수강생분들을 위해, 다음 테이블과 같이 할인 쿠폰을 공유해드리니, 필요하시면 수강하실 때 활용하시면 좋을 것 같습니다. 할인 쿠폰의 유효기간은 10월말일 까지 입니다. 

참고로, 위 강좌를 기반으로 다음 로드맵도 오픈하였으니, 수강하실 때 참고하시면 좋을 것 같습니다. (각 이미지를 클릭하시면 해당 로드맵 페이지를 보실 수 있습니다.)

감사합니다.

안녕하세요.

각 강의 관련 자료를 다운로드받으실 수 있는 방법에 대해 공유드립니다.

각 강의마다, 관련 자료를 올려놓았습니다만, 어디서 다운로드를 받아야 하는지에 대해, 문의가 많았습니다. 아마도 인프런 강의 자료 인터페이스가 변경이 된듯도 해서, 공지로 올려드립니다. 다음과 같이 오른쪽 상단부 목차를 클릭하시고, 각 강의 목차 왼쪽의 다운로드 아이콘을 누르시면 각 강의에 맞는 자료를 다운로드받으실 수 있습니다.

각 강의에 맞는 자료를 각 강의에 매칭해서 일일이 올려드리므로, 각 강의에 맞는 자료를 그때그때마다 다운로드받으셔서 강의를 수강하시면 보다 학습효과가 컸었습니다. 그럼 꼭 도움이 되셨으면 좋겠습니다. 감사합니다.