현존 최강 크롤링 기술: Scrapy와 Selenium 정복

안녕하세요. 잔재미코딩 Dave Lee 입니다.

이번에는 강의 개선 관련 계획 공유드립니다.

본 강의가 오픈한지 이제 4년차에 접어드는 것 같은데요. 본래 의도는 실전 사이트에서 가장 다양한 예제를 통해, 크롤링과 IT 관련 기술에 익숙해지도록 만들었었는데요. 사실상 실전 사이트로 하다보니, 그동안 많은 사이트들이 변경되어서, 최대한 각 사이트에 대한 변경된 코드를 공유드렸지만, 이제는 한계점을 맞이한 것 같습니다. 

물론, 다양한 케이스에 대한 예를 보여드리는 것은 실제로 원하시는 사이트를 크롤링하고자 할 때, 역량을 기르시는 차원에서 도움이 될 것이라고 생각합니다. 하지만, 아무래도 본 강의를 IT 커리어를 쌓고자 하시는 분과, 그렇지 않고, 크롤링만 하고자 하시는 분, 이렇게 두 부류가 들으시다보니, 후자에 계신 분들은 조금더 아쉬움이 있을 것 같습니다. 

그래서, 다양한 사이트를 보여드리기는 부분은 아쉽지만, 포기하고, 가능한 제가 개인적으로 테스트 차원에서 만든 일종의 블로그 사이트를 기반으로, selenium 부분을 테스트할 수 있도록, 코드를 작성하고, 강의를 새로 업데이트할 예정입니다.

제가 현업에 있다보니, 급하게 이 부분만 진행하기는 무리가 있지만, 가능한 11월 내에는 업데이트를 하도록 하고, 다시 공지드리겠습니다. 

이미 잔재미코딩 관련 여러 강의를 듣고 계신 분들께서는, 어떻게 보면 추가 강의를 얻으시는 것이라고 긍정적으로 생각해주시면 좋을 것 같습니다. 항상 제 강의를 선택해주신 분들은, 최소한 기대를 저버리지 않게, 좋은 경험을 할 수 있도록 노력하겠습니다.

감사합니다.~~~

안녕하세요.

오랜 준비 끝에, 처음하는 파이썬 머신러닝 부트캠프 강의를 100% 오픈하게 되어, 공유를 드립니다.
강의 오픈에 지연이 된 부분도 있어서, 오픈 기간동안, 최대 할인도 걸어놓았습니다.

 본 강의는 제가 시행착오를 한 부분들을 개선해서 만든 강의입니다.
제가 머신러닝/인공지능 기술을 익히기 시작할 때가, 7년 전인데요. 처음에는 인공지능 기술을 익혀봤는데, 인공지능 원리만 한참 듣는 바람에, 지쳐서 포기하기도 했고요. 또다시 머신러닝도 익혀봤지만, 수학적 증명과 선형대수만 익히다, 포기하기도 했었습니다.

지금와서 보면, 인공지능이든 머신러닝 기술을 익히려면, 다음 순서로 했으면 훨씬 수월하게 익혔을 것 같습니다.
파이썬 -> pandas -> 머신러닝 주요 개념 + 머신러닝 실전 적용을 위한 다양한 실전 기법 -> 인공지능 

머신러닝은 인공지능을 포함하는 가장 기본적인 개념이 들어있고요. 관련된 특별한 사고도 들어있습니다. 또 개념과 실제 머신러닝을 실제 문제에 적용할 때, 사용하는 특별한 다양한 기법도 있습니다. 실제 문제로 핵심 개념과 실제 문제에 적용하는 기법을 익히고, 적용해보며, 머신러닝 적용에 우선 익숙해진다면, 보다 관련 기술의 이해도가 높아지고요. 이를 기반으로 인공지능 기술을 익히면, 보다 수월하게 익히고, 전반적으로 익히고 활용할 수 있습니다.

머신러닝이 너무 방대하고, 수학적인 부분까지 들어가면, 여러개의 학문 집합체의 성격도 있어서, 이런 부분을 어떻게 하면, 필요한 부분을 잘정리하고, 집중해서, 실제 문제에 쓰이는 기법과 함께 익힐 수 있을까를 고민해서 만든 강의이고요. 부득이 기존에 없는 강의다보니, 더더욱 역시 시간이 많이 걸렸습니다.

개발자라도, 머신러닝/인공지능은 놓치니는 좀 애매한 기술 같습니다. 본 강의가 세계 Top 1% 머신러닝 전문가를 목표로 하는 것은 아니고요. 단계가 있으니까요. 개발자라도 머신러닝 기술을 이해하고 활용할 수 있고, 데이터과학 커리어를 생각하시는 분들도 관련 기술을 빠르게 익숙하게 만들어서, 데이터과학 커리어의 마중물 역할을 하는 강의를 목표로 하였습니다.

추후 다음과 같이 데이터 로드맵 대로, 인공지능 강의도 준비해서 오픈하겠습니다.
아무쪼록 꼭 도움이 되고, 강의가 참 인상깊은 강의가 되기를 희망합니다.
감사합니다.

데이터 과학 로드맵

1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
2. Scrapy와 Selenium 정복 (현존 최강 크롤링 중급 기술 및 관련 IT 지식)
3. SQL과 데이터 저장/분석 기본 (데이터 저장/분석)
4. NoSQL(mongodb) 빅데이터 기본 (빅데이터 저장/분석)
5. 처음하는 파이썬 데이터 분석 (데이터 전처리와 pandas, 최신 시각화) [데이터과학 Part1]
6. 처음하는 파이썬 머신러닝 부트캠프 (쉽게! 실제 문제로 개념/활용 익히기) [데이터과학 Part2]
7. AI 인공지능 부트캠프 (데이터 예측 자동화, 22' 상반기) [데이터과학 Part3]

• 이미 개발자시라면, 도커와 최신 기술은 최근 서버 기술중 하나인 쿠버네티스나, 팀단위 배포기술의 토대가 되기도 해서, 반드시 탄탄히 익혀둘 필요도 있고요.
• 아직은 개발자로 나아가는 과정 중에 계시다면, 개인적으로는 도커와 서버를 다룰 수 있느냐가, 찐 개발자가 되는 첫 걸음이 아닐까 생각을 하는데요.

• 다음 강의는 머신러닝 강의로, 6월말 을 목표로 하고 있습니다.
• 풀스택 시리즈는 최근 flutter가 2.0 이 나왔는데요. flutter 는 앱/웹/PC 프로그램을 한번에 만들 수 있어서, 동향을 살필 필요가 있는 것 같아요. 어느 정도 시장에서 유용하다는 평가가 나온다면, 아예 React 든 Vue 든 웹기술을 뛰어 넘어, 바로 flutter 먼저 익히면 어떨까 하는 생각은 하고 있습니다. 이 부분은 6월 이후 동향을 보면서, 한번 상세히 공유드리겠습니다.

인프런에 오픈 중 또는 오픈 예정인 강의 코스

풀스택 코스: 최신 웹/앱 서비스를 A to Z 로 혼자서도 만들 수 있는 테크트리

익히는 순서에 따라 번호를 붙여 놓았습니다.

1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
2. MySQL과 데이터 저장/분석 기본 (SQL 데이터베이스 기본)
3. NoSQL(mongodb) 빅데이터 기본 (NoSQL 데이터베이스 기본)
4. 가장 빠른 풀스택: 파이썬 백엔드와 웹기술 기본 [풀스택 Part1]
5. 풀스택을 위한 탄탄한 프론트엔드 기본: javascript (Vanilla JS 와 ES6+) 와 최신 웹기술 [풀스택 Part2]
6. 풀스택을 위한 도커와 최신 서버 기술(리눅스, nginx, AWS, HTTPS, flask 배포) [풀스택 Part3]
7. 풀스택 앱 개발을 위한 flutter 기본 (풀스택 Part4, 21' 하반기 오픈 예정)
8. 풀스택을 위한 Vue 또는 React 프레임워크 기본 (풀스택 Part5, 21' 하반기 예정)

앱/웹기술이 급격히 변화 중이어서, 우선순위를 조정하였습니다. 보다 최신 기술을 선점하기 위해, 웹과 앱 모두를 지원하는 가장 최신 기술인 flutter 을 우선 진행합니다.

* 현재까지의 풀스택 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)
[입문~중급] 가장 쉽고, 가장 최신 기술로 익히는 풀스택 로드맵(바로가기)

데이터 분석/과학 코스: 원하는 데이터를 가져와서 분석하고, 예측까지 할 수 있는 최신 테크트리

익히는 순서에 따라 번호를 붙여 놓았습니다.

1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
2. Scrapy와 Selenium 정복 (현존 최강 크롤링 중급 기술 및 관련 IT 지식)
3. SQL과 데이터 저장/분석 기본 (데이터 저장/분석)
4. NoSQL(mongodb) 빅데이터 기본 (빅데이터 저장/분석)
5. 처음하는 파이썬 데이터 분석 (데이터 전처리와 pandas, 최신 시각화)
6. 머신러닝 기본 (데이터 예측, 21' 6월)
7. AI 인공지능 기본 (데이터 예측 자동화, 21' 하반기)

* 현재까지의 데이터 과학 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)
[입문~초급] 취업을 위한 데이터 분석 기본 기술 쉽게! 꼼꼼하게 익히기(바로가기)

 

안녕하세요.

잔재미코딩 Dave Lee 입니다.

'지마켓 크롤링하며, scrapy 실전 활용법 익히기5' 영상에, 추가 설명을 붙여서, 업데이트하였습니다.

해당 영상에서 parse_subcategory 를 호출하는 부분에 대한 코드 설명이 있는데요. 

이 부분이 제가 드린 코드 외에, 직접 코드로 작성하신다면,  settings 에 추가적으로 다음 설정을 해줘야 하는 것인데요.

DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'

다른 영상 어디선가 이 부분에 대해 제가 설명을 한 것으로 생각은 하고 있는데,

제가 놓친 것이 아닌가 해서, 다시 한번 많은 시간을 들여서, 녹화와 편집을 다시 하였습니다.

좀더 이해에 도움이 되실 것 같아서, 공유드립니다.

감사합니다.

안녕하세요. Dave Lee(잔재미코딩) 입니다. 

오랜만에 신규 강의 소식을 공유드립니다.

처음하는 파이썬 데이터 분석 [전처리, pandas, 시각화까지 전과정 기본 기술 쉽게 익히기]

파이썬으로 데이터 전처리부터, pandas, 최신 시각화(plotly)까지 익힐 수 있는 강의입니다.

1. 실전 예제를 처음부터 끝까지 함께 분석해보며 관련 기술을 설명드려서, 수업을 들으신 후에는 어떤 데이터든 데이터 분석을 바로 하실 수 있도록 꾸몄고요.

2. pandas 가 은근 문법이 까다롭고, 프로그래밍이 된다해도 이 쪽을 막바로 사용하기가 쉽지 않습니다. 그렇다고 엑셀로 할 수는 없는 일이니... 이런 부분을 입문자도 이해할 수 있도록, 그리고 실전 예제로 바로 활용할 수 있도록꾸몄습니다.

3. 시각화쪽도 기존 기술은 너무 예전 기술들이라, 잘 안되는 경우도 많고, 표현하기도 쉽지 않았습니다. 그래서 조작도 간편하고, 분석에도 유용하고, 그리고 이쁜(맘에 들어요) 최신 시각화 기술을 쉽게 활용할 수 있도록 설명드립니다.

4. 여기에 현업에서 실제 데이터 분석을 할때 필요한 팁들을 넣었습니다.

마지막으로 강의 수가 많아지다보니, 어떤 순서로 수강하시면 좋을지 문의하시는 분들이 계서서,  다음과 같이 크게 데이터 분석/과학 트랙과 풀스택 트랙의 순서와 향후 방향을 공유드립니다.(데이터 과학 + 풀스택, 멋있지 않나요?)  인프런에 가장 좋은 강의를 오픈하기 위해 준비하고 있습니다.

개인적으로는 제가 강의를 오픈하면, 제 강의가 도움이 됬다고 느끼셨던 분들은 
일단 그 기술은 큰 걱정과 고생없이 여러분들의 것이 되고, 
바로 활용하실 수 있다는 느낌이 드신다면 정말 좋지 않을까 생각을 합니다. 감사합니다.~~~

데이터 분석/과학 코스

1. 파이썬 입문과 크롤링 기초 부트캠프 (파이썬과 데이터 수집 기본) 
2. Scrapy와 Selenium 정복 (데이터 수집 중급 기술 및 관련 IT 지식) 
3. SQL과 데이터 저장/분석 기본 (데이터 저장/분석) 
4. NoSQL(mongodb) 빅데이터 기본 (빅데이터 저장/분석) 
5. 파이썬 데이터 분석 기본 (데이터 분석) 
6. 머신러닝/인공지능 기본 (데이터 예측, 열심히 준비하고 있습니다)

풀스택 코스

1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본) 
2. SQL과 데이터 저장/분석 기본 (SQL 데이터베이스 기본) 
3. NoSQL(mongodb) 빅데이터 기본 (NoSQL 데이터베이스 기본) 
4. 백엔드 기본과 중급 (열심히 준비하고 있습니다)
5. 프론트엔드 기본과 중급 (열심히 준비하고 있습니다)
6. 풀스택 기본과 클론코딩 (열심히 준비하고 있습니다)

안녕하세요. 잔재미코딩 Dave Lee 입니다.

제가 강의를 만들 때, 강의 자료를 최대한 빠르게 익히고, 활용할 수 있도록 만들려고 했는데요. 그래서 수강생분들께서 해당 자료를 다운로드받아서 잘 활용하고 계신 것으로 알고 있습니다. 그런데 일부 아직 강의 관련 자료를 인프런에서 어떻게 다운로드 받을 수 있는지 모르시는 경우가 있는 듯해서, 다시 한번 새공지로 공유를 드립니다.

다음과 같이 오른쪽 상단부 목차를 클릭하시고, 각 강의 목차 왼쪽의 다운로드 아이콘을 누르시면 각 강의에 맞는 자료를 다운로드받으실 수 있습니다.

각 강의에 맞는 자료를 각 강의에 매칭해서 일일이 올려드리므로, 각 강의에 맞는 자료를 그때그때마다 다운로드받으셔서 강의를 수강하시면 보다 학습효과가 컸었습니다. 그럼 꼭 도움이 되셨으면 좋겠습니다. 감사합니다.

안녕하세요. Dave Lee 입니다. 새해 복 많이 받으시길 빌겠습니다.

Selenium이 각 PC 환경에 따라 실행이 안되는 경우들이 있을 수 있는데, 이 부분에 대해 몇가지 시도해볼만한 방법을 공유드립니다.

우선 윈도우에서는 다음과 같이 Chrome() 실행시, executable_path를 다음과 같이 넣어주면 실행이 되는 경우를 수강하시는 분께서 공유해주셨습니다. (C:/path/ 부분은 각자 chromedriver.exe 가 들어있는 폴더명으로 정확히 바꿔주시면 됩니다.) 감사합니다! 

-----------------------------------------------------

driver = webdriver.Chrome(executable_path=r"C:/path/chromedriver.exe")

-----------------------------------------------------

또한, 맥 환경의 경우 Catalina 로 Mac OS 업데이트 후, 기존 chromedriver 가 보안상 문제로 실행이 안되는 경우를 발견했습니다. 보안 설정을 바꿔주는 방법도 있겠지만, 이 경우에는 간단히 chromedriver를 /usr/local/bin 디렉토리로 옮겨놓고 실행해보시면 좋을 것 같습니다. 만약 이 부분도 안된다면, 강의에서 공유해드린 다음 사이트에서

 https://sites.google.com/a/chromium.org/chromedriver/

새로 chromedriver를 다운로드 받아서, /usr/local/bin 디렉토리에 실행파일을 옮겨놓고 다음과 같이 실행하시면 정상 실행이 됩니다.

-----------------------------------------------------

from selenium import webdriver

chromedriver = '/usr/local/bin/chromedriver' 

driver = webdriver.Chrome(chromedriver)

-----------------------------------------------------

아무쪼록 이런 팁도 도움이 되셨으면 좋겠습니다. 감사합니다.