Thumbnail
BEST
데이터 사이언스 데이터 엔지니어링

현존 최강 크롤링 기술: Scrapy와 Selenium 정복 대시보드

(4.9)
112개의 수강평 ∙  1,261명의 수강생
공개되지 않은 강의로
수강이 제한됩니다.
지식공유자: 잔재미코딩 DaveLee
총 42개 수업 (8시간 57분)
수강기한: 
무제한
수료증: 발급
난이도: 
입문
-
초급
-
중급이상
지식공유자 답변: 미제공
잔재미코딩 DaveLee 프로필
[공유] 강의 개선 관련
잔재미코딩 DaveLee 2021.11.05

안녕하세요. 잔재미코딩 Dave Lee 입니다.

이번에는 강의 개선 관련 계획 공유드립니다.

본 강의가 오픈한지 이제 4년차에 접어드는 것 같은데요. 본래 의도는 실전 사이트에서 가장 다양한 예제를 통해, 크롤링과 IT 관련 기술에 익숙해지도록 만들었었는데요. 사실상 실전 사이트로 하다보니, 그동안 많은 사이트들이 변경되어서, 최대한 각 사이트에 대한 변경된 코드를 공유드렸지만, 이제는 한계점을 맞이한 것 같습니다. 

물론, 다양한 케이스에 대한 예를 보여드리는 것은 실제로 원하시는 사이트를 크롤링하고자 할 때, 역량을 기르시는 차원에서 도움이 될 것이라고 생각합니다. 하지만, 아무래도 본 강의를 IT 커리어를 쌓고자 하시는 분과, 그렇지 않고, 크롤링만 하고자 하시는 분, 이렇게 두 부류가 들으시다보니, 후자에 계신 분들은 조금더 아쉬움이 있을 것 같습니다. 

그래서, 다양한 사이트를 보여드리기는 부분은 아쉽지만, 포기하고, 가능한 제가 개인적으로 테스트 차원에서 만든 일종의 블로그 사이트를 기반으로, selenium 부분을 테스트할 수 있도록, 코드를 작성하고, 강의를 새로 업데이트할 예정입니다.

제가 현업에 있다보니, 급하게 이 부분만 진행하기는 무리가 있지만, 가능한 11월 내에는 업데이트를 하도록 하고, 다시 공지드리겠습니다. 

이미 잔재미코딩 관련 여러 강의를 듣고 계신 분들께서는, 어떻게 보면 추가 강의를 얻으시는 것이라고 긍정적으로 생각해주시면 좋을 것 같습니다. 항상 제 강의를 선택해주신 분들은, 최소한 기대를 저버리지 않게, 좋은 경험을 할 수 있도록 노력하겠습니다.

감사합니다.~~~

다른 댓글 보기(2)
잔재미코딩 DaveLee 프로필
[강의 오픈] 처음하는 파이썬 머신러닝 부트캠프
잔재미코딩 DaveLee 2021.09.18

안녕하세요.

오랜 준비 끝에, 처음하는 파이썬 머신러닝 부트캠프 강의를 100% 오픈하게 되어, 공유를 드립니다.
강의 오픈에 지연이 된 부분도 있어서, 오픈 기간동안, 최대 할인도 걸어놓았습니다.

 본 강의는 제가 시행착오를 한 부분들을 개선해서 만든 강의입니다.
제가 머신러닝/인공지능 기술을 익히기 시작할 때가, 7년 전인데요. 처음에는 인공지능 기술을 익혀봤는데, 인공지능 원리만 한참 듣는 바람에, 지쳐서 포기하기도 했고요. 또다시 머신러닝도 익혀봤지만, 수학적 증명과 선형대수만 익히다, 포기하기도 했었습니다.

지금와서 보면, 인공지능이든 머신러닝 기술을 익히려면, 다음 순서로 했으면 훨씬 수월하게 익혔을 것 같습니다.
파이썬 -> pandas -> 머신러닝 주요 개념 + 머신러닝 실전 적용을 위한 다양한 실전 기법 -> 인공지능 

머신러닝은 인공지능을 포함하는 가장 기본적인 개념이 들어있고요. 관련된 특별한 사고도 들어있습니다. 또 개념과 실제 머신러닝을 실제 문제에 적용할 때, 사용하는 특별한 다양한 기법도 있습니다. 실제 문제로 핵심 개념과 실제 문제에 적용하는 기법을 익히고, 적용해보며, 머신러닝 적용에 우선 익숙해진다면, 보다 관련 기술의 이해도가 높아지고요. 이를 기반으로 인공지능 기술을 익히면, 보다 수월하게 익히고, 전반적으로 익히고 활용할 수 있습니다.

머신러닝이 너무 방대하고, 수학적인 부분까지 들어가면, 여러개의 학문 집합체의 성격도 있어서, 이런 부분을 어떻게 하면, 필요한 부분을 잘정리하고, 집중해서, 실제 문제에 쓰이는 기법과 함께 익힐 수 있을까를 고민해서 만든 강의이고요. 부득이 기존에 없는 강의다보니, 더더욱 역시 시간이 많이 걸렸습니다.

개발자라도, 머신러닝/인공지능은 놓치니는 좀 애매한 기술 같습니다. 본 강의가 세계 Top 1% 머신러닝 전문가를 목표로 하는 것은 아니고요. 단계가 있으니까요. 개발자라도 머신러닝 기술을 이해하고 활용할 수 있고, 데이터과학 커리어를 생각하시는 분들도 관련 기술을 빠르게 익숙하게 만들어서, 데이터과학 커리어의 마중물 역할을 하는 강의를 목표로 하였습니다.

추후 다음과 같이 데이터 로드맵 대로, 인공지능 강의도 준비해서 오픈하겠습니다.
아무쪼록 꼭 도움이 되고, 강의가 참 인상깊은 강의가 되기를 희망합니다.
감사합니다.

데이터 과학 로드맵

1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
2. Scrapy와 Selenium 정복 (현존 최강 크롤링 중급 기술 및 관련 IT 지식)
3. SQL과 데이터 저장/분석 기본 (데이터 저장/분석)
4. NoSQL(mongodb) 빅데이터 기본 (빅데이터 저장/분석)
5. 처음하는 파이썬 데이터 분석 (데이터 전처리와 pandas, 최신 시각화) [데이터과학 Part1]
6. 처음하는 파이썬 머신러닝 부트캠프 (쉽게! 실제 문제로 개념/활용 익히기) [데이터과학 Part2]
7. AI 인공지능 부트캠프 (데이터 예측 자동화, 22' 상반기) [데이터과학 Part3]

 

잔재미코딩 DaveLee 프로필
[공유] 풀스택 Part3, 도커와 최신 서버 기술 강의 오픈
잔재미코딩 DaveLee 2021.03.30
안녕하세요. 잔재미코딩, Dave Lee 입니다.
다름이 아니라, 풀스택 Part3 강의로 다음 강의를 인프런에 오픈하여 공유드립니다.
(최근에는 강의를 제출 후, 오픈하는데에도 1주일이나 걸렸네요)
웹이든 앱이든, 서비스 오픈을 위해 꼭 필요한 것이 서버 기술이고요. 최근에는 도커라는 기술을 반드시 사용합니다.
관련 기술을 내 것으로 만들 수 있도록, 도커의 다양한 옵션을 한땀한땀 테스트하고, 실제 복잡한 서비스까지 만들어볼 수 있도록 꾸몄습니다. 또한 서버를 다루기 위해, AWS, 리눅스 사용법, nginx 웹서버 기술도 필요한만큼 다루고 있습니다.
  • 이미 개발자시라면, 도커와 최신 기술은 최근 서버 기술중 하나인 쿠버네티스나, 팀단위 배포기술의 토대가 되기도 해서, 반드시 탄탄히 익혀둘 필요도 있고요.
  • 아직은 개발자로 나아가는 과정 중에 계시다면, 개인적으로는 도커와 서버를 다룰 수 있느냐가, 찐 개발자가 되는 첫 걸음이 아닐까 생각을 하는데요.
관련 강의들은 보통 찐 개발자를 대상으로 해서, 책이든, 강의든 이해하기가 쉽지 않더라고요.
그래서, 조금은 더 수강생을 고려해서, 강의를 만들었고, 제가 처음 익힐 때로 돌아가서, 하나씩 테스트해보며, 익힐 수 있도록 꾸몄습니다.
아무쪼록 본 강의가 도움이 되었으면 좋겠고요.
이미 제 강의를 수강하셨던 분들을 위해, 할인을 걸어두었습니다.
추가로, 최근에 각 강의 일정에 대해 문의해주시는 분들이 꽤 계셨는데요.
현업과 병행하고 있고, 강의 수가 많아지다보니, 쉽지가 않더라고요.
  • 다음 강의는 머신러닝 강의로, 6월말 을 목표로 하고 있습니다.
  • 풀스택 시리즈는 최근 flutter가 2.0 이 나왔는데요. flutter 는 앱/웹/PC 프로그램을 한번에 만들 수 있어서, 동향을 살필 필요가 있는 것 같아요. 어느 정도 시장에서 유용하다는 평가가 나온다면, 아예 React 든 Vue 든 웹기술을 뛰어 넘어, 바로 flutter 먼저 익히면 어떨까 하는 생각은 하고 있습니다. 이 부분은 6월 이후 동향을 보면서, 한번 상세히 공유드리겠습니다.
제 생각에는 flutter 로 UI (프런트엔드)를 만들고, 백엔드/서버를 Part3 도커와 최신 서버 기술로만 만든다면,
생각보다 굉장히 빠르게 웹과 앱을 동시에 만들 수 있을 것도 같습니다.
혹시 추가적인 제안등이 있으시다면, dream@fun-coding.org 로 메일 주셔도 좋습니다.
감사합니다.

인프런에 오픈 중 또는 오픈 예정인 강의 코스

풀스택 코스: 최신 웹/앱 서비스를 A to Z 로 혼자서도 만들 수 있는 테크트리

<center style="box-sizing:inherit"><img src="https://cdn.inflearn.com/public/files/courses/325804/5251d2ba-69a9-4a9c-a96c-c3dac4e9665e/fullstack_roadmap.jpg" title="fullstack_roadmap.jpg" width="720px" alt style="box-sizing:inherit;height:auto;max-width:100%;display:block" /></center>

익히는 순서에 따라 번호를 붙여 놓았습니다.

1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
2. MySQL과 데이터 저장/분석 기본 (SQL 데이터베이스 기본)
3. NoSQL(mongodb) 빅데이터 기본 (NoSQL 데이터베이스 기본)
4. 가장 빠른 풀스택: 파이썬 백엔드와 웹기술 기본 [풀스택 Part1]
5. 풀스택을 위한 탄탄한 프론트엔드 기본: javascript (Vanilla JS 와 ES6+) 와 최신 웹기술 [풀스택 Part2]
6. 풀스택을 위한 도커와 최신 서버 기술(리눅스, nginx, AWS, HTTPS, flask 배포) [풀스택 Part3]
7. 풀스택 앱 개발을 위한 flutter 기본 (풀스택 Part4, 21' 하반기 오픈 예정)
8. 풀스택을 위한 Vue 또는 React 프레임워크 기본 (풀스택 Part5, 21' 하반기 예정)

앱/웹기술이 급격히 변화 중이어서, 우선순위를 조정하였습니다. 보다 최신 기술을 선점하기 위해, 웹과 앱 모두를 지원하는 가장 최신 기술인 flutter 을 우선 진행합니다.

* 현재까지의 풀스택 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)
[입문~중급] 가장 쉽고, 가장 최신 기술로 익히는 풀스택 로드맵(바로가기)

데이터 분석/과학 코스: 원하는 데이터를 가져와서 분석하고, 예측까지 할 수 있는 최신 테크트리

익히는 순서에 따라 번호를 붙여 놓았습니다.

1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
2. Scrapy와 Selenium 정복 (현존 최강 크롤링 중급 기술 및 관련 IT 지식)
3. SQL과 데이터 저장/분석 기본 (데이터 저장/분석)
4. NoSQL(mongodb) 빅데이터 기본 (빅데이터 저장/분석)
5. 처음하는 파이썬 데이터 분석 (데이터 전처리와 pandas, 최신 시각화)
6. 머신러닝 기본 (데이터 예측, 21' 6월)
7. AI 인공지능 기본 (데이터 예측 자동화, 21' 하반기)

* 현재까지의 데이터 과학 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)
[입문~초급] 취업을 위한 데이터 분석 기본 기술 쉽게! 꼼꼼하게 익히기(바로가기)

 

잔재미코딩 DaveLee 프로필
[공유] 강의 업데이트
잔재미코딩 DaveLee 2020.10.30

안녕하세요.

잔재미코딩 Dave Lee 입니다.

'지마켓 크롤링하며, scrapy 실전 활용법 익히기5' 영상에, 추가 설명을 붙여서, 업데이트하였습니다.

해당 영상에서 parse_subcategory 를 호출하는 부분에 대한 코드 설명이 있는데요. 

이 부분이 제가 드린 코드 외에, 직접 코드로 작성하신다면,  settings 에 추가적으로 다음 설정을 해줘야 하는 것인데요.

DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'

다른 영상 어디선가 이 부분에 대해 제가 설명을 한 것으로 생각은 하고 있는데,

제가 놓친 것이 아닌가 해서, 다시 한번 많은 시간을 들여서, 녹화와 편집을 다시 하였습니다.

좀더 이해에 도움이 되실 것 같아서, 공유드립니다.

감사합니다.

잔재미코딩 DaveLee 프로필
강의 관련 이야기드릴 사항
잔재미코딩 DaveLee 2020.08.27

안녕하세요. 잔재미코딩 Dave Lee 입니다.

오늘은 한가지 공지를 드려요~~

그동안 정말 다양하고 많은 분들께서 수강을 해주고 계시는데요. 그러다보니, 질문/답변 란에 동일한 이야기를 드릴 때가 많아서 공유를 드려요.

질문/답변 란에, 각자 원하시는 크롤링 코드 관련 문의를 해주시는 경우가 꽤 있었는데요. 그 때마다, 가급적 배려를 드리는 차원으로, 가볍게 볼 수 있는 부분에 대해서만 답변을 드리기는 했습니다. 하지만, 해당 질문/답변 란은 본 강의 영상과 관련한 질문이 있을 때를 답변해드리는 것이 기본 취지인 것 같아요. 

온라인 수학 강의를 수강하면서, 강의에 나온 수학공식을 사용하는 강의 외에 각자 풀고 있는 수학 문제를 질문하고, 이를 풀어드리는 강의는 본 적이 없는데요. 마찬가지로 본 강의를 수강하시면서, 각자의 코드나, 각자 원하시는 크롤링 코드를 작성해드리거나, 함께 풀어나가는 것은 현실적으로 큰 무리가 있습니다.

더군다나 본 강의가 평생 수강이 가능하기 때문에, 이를 지원해드릴 경우, 본 강의를 들으면 내가 원하는 크롤링 코드는 모두 해결해드려야 하는 오해 아닌 오해도 생길 수 있고요. 심지어, 저도 실제 코드를 작성해봐야 해서, 코드를 작성하느라 답변이 늦어지면, 다른 답변이 늦어질 수도 있어서, 다른 수강생분들께도 문제가 될 수 있을 것 같습니다.

그래서, 질문/답변란에 문의를 주실 때에는 각자의 원하시는 크롤링 코드 관련 문의는 안해주시면 감사하겠습니다. 이 부분 꼭 양해를 부탁드립니다.

또한 가능하다면,

1) 어느 챕터의 몇분(:몇초)정도에서 이 부분이 이해가 안간다 와 같은 식으로 질문을 해주시면,

2) 강의에서 나온 코드는 이미지 캡쳐보다, 코드 자체를 텍스트로 질문에 붙여주시면,

훨씬 저도 이해가 빨라서, 빠르게 지금과 같이 상세하게 답변드릴 수 있을 것 같습니다.

감사합니다.~~~ 잔재미코딩 드림

인프런에 오픈 중 또는 오픈 예정인 강의 코스

풀스택 코스: 최신 웹/앱 서비스를 A to Z 로 혼자서도 만들 수 있는 테크트리

익히는 순서에 따라 번호를 붙여 놓았습니다.

1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본) 
2. SQL과 데이터 저장/분석 기본 (SQL 데이터베이스 기본) 
3. NoSQL(mongodb) 빅데이터 기본 (NoSQL 데이터베이스 기본) 
4. 가장 빠른 풀스택: 파이썬 백엔드와 웹기술 기본 [풀스택 Part1]
5. 파이썬 백엔드 중급과 풀스택 서비스 개발 (풀스택 Part2, 9월 오픈 예정)
6. 풀스택을 위한 Vue 와 프론트엔드 웹기술 기본 (풀스택 Part3, 10월 오픈 예정)
7. 풀스택을 위한 AWS 와 docker 기반 배포 기술 기본 (풀스택 Part4, 11월 오픈 예정)
8. 풀스택 앱 개발을 위한 flutter 기본 (풀스택 Part5, 12월 오픈 예정)

* 로드맵 패키지로 한번에 현재까지의 풀스택 코스 모든 강의를 할인된 가격으로도 제공합니다. 
[입문~중급] 가장 쉽고, 빠른 풀스택 로드맵

데이터 분석/과학 코스: 원하는 데이터를 가져와서 분석하고, 예측까지 할 수 있는 최신 테크트리

익히는 순서에 따라 번호를 붙여 놓았습니다.

1. 파이썬 입문과 크롤링 기초 부트캠프 (파이썬과 데이터 수집 기본) 
2. Scrapy와 Selenium 정복 (현존 최강 크롤링 중급 기술 및 관련 IT 지식) 
3. SQL과 데이터 저장/분석 기본 (데이터 저장/분석) 
4. NoSQL(mongodb) 빅데이터 기본 (빅데이터 저장/분석) 
5. 파이썬 데이터 분석 기본 (데이터 분석) 
6. 머신러닝/인공지능 기본 (데이터 예측, 열심히 준비하고 있습니다) 

로드맵 패키지로 한번에 현재까지 모든 강의를 할인된 가격으로도 제공합니다. 
[입문~초급] 취업을 위한 데이터 분석 기본 기술 쉽게! 꼼꼼하게 익히기

잔재미코딩 DaveLee 프로필
신규 강의를 오픈해서, 가볍게 공유드려요~
잔재미코딩 DaveLee 2020.06.24

안녕하세요. Dave Lee(잔재미코딩) 입니다. 

오랜만에 신규 강의 소식을 공유드립니다.

처음하는 파이썬 데이터 분석 [전처리, pandas, 시각화까지 전과정 기본 기술 쉽게 익히기]

파이썬으로 데이터 전처리부터, pandas, 최신 시각화(plotly)까지 익힐 수 있는 강의입니다.

1. 실전 예제를 처음부터 끝까지 함께 분석해보며 관련 기술을 설명드려서, 수업을 들으신 후에는 어떤 데이터든 데이터 분석을 바로 하실 수 있도록 꾸몄고요.

2. pandas 가 은근 문법이 까다롭고, 프로그래밍이 된다해도 이 쪽을 막바로 사용하기가 쉽지 않습니다. 그렇다고 엑셀로 할 수는 없는 일이니... 이런 부분을 입문자도 이해할 수 있도록, 그리고 실전 예제로 바로 활용할 수 있도록꾸몄습니다.

3. 시각화쪽도 기존 기술은 너무 예전 기술들이라, 잘 안되는 경우도 많고, 표현하기도 쉽지 않았습니다. 그래서 조작도 간편하고, 분석에도 유용하고, 그리고 이쁜(맘에 들어요) 최신 시각화 기술을 쉽게 활용할 수 있도록 설명드립니다.

4. 여기에 현업에서 실제 데이터 분석을 할때 필요한 팁들을 넣었습니다.

마지막으로 강의 수가 많아지다보니, 어떤 순서로 수강하시면 좋을지 문의하시는 분들이 계서서,  다음과 같이 크게 데이터 분석/과학 트랙과 풀스택 트랙의 순서와 향후 방향을 공유드립니다.(데이터 과학 + 풀스택, 멋있지 않나요?)  인프런에 가장 좋은 강의를 오픈하기 위해 준비하고 있습니다.

개인적으로는 제가 강의를 오픈하면, 제 강의가 도움이 됬다고 느끼셨던 분들은 
일단 그 기술은 큰 걱정과 고생없이 여러분들의 것이 되고, 
바로 활용하실 수 있다는 느낌이 드신다면 정말 좋지 않을까 생각을 합니다. 
감사합니다.~~~

데이터 분석/과학 코스

1. 파이썬 입문과 크롤링 기초 부트캠프 (파이썬과 데이터 수집 기본) 
2. Scrapy와 Selenium 정복 (데이터 수집 중급 기술 및 관련 IT 지식) 
3. SQL과 데이터 저장/분석 기본 (데이터 저장/분석) 
4. NoSQL(mongodb) 빅데이터 기본 (빅데이터 저장/분석) 
5. 파이썬 데이터 분석 기본 (데이터 분석) 
6. 머신러닝/인공지능 기본 (데이터 예측, 열심히 준비하고 있습니다)

풀스택 코스

1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본) 
2. SQL과 데이터 저장/분석 기본 (SQL 데이터베이스 기본) 
3. NoSQL(mongodb) 빅데이터 기본 (NoSQL 데이터베이스 기본) 
4. 백엔드 기본과 중급 (열심히 준비하고 있습니다)
5. 프론트엔드 기본과 중급 (열심히 준비하고 있습니다)
6. 풀스택 기본과 클론코딩 (열심히 준비하고 있습니다)

잔재미코딩 DaveLee 프로필
[참고] 강의 관련 자료 다운로드 관련
잔재미코딩 DaveLee 2020.01.20

안녕하세요. 잔재미코딩 Dave Lee 입니다.

제가 강의를 만들 때, 강의 자료를 최대한 빠르게 익히고, 활용할 수 있도록 만들려고 했는데요. 그래서 수강생분들께서 해당 자료를 다운로드받아서 잘 활용하고 계신 것으로 알고 있습니다. 그런데 일부 아직 강의 관련 자료를 인프런에서 어떻게 다운로드 받을 수 있는지 모르시는 경우가 있는 듯해서, 다시 한번 새공지로 공유를 드립니다.

다음과 같이 오른쪽 상단부 목차를 클릭하시고, 각 강의 목차 왼쪽의 다운로드 아이콘을 누르시면 각 강의에 맞는 자료를 다운로드받으실 수 있습니다.

각 강의에 맞는 자료를 각 강의에 매칭해서 일일이 올려드리므로, 각 강의에 맞는 자료를 그때그때마다 다운로드받으셔서 강의를 수강하시면 보다 학습효과가 컸었습니다. 그럼 꼭 도움이 되셨으면 좋겠습니다. 감사합니다.

잔재미코딩 DaveLee 프로필
[공유 팁] selenium 실행이 안되는 경우
잔재미코딩 DaveLee 2020.01.04

안녕하세요. Dave Lee 입니다. 새해 복 많이 받으시길 빌겠습니다.

Selenium이 각 PC 환경에 따라 실행이 안되는 경우들이 있을 수 있는데, 이 부분에 대해 몇가지 시도해볼만한 방법을 공유드립니다.

우선 윈도우에서는 다음과 같이 Chrome() 실행시, executable_path를 다음과 같이 넣어주면 실행이 되는 경우를 수강하시는 분께서 공유해주셨습니다. (C:/path/ 부분은 각자 chromedriver.exe 가 들어있는 폴더명으로 정확히 바꿔주시면 됩니다.) 감사합니다! 

-----------------------------------------------------

driver = webdriver.Chrome(executable_path=r"C:/path/chromedriver.exe")

-----------------------------------------------------

또한, 맥 환경의 경우 Catalina 로 Mac OS 업데이트 후, 기존 chromedriver 가 보안상 문제로 실행이 안되는 경우를 발견했습니다. 보안 설정을 바꿔주는 방법도 있겠지만, 이 경우에는 간단히 chromedriver를 /usr/local/bin 디렉토리로 옮겨놓고 실행해보시면 좋을 것 같습니다. 만약 이 부분도 안된다면, 강의에서 공유해드린 다음 사이트에서

 https://sites.google.com/a/chromium.org/chromedriver/

새로 chromedriver를 다운로드 받아서, /usr/local/bin 디렉토리에 실행파일을 옮겨놓고 다음과 같이 실행하시면 정상 실행이 됩니다.

-----------------------------------------------------

from selenium import webdriver

chromedriver = '/usr/local/bin/chromedriver' 

driver = webdriver.Chrome(chromedriver)

-----------------------------------------------------

아무쪼록 이런 팁도 도움이 되셨으면 좋겠습니다. 감사합니다. 

잔재미코딩 DaveLee 프로필
신규강좌 할인 및 공유(12월 및 100명 한정)
잔재미코딩 DaveLee 2019.12.08

안녕하세요. 잔재미코딩 Dave Lee 강사입니다.

인프런에 오픈한 강좌가 벌써 4개가 되었는데요. 이 중에 일부 강의를 수강하시는 분들을 위해, 간단히 4개의 강의를 공유드릴겸, 할인쿠폰을 제공해드리려고 공지를 드립니다. 

본 4개의 강의는 데이터 분석과 풀스택 기술의 기초가 되는 가장 실무적인 기술인데요.  두 과정 모두 데이터 수집, 데이터 저장, 데이터 분석 기술을 공통으로 하며, 기 오픈된 4강의는 데이터 수집, 데이터 저장, 데이터 분석(일부) 기술을 설명드린 것입니다. 

금년내로 본래 4개를 기반으로 데이터 분석 이론/실무, 풀스택 기술 강의를 완료하고자 했으나, 패스트캠퍼스 강좌(알고리즘/기술면접 완전 정복 Online) 준비로 내년초로 다소 일정이 연기되었습니다. 하지만, 내년초까지는 본 4강좌를 기초로 하는 데이터분석/풀스택 강의가 곧 오픈될 예정입니다.

어느 기술이나, 처음 익히기 시작할 때가 굉장히 시간이 오래걸리는 법인데요. 막무가내로 익히시려면, 한참 헤멜 수 있는 부분들을 가능한 쉽고, 빠르게! 핵심 내용을 중심으로 현업에서 실제 활용까지 가능하도록 하는데 중점을 두어 만들었습니다.

보다 많은 수강생분들이 수강해주시고, 꼭 도움이 되셨으면 해서, 다음 테이블과 같이 최대한 할인을 하여 쿠폰을 공유해드리니, 필요하시면 수강하실 때 활용하시면 좋을 것 같습니다. 할인 쿠폰의 유효기간은 12월말일 및 각 과목별 100명 한정 입니다. 각강좌 구매시, 해당 강좌의 쿠폰코드를 넣으시면 할인이 됩니다.

과목명

쿠폰코드

할인금액

파이썬입문과 크롤링기초 부트캠프 [쉽게! 하지만, 견고한 자료로!] 167-528ded761603 10000원
현존 최강 크롤링 기술: Scrapy와 Selenium 정복 168-d09731ed6809 10000원
NoSQL/DB(몽고DB)기초와 파이썬활용 [최신 풀스택/데이터과학 첫걸음] 169-8426a9576f7c 10000원
SQL/DB(MySQL) 기본부터 파이썬/데이터분석 활용까지! 170-2d58042cb051 10000원

감사합니다.

잔재미코딩 DaveLee 프로필
[공유] scrapy에서 중복 request 호출이 안되는 경우
잔재미코딩 DaveLee 2019.10.27

안녕하세요.

scrapy에서 request를 여러번 할 경우, 첫번째 request 이외에는 호출이 안되는 부분에 대해 고민을 하시는 분들을 뵈어서,

다시 새소식으로 공유드립니다.

request시 URL이 중복된 경우, (예를 들어, www.daum.net/news1.html, www.daum.net/news2.html 은 앞의 URL 이 동일합니다.) 두 번째 요청은 처리를 하지 않습니다.

이 부분은 scrapy에서는 중복 URL에 대해, 디폴트로 중복 request를 안하도록 설정이 되어 있기 때문입니다.

settings.py 에서 다음 항목에 앞에 # 을 삭제해서, enable 하시면, 중복 URL에 대해서도 요청이 가능합니다.

DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter'

이 부분은 강좌 후반부에서 설명을 하였고, 강좌에서 첨부드린 scrapy 프로젝트 코드에서도 확인하실 수 있습니다.

감사합니다.

잔재미코딩 DaveLee 프로필
강좌 할인쿠폰 공유[10월 한정]
잔재미코딩 DaveLee 2019.10.07

안녕하세요. 잔재미코딩 Dave Lee 강사입니다.

인프런에 오픈한 강좌가 벌써 4개가 되었는데요. 이 중에 일부 강의를 수강하시는 분들을 위해, 간단히 4개의 강의를 공유드릴겸, 할인쿠폰을 제공해드리려고 공지를 드립니다.

최종 목표는 올해 내에, 데이터 분석 과정과 풀스택 과정을 모두 오픈하는 것인데요. 두 과정 모두 데이터 수집, 데이터 저장, 데이터 분석 기술을 공통으로 하며, 기 오픈된 4강의는 데이터 수집, 데이터 저장, 데이터 분석(일부) 기술을 설명드린 것입니다. 

어느 기술이나, 처음 익히기 시작할 때가 굉장히 시간이 오래걸리는 법인데요. 막무가내로 익히시려면, 한참 헤멜 수 있는 부분들을 가능한 쉽고, 빠르게! 핵심 내용을 중심으로 현업에서 실제 활용까지 가능하도록 하는데 중점을 두어 만들었습니다.

수강생분들을 위해, 다음 테이블과 같이 할인 쿠폰을 공유해드리니, 필요하시면 수강하실 때 활용하시면 좋을 것 같습니다. 할인 쿠폰의 유효기간은 10월말일 까지 입니다. 

과목명 쿠폰 할인금액
파이썬입문과 크롤링기초 부트캠프 [쉽게! 하지만, 견고한 자료로!] 20-bf7f0bda1111 5000원
현존 최강 크롤링 기술: Scrapy와 Selenium 정복 19-e19bcffe7d05 5000원
NoSQL/DB(몽고DB)기초와 파이썬활용 [최신 풀스택/데이터과학 첫걸음] 18-871115b33679 5000원
SQL/DB(MySQL) 기본부터 파이썬/데이터분석 활용까지! 16-6cc2f0a86976 5000원

참고로, 위 강좌를 기반으로 다음 로드맵도 오픈하였으니, 수강하실 때 참고하시면 좋을 것 같습니다. (각 이미지를 클릭하시면 해당 로드맵 페이지를 보실 수 있습니다.)

잔재미코딩 DaveLee 프로필
강의 자료 다운로드 관련 공유
잔재미코딩 DaveLee 2019.09.23

안녕하세요.

각 강의 관련 자료를 다운로드받으실 수 있는 방법에 대해 공유드립니다.

각 강의마다, 관련 자료를 올려놓았습니다만, 어디서 다운로드를 받아야 하는지에 대해, 문의가 많았습니다. 아마도 인프런 강의 자료 인터페이스가 변경이 된듯도 해서, 공지로 올려드립니다. 다음과 같이 오른쪽 상단부 목차를 클릭하시고, 각 강의 목차 왼쪽의 다운로드 아이콘을 누르시면 각 강의에 맞는 자료를 다운로드받으실 수 있습니다.

각 강의에 맞는 자료를 각 강의에 매칭해서 일일이 올려드리므로, 각 강의에 맞는 자료를 그때그때마다 다운로드받으셔서 강의를 수강하시면 보다 학습효과가 컸었습니다. 그럼 꼭 도움이 되셨으면 좋겠습니다. 감사합니다.