쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome] 대시보드

안녕하세요. 잔재미코딩 Dave Lee 입니다.

FLUTTER 강의 오픈과 함께, 기존 강의도 업데이트를 하여, 공유를 드립니다. 한번 수강하시면 업데이트된 내용까지 계속 언제든 들으실 수 있습니다.

파이썬 입문과 크롤링 부트캠프

• 그동안 실제 사이트를 기반으로 크롤링을 하다보니, 실제 사이트가 수시로 달라져서, 제공해드린 코드가 정상동작하지 않는 케이스가 있었는데요. 제가 직접 컨트롤 가능한 사이트를 만들어서, 이를 기반으로 크롤링 연습을 하실 수 있도록 강의를 업데이트하였습니다.

• 또 엑셀을 파이썬으로 다루는 기능도 보다 업데이트하였습니다.

• 기존 보다는 전체적으로 살짝 난이도를 높혀서, 조금더 많은 기능을 익히실 수 있도록 구성하였습니다.

SQL/DB(MySQL) 기본부터 파이썬/데이터분석 활용까지!

• 최근 취업등에서 SQL 코딩테스트가 있는 경우도 있을 정도로, SQL 작성 역량이 중요해지고 있습니다.

• 그래서, SQL 연습을 해볼 수 있도록, 실제 비즈니스에서 사용되었던 sakila 데이터베이스와 직접 제가 데이터 분석용으로 수집한 데이터베이스와, 이를 기반으로 만든 SQL 문제를 기반으로

• 다양한 SQL 연습을 하실 수 있도록 구성하였습니다.

• 파이썬 크롤링 + pymysql 은 보다 간결한 패턴화된 코드로 빠르게 활용 가능토록 예제와 함께 설명하였습니다.

아무쪼록 두 강의가 보다 좋은 강의로, 정말 도움이 되는 인상깊은 강의가 되었으면 좋겠습니다.
추가로, Mongodb 강의도 곧 업데이트할 예정입니다. 업데이트가 완료되면 또 공유드리겠습니다.

감사합니다.

안녕하세요. 잔재미코딩 Dave Lee 입니다.

다름이 아니라, 처음하는 풀스택을 위한 Flutter 부트캠프 [풀스택 Part4] 강의가 오픈되어 공유를 드립니다.
또 가능한 최대로 기간 할인을 적용해서, 내용은 두고두고 봐도 될 정도로 풍부하지만, 저렴한 금액으로 보실 수 있도록 만들었습니다.

Flutter 는 하나의 코드로 웹, 안드로이드, 아이폰, MACOS, WINDOWS, 심지어 LINIX 용 앱/프로그램을 만들 수 있는 기술인데요. 무엇보다 생산성이 높고요. 구글이 만들어서, 빠르게 업데이트되고 있는 매우 매력적인 기술입니다. 이미 국외에서는 React Native 를 넘어선지 오래이고, 국내서도 핫해지고 있는 기술인데요.

프론트엔드 전문성을 개발하고자 하는 개발자든, 풀스택이 되고자 하는 분들이든, 백엔드 개발자로, 프론트엔드 기술을 익혀서, 시니어급 시야를 가지고자 하시는 분들께도 도움이 될 것 같고요. 초소규모로도 그럴듯한 서비스를 만들고자 하시는 분들께도 도움이 될 것 같습니다.

사실 더 숨은 뜻은 어떻게 하면, 그럴듯한 웹, 앱을 혼자서도 실험을 할 수 있을까였어요. 꼭 혼자일 필요는 없지만, 최신 기술을 적용한다면, 더 적은 리소스로 입문자라 해도 어떤 지름길이 될 수 있는 로드맵이 있을까였고요. 제가 활용해본 결과는 정말 FANTASTIC 합니다. 가장 쉬운 파이썬으로 시작해서, FLASK 를 거쳐 (더 성능을 높이려면, FLASK 이해를 기반으로 유사한 FASTAPI 를 쓸 수 있답니다), 웹 기본(HTML/CSS/JS) 로 감을 잡고, 도커를 가져와서 서버 운영 효율을 극대화한 후, 하나의 코드로 프론트앤드를 FLUTTER 로 만든다면!

여기에 chatGPT 까지 쓴다면, 그럴듯한 서비스를 최소의 리소스로 만들 수 있더라고요. 더 경쟁력 있으려면, AI 가 들어가면 좋을텐데, AI 도 별도 데이터 로드맵으로 감을 잡으실 수 있고요. chatGPT 에 데이터를 추가(또는 프롬프트 엔지니어링을 추가해서) 해서 특정 영역에 강한 서비스도 가능합니다.

빠르게 변화하는 FLUTTER 의 가장 최신 버전을 기반으로 만들었고, 본 강의 자체로도 백엔드까지 가능하도록 강의를 구성했고요. 속속들이 연습문제와 그럴듯한 실습과 프로젝트로 빠른 학습이 가능하도록 구성하였습니다.

개인적으로 Flutter 를 내 기술로 만드는데 생각보다 길을 돌아갔었어요. 너무 많은 기능이 있다보니, 길을 잘못들면, 시간은 시간대로 걸리면서, 감이 오지 않더라고요. 본 강의는 이러한 경험을 기반으로, 짧은 시간에 Flutter 를 내 기술로 만들 수 있도록, 제가 감이 왔던 가장 빨랐던 학습 방식을 그대로 녹여내었습니다. 그래서 짧은 시간에 Flutter 를 활용하실 수 있으실 것입니다.

심지어, chatGPT 를 Flutter 에 활용하는 팁? 도 설명을 드리는데요.chatGPT 를 Flutter 개발에 활용하시면, 본 강의의 지식을 기반으로 빠르게 Flutter 를 활용하실 수 있으실 꺼예요.

금일 오픈했고, 아무래도 내용이 많다보니, 실수가 있을 수 있는데요. 실수가 있으면 이야기해주시면, 바로 수정하겠습니다.

아무쪼록 도움이 되는 강의가 되었으면 좋겠습니다.

감사합니다.

안녕하세요. 잔재미코딩 Dave Lee 입니다.

다름이 아니라, 처음하는 풀스택을 위한 Flutter 부트캠프 [풀스택 Part4] 강의를 인프런에 제출하여,
공유를 드립니다. 강의 오픈에는 인프런측의 일정에 따라, 일정 기간이 걸릴 것 같고요.

Flutter 는 하나의 코드로 웹, 안드로이드, 아이폰, MACOS, WINDOWS, 심지어 LINIX 용 앱/프로그램을 만들 수 있는 기술인데요. 무엇보다 생산성이 높고요. 구글이 만들어서, 빠르게 업데이트되고 있는 매우 매력적인 기술입니다. 이미 국외에서는 React Native 를 넘어선지 오래이고, 국내서도 핫해지고 있는 기술인데요.

프론트엔드 전문성을 개발하고자 하는 개발자든, 풀스택이 되고자 하는 분들이든, 백엔드 개발자로, 프론트엔드 기술을 익혀서, 시니어급 시야를 가지고자 하시는 분들께도 도움이 될 것 같고요. 초소규모로도 그럴듯한 서비스를 만들고자 하시는 분들께도 도움이 될 것 같습니다.

개인적으로 Flutter 를 내 기술로 만드는데 생각보다 길을 돌아갔었어요. 너무 많은 기능이 있다보니, 길을 잘못들면, 시간은 시간대로 걸리면서, 감이 오지 않더라고요. 본 강의는 이러한 경험을 기반으로, 짧은 시간에 Flutter 를 내 기술로 만들 수 있도록, 제가 감이 왔던 가장 빨랐던 학습 방식을 그대로 녹여내었습니다. 그래서 짧은 시간에 Flutter 를 활용하실 수 있으실 것입니다.

심지어, chatGPT 를 Flutter 에 활용하는 팁? 도 설명을 드리는데요. chatGPT 를 Flutter 개발에 활용하시면, 본 강의의 지식을 기반으로 빠르게 Flutter 를 활용하실 수 있으실 꺼예요.

아무쪼록 빨리 오픈되길 바라며, 오픈되면 바로 새소식으로 공유드리겠습니다.
감사합니다.

안녕하세요. 잔재미코딩 Dave Lee 입니다.

그동안 잘지내셨는지요. 다름이 아니라, 가끔 저에게 감사하게도, 취업했다는 메일을 주시는 분들이 계셨는데요. 가만 생각하니, 이런 사례들을 공유해드리면, 강의를 들으시는 분들도 조금더 동기부여도 되고, 정보도 되지 않을까 하는 생각이 들더라고요. 물론, 각 메일 내용 자체를 공유할 수는 없지만, 가볍게 핵심 내용만 공유드립니다.

IT를 익히면, 접근할 수 있는 다양한 포지션이 있는데요. 한번쯤 고려해보면 좋을만한 포지션이 데이터 분석가예요. 최근에 조금씩 이 포지션으로 취업하셨다는 분들이 많아지셨더라고요. 예전부터 스타트업들은 데이터를 기반으로 의사결정을 하려고 노력을 했는데요. 이제는 보편화되고 있는 것 같고요. 그러다보니, 다양한 데이터 분석이 필요하고, 이를 수행하는 포지션이 바로 데이터 분석가입니다.

데이터 분석가는 데이터를 다루는 IT 기술을 잘 알고 있어야 하는데요. 데이터베이스를 다루는 SQL이 핵심이고요. 여기에 파이썬 기반 데이터 분석 기술, 그리고 추가로 머신러닝/딥러닝에 대한 핵심 이해 정도면 기술적인 측면에서는 충분합니다.

그동안 5만분의 수강생분들을 뵈다보니, 프로그래밍보다는, 데이터쪽 기술을 선호하시고, 잘 익혀가시는 분들이 계시더라고요. 이게 적성인 것 같아요. 모두 IT 기술로 보이긴 하지만, 프로그래밍과 데이터는 조금 다른 사고 방식이 필요하거든요. 또, 데이터 분석가는 IT 기술에 매몰되기 보다는, IT 기술과 취업 후에는 비지니스를 잘 이해해야 해서, 비지니스와 IT 기술 모두를 알고픈 분들께는 매우 좋은 포지션입니다.

사실 관련 기술은 IT 기술에 매몰되어야 하는 것은 아니라서, 꼭 6개월 풀타임 과정까지 들어가지 않더라도, 익힐 수 있고요. 그런 과정을 비전공자로 아예 IT를 모른다고 가정하고, IT 기초부터 딥러닝까지 익힐 수 있도록 만든 강의시리즈가 다음 데이터 과학 로드맵이었어요.

• https://www.inflearn.com/roadmaps/66

물론 여기에 확률통계 관련 이론은 추가해서 익히면 좋지만, 실제 현업을 생각해보면, 꼭 필수까지는 아닌 것 같아요. (실제로는 SQL 을 가장 많이 써서요. 추후에 SQL 를 다양하게 연습할 수 있는 SQL 코딩 테스트(가제)를 추가하려 하고 있어요)

어쨌든 이런 과정을 통해, 완전 비전공자분들도 IT를 시작하면서, 데이터 분석가를 알게 되고, 꿈을 키워서, 취업하셨다, 또는 이직하셨다는 메일을 가끔 받고 있고요. 또 꼭 데이터 분석가까지는 아니더라도, 데이터를 IT 로 다룰 수 있으면, 어떤 일을 하든, 심지어 사업을 하더라도, 막대한 경쟁력을 가질 수 있습니다. 아마도 향후 2~3년 후에는 지금보다 훨씬 데이터 분석가의 가치가 커질 것 같아요.

마지막으로 저는 최근에는 Flutter 과정을 준비하고 있어요. 코드가 간결하고, 안드로이드/iOS 뿐만 아니라,웹/MAC/WINDOW용 프로그램을 하나의 코드로 만들 수 있는 기술이고, 최근에 드디어 핫해졌는데요. 아마 2년 전에 제 강의를 들으셨던 분들이라면, 그 때부터, 제가 상세페이지에 Flutter 를 언급했었던 것을 아실 것 같아요. (역시 드디어 핫해졌어요 ㅎㅎ) 4월말즈음에 오픈 공유 한번 드리겠습니다.

아무쪼록 본 메일이 도움이 되었으면 좋겠습니다.

감사합니다.

안녕하세요. 잔재미코딩 Dave Lee 입니다.

쉽게 처음하는 파이썬 고급 크롤링 강의가 업데이트되어 공유드립니다.

최근 selenium 라이브러리가 업데이트되면서, 메서드명을 변경하였습니다. 물론 메서드명을 변경하더라도, 기존 메서드는 동일하게 사용할 수 있도록 하는 것이 일반적입니다. '호환성' 때문인데요. 그런데, selenium 라이브러리 개발팀? 은 기존 메서드를 아예 지원을 하지 않도록 하였습니다. 이렇게 되면, 기존에 selenium 을 활용한 코드들은 selenium 라이브러리 버전에 따라, 동작 안하는 케이스가 발생할텐데, 큰 결정인 듯합니다.

이와 함께 코드에 영향을 미치지는 않지만, 변경하려는 코드가 보여서, 다음과 같이 두 가지 사항을 변경하였습니다.

1. find_element_by_***() 메서드를 모두 find_element(By.***, ***) 와 같은 형태로 변경되었습니다.

     - 예: find_element_by_id('myid') --> find_element(By.ID, 'myid')

     - By.ID 등을 선언하기 위해서는 다음 추가 선언도 필요합니다.

        from selenium.webdriver.common.by import By 

2. selenium 이 4.x.x 이상에서, 코드에 영향을 미치지는 않지만, 초기 설정 코드도 변경하려는 듯합니다.

     - 기존에는 경로를 직접 인자로 넣어주면 되었지만 (예: webdriver.Chrome(chromedriver))

     - 이후에는 Service 객체에 넣어주는 방향으로 변경될 듯 합니다. (예: webdriver.Chrome(service=Service(chromedriver)) 

     - 이를 위해, webdriver_manager 라이브러리도 별도 설치가 필요합니다.

이상의 변경이 사실상, 메서드명이 변경된 것일 뿐이지만, 핵심 메서드명이 변경되어, 관련 코드 및 자료를 모두 업데이트하였습니다. 다음 챕터의 코드를 포함한 자료를 모두 업데이트하였으므로, 필요하실 때, 새로 다운받으시면 좋을 것 같습니다.

- Selenium 과 Scrapy 프레임워크 큰 그림과 목표 이해하기

- 연습문제로 풀어보기1 : Headless Chrome 과 Selenium 크롤링

- XPATH 큰 그림으로 이해하기

- 연습문제로 풀어보며 이해하는 XPATH 활용

- Selenium 을 활용한 멀티 페이지 크롤링

- Scrapy 다양한 사용법: Selenium 과 Scrapy 조합해서, 동적 웹페이지 크롤링하기

저도 오늘 급히 알게 되어, 급히 수정하였는데요. 아무쪼록 진행에 이슈는 없으셨으면 좋겠습니다.

감사합니다.

안녕하세요. 잔재미코딩 Dave Lee 입니다.
다름 아니라, 딥러닝과 flutter 강의 오픈 일정이 연기되어, 공유를 드립니다.

본래 딥러닝과 flutter 강의는 상반기까지 오픈할 계획이었는데요.
우선 딥러닝 강의를 준비 중이지만, 기간이 조금 연기될 것 같습니다.
문의주신 분들이 많았는데, 죄송합니다.

주말까지 시간을 모두 내어, 준비를 하고 있지만,
강의 수가 많아져서, 운영측면에서도 시간이 많이 들고,
다른 업무와도 병행하다보니, 무리가 조금 생기는 것 같습니다.

최대한 빠르게, 딥러닝, flutter 강의 순으로 하반기에 순차적으로 오픈하겠습니다.
짧은 시간에 딥러닝 기본 기술을 쉽게 코드레벨까지 정리 및 활용할 수 있는 강의가 많이 없어서, 관련 부분을 준비하고 있고요.
flutter 는 3.0 이 되면서 이제 드디어 서서히 stable 상태가 되가고 있습니다.

최종적으로 flutter 까지 되면, 데이터쪽 기술까지 엮어서,
상당히 재미있는 데이터 풀스택 서비스 개발도 가능할 것입니다.

아무쪼록 좀더 좋은 강의로 만들어서, 도움이 될 수 있도록 하겠습니다.
감사합니다.

Dave Lee 드림