쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
안녕하세요 저는 비전공자이고 풀스택 전과정 + 고급 크롤링 강의를 듣고있는 수강생입니다. 우선 너무 좋은 강의 정말 잘 듣고 있습니다. 저는 코딩을 아예처음 접하고있어서 어느쪽으로 가고싶은지 전혀 갈피가 없었는데요. 하다보니 데이터과학이 제가 하고싶었던 분야라는것을 알게되었습니다. 항상 외주로 개발자를 구해서 돈을 주고 프로그램을 제작하는것을 자주해왔는데요. 개발비로도 2000만원이상을 쓴것 같습니다. 그런데 제가직접 해보고자 이곳을 찾아왔고, 데이터 과학이 제가 생각한 분야라는것을 고급크롤링 강의들으면서 알게되었습니다. 그런데 궁금한점은 개발자에게 외주를 맡기면서 항상 GUI 방식의 프로그램을 받아서 그것으로 크롤링 및 자동화 프로그램들을 주로 외주를 맡겨왔었는데요. 강의 내용을 계속보고있는데 GUI 에 관한건 없더라구요. 제가 못찾는건지 별도 다른강의가 있는건지 알고싶습니다. 저는 GUI에 자동화 소스를 버튼처럼만드는 그런 프로그램을 만들고 싶거든요 ! 강의내용의 질문은 아니지만, 그 강의가있다면 추가로 구매해서 수강하고싶습니다. 답변 부탁드립니다
datagrip에서 복구 하려고 하면 postgre 관련 cli 가 필요합니다. 아래와 같이 우선 실행 $ brew install libpq $ echo 'export PATH="/opt/homebrew/opt/libpq/bin:$PATH"' >> ~/.zshrc $ source ~/.zshrc $ psql --version psql (PostgreSQL) 15.2 Path to pg_restore 에서 CMD+SHIFT+G 눌러서 brew로 설치한 디렉토리로 이동 이후 복구 하면 됩니다
안녕하세요. 과학기술정보통신부 주관 지역ICT이노베이션스퀘어 확산사업 으로 블록체인 고급 프로젝트 과정 개발 교육 진행중입니다. 수강혜택으로 수료증발급, 블록체인 자격증 응시 기회까지 제공해드리고 온라인수강, 전액무료, 누구나 과정을 이수할 수 있으니 신청해보세요. 학생, 취업준비생, 재직자, 이직자 예정자분들 병행 추천드립니다! https://blog.naver.com/kjc_sh/222852299901
안녕하세요 인공지능팩토리 커뮤니티매니저입니다. 여름은 일 년 중 가장 뜨겁고 무더운 계절이기도 하지만 가장 화창하고 푸르른 계절 중 하나이기도 합니다. 시원한 바다와 음료가 생각나기도 하구요 여러분은 어떻게 여름을 보내실 지 계획을 세우셨나요? 이번 여름을 저희 AIFactroy와 함께 보내실 수 있도록 경진대회 소식을 준비해봤습니다 이번 대회는 바로 롯데멤버스 채용특전과 더불어 총 상금 1,000만원이 걸린 "(채용 특전) 제7회 롯데멤버스 빅데이터 경진대회"입니다! 주제는 고객 구매 데이터에 기반한 예측 모델 개발 및 개인화 마케팅 전략을 제안하는 것입니다. 여러분의 역량을 펼치어 좋은 결과로 이어지길 응원하겠습니다~ 롯데멤버스 경진대회 1634×336 132 KB 공모 주제 : 고객 구매 데이터에 기반한 예측 모델 개발 및 개인화 마케팅 전략 제안 기간 및 일정 (UTC+ 9(한국) 기준) 참가신청 : 2022. 6. 2. (목) ~ 2022. 7. 3. (일) 24:00 데이터 다운로드 및 분석결과물 제출 : 2022. 6. 20. (월) ~ 2022. 8. 12. (금) 24:00 사전설명회 : 2022. 6. 29. (수) 16:00 참가신청서 https://forms.gle/9zDNGE1rhKfEFmrH7 상금 및 채용특전 (총 상금 1,000만원 + 채용특전) 대상 1팀 : 500만원 최우수상 1팀 : 200만원 우수상 3팀 : 각 100만원 장려상 3팀 : 각 L.POINT 30만 P ※ 우수상 이상 수상팀 참여인원 대상, 22~23년 데이터 유관 직무 신입/인턴 지원 시 서류전형 1회 면제 참가대상 엘포인트 회원 : 국내/해외 대학생 및 대학원생, 대학교 졸업 후 2년 이내의 미취업자 개인 또는 팀 (최대 3인) 문의 : 인공지능팩토리: cs@aifactory.page 대회 상세 보기 [ AIFactory ] AF_포스터 618 1070×1511 146 KB 하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
- 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 권철민 선생님 교육을 너무 잘 듣고 많이 배웠습니다 제가 이번에 mmdetection이 윈도우에서 사용하는 편법(?)을 찾아 공유드립니다. 필요하신 분들께 도움이 되기를 바랍니다 mmdetection은 기본적으로 리눅스에서만 적용되고 윈도우에서 사용하려면 상당히 어렵다고 알고 있습니다 다만 회사보안이라든지 리눅스 환경이 어렵다든지 여러가지 원인으로 윈도우에서 활용하고 싶은 경우가 있는데요 그래서 이거저거 시도해본 결과 윈도우에서도 실행되게끔하는 방법을 정리해보았습니다 제 컴퓨터 환경 기준으로 작성되었기 때문에 사용자마자 적용법이 좀 다를 수 있을 것 같습니다 1 . 윈도우용 mmcv 설치 본인의 cuda 환경 및 pytorch 버전에 맞는 mmcv를 먼저 설치하여야 합니다. 이를테면 다음 url에 접속하면 각 환경에 맞는 whl을 제공합니다 Cuda 10.1 pytorch 1.8 : https://download.openmmlab.com/mmcv/dist/cu101/torch1 .8.0 /index.html Cuda 11.1 pytorch 1.8 : https://download.openmmlab.com/mmcv/dist/cu111/torch1 .8.0 /index.html Cuda 11.3 pytorch 1.10 : https://download.openmmlab.com/mmcv/dist/cu113/torch1 .10.0 /index.html conda prompt에서 python --version을 통해 버전을 확인하고 파이썬 버전에 맞는 mmcv를 다운 받습니다 conda prmpt에서 whl 다운받은 경로로 이동하여 whl 설치해줍니다 (제 경우는 pip install mmcv_full -1.4.6 -cp37-cp37m-win_amd64.whl) mmcv에서 제공하는 환경에서는 다 접속이 되는것 같습니다 (https://github.com/open-mmlab/mmcv) 2 . MMdet 설치 정확히는 리눅스 환경에서 MMdet를 설치하고 설치디렉토리를 다운받습니다 리눅스 환경이 없으시다면 Colab에서 가능합니다 --------------------------------------------------------------------------- ! git clone https://github.com/open-mmlab/mmdetection.git ! cd mmdetection; python setup.py install import inspect print (inspect.getfile(mmdet)) #위치 확인 # 저 같은 경우 '/usr/local/lib/python3.7/dist-packages/mmdet-2.22.0-py3.7.egg/mmdet/__init__.py' 가 뜨네요 #구글드라이브를 마운트하여 위의 출력에서 mmdet 까지 내 드라이브로 복사하고 이것을 다운 받습니다 from distutils.dir_util import copy_tree copy_tree( '/usr/local/lib/python3.7/dist-packages/mmdet-2.22.0-py3.7.egg/mmdet' , '/content/drive/MyDrive/mmdet' ) # 지금의 경우에는 colab도 파이썬 3.7이고 제 환경도 3.7이어서 잘되는 경우인데 이외의 경우에는 안될수도 있을 것 같습니다 # 해보진 않았습니다만 환경과 동일한 파이썬 버전을 맞추고 설치하면 좋을 것 같습니다 --------------------------------------------------------------------------- 3 . mmdet에 필요항 패키지 설치 (pycocotools는 pycocotools_windows로 설치하여야 합니다) pip install terminaltables pycocotools_windows pyyaml 4 . 이제 mmdet 를 옮겨온 경로의 상위 디렉토리를 sys.path.append로 추가하면 mmdet를 import 할 수 있습니다 (아마도...) (제 경우는 import sys sys.path.append( 'D:\YSKim\#Deep-Learning\#Tutoring\Inflearn\딥러닝컴픁피전완벽가이드\DLCV_New-main' ) ) * cpu core가 충분하지 않을 경우 cfg.data.workers_per_gpu = 0 로 설정하였습니다 일단 제 컴퓨터 기준으로 하였기 때문에 따라 하셔도 여러 시행착오가 있을수는 있을 것 같습니다만 그래도 저와 같은 고민이 있으신 분들께 조금이나마 도움이 되기를 바라며 글을 작성하였습니다
