업무 자동화를 위한 파이썬 pyautogui, beautifulsoup 크롤링 기초대시보드

1. enumerate() 내장함수 enumerate() 함수를 이용하면 따로 n 변수를 쓰지 않아도 되서 보기에 좀더 편한거같아요 2. String의 format() 함수 코딩하다보면 문자열 처리할 일이 굉장히 많은 데 항상 +로 처리했었는데 String의 format() 함수로 처리할 수 있더라구요! for i, image in enumerate(img): # 이미지 url을 열어서 저장해야함. imgUrl = image['data-source'] with urlopen(imgUrl) as f: # 'wb'는 'w'는 쓰기, 'b'는 바이너리 파일임. with open("./img/{}{}.jpg".format(query, i+1), 'wb') as h: img = f.read() h.write(img) print('{}번째 다운로드 완료'.format(i+1)) 3. os의 mkdir() 함수 mkdir() 함수로 폴더를 GUI로 따로 만들지 않아도 코드로 만들 수있습니다. try-except 구문을 이용하면 이미 만들어져있을 경우 무시하고 넘어가요 (좀더 좋은 방향있을까요?) from os import mkdir try: mkdir("./img") except FileExistsError: pass 중간에 코드 치느라 놓쳤더니 (미리 만드신줄 모르고) img 폴더가 없다는 오류가 떴네요!!  끝으로 좋은 강의 감사드립니다!^-^

안녕하세요. 강의 보면서 크롤링 코드를 따라서 쳐보면서 많은 도움을 받았습니다. 제가 질문드릴 것은 크롤링 코드를 작성한 다음에 저장을 하고 터미널에서 경로를 찾아  실행하는 것이 아니라 바탕화면에서 저장된 코드를 더블클릭해서 실행을 시키면 검색결과를 볼 수 있기도 전에 실행창이 닫혀버립니다. 그래서 결과를 볼 수 있게 time 모듈을 import 해서 time.sleep()으로 결과를 볼 수 있게 해놨는데 혹시 이렇게 하지 않아도 실행창이 닫히지 않게 할 수 있을까요??

셀리늄을 사용하고 있는데 파이썬을 서치했을 때 나오는  URL가져오는 class명이 강의에서는 2개의 단어로 되있어서  .으로 구분하여 하시길래 저도 select_one할때 저 밑과 같은 클래스를 .iUh30.bc.rpCHfe.tjvcx 이와 같이 넣어줬는데 Attribute를 찾을 수 없다고 나오길래 .iUh30.bc 이렇게 했더니 잘 크롤링이 되더군요 ㅠㅠ 혹시 무슨차이인지 모르겠어서 QnA 남깁니다!!

똑같이 해서 실행을 하면 계산기의 1을 누르는게 아니라 빨간 동그라미의 1을 클릭하는데 계산기를 누르게는 어떻게 하나요?

주피터 노트북에서는 안되나요?

제 환경에서는 urllib 라고 했을때 님 에디터처럼 추천해주는 말이 안나오는데 이건 어떤걸 설치해야하는건가요? 밑으로 쭉..추천 키워드가나오는것이요

파이썬 3버전을 사용하면 pip3을 사용하라고 배웠는데 사용하시는 버전은 3인데pip3이아닌 pip만쓰시네요 이부분도 설명 부탁드립니다 

VSCode에 대해 간단한 질문드립니다. 파이썬 코딩중에 엔터키가 먹지를 않습니다. ctrl 키와 엔터키를 쓰면 줄바꿈이 되기는 하는데,  불편합니다. 혹시 방법을 아시는지요.

selenium을 사용한 구글 크롤링 강의를 듣다가 무엇을 검색할까요? :파이썬 이라고 검색했을때 크롬창이 켜졌다 자동으로 종료되는 경우를 겪어 다음과 같이 해결하였고 공유하면 좋을것 같아 글 남기겠습니다. 1. 자신의 크롬 브라우저 버전 확인 chrome://version/ 2. ChromeDriver - WebDriver for Chrome 에서 자신의 크롬 브라우저 버전과 일치하는 버전을 다운받았는지 확인. 크롬 브라우저 버전은 79인데, ChromeDriver 80 을 받아 자동 종료되는 경우였습니다. ======================================= 크롤링은 항상 변할 수 있고 클래스는 언제 바뀔지 모르기때문에 안되면 확인해야 한다고 강의 후반부에 말씀하셨듯이 2020-01-26 기준 확인결과 아래 클래스가 변경된것을 확인하였습니다. for i in r:     print(i.select_one('.LC20lb').text) 저 같은 초보자에게 매우 도움이 되고 있습니다. 좋은 강의 감사합니다.

무엇을 검색할까요? :파이썬 DevTools listening on ws://127.0.0.1:51025/devtools/browser/ae3f6883-44c6-412b-b357-5a857a16f9cc KLIB_SelfTest return : KLR_OK [14104:7392:0113/095556.667:ERROR:broker_win.cc(55)] Error reading broker pipe: 파이프 가 끝났습니다. (0x6D) [14104:7392:0113/095556.670:ERROR:broker_win.cc(141)] Error sending sync broker message: 파이프가 닫히는 중입니다. (0xE8) [14104:7392:0113/095556.673:ERROR:broker_win.cc(141)] Error sending sync broker message: 파이프가 닫히는 중입니다. (0xE8) [14104:7392:0113/095556.677:ERROR:broker_win.cc(141)] Error sending sync broker message: 파이프가 닫히는 중입니다. (0xE8) [14104:7392:0113/095556.865:ERROR:broker_win.cc(141)] Error sending sync broker message: 파이프가 닫히는 중입니다. (0xE8) 다음과 같은 에러 메세지가 나올 때도 있지만 대부분의 경우 KLIB_SelfTest return : KLR_OK 만 출력되고 종료됩니다. 방화벽 설정을 다시 확인해봤지만 모두 파이썬 허용 상태로 문제가 없어서 새로 열리는 크롬창이 바로 닫히는지 모르겠습니다. 

from urllib.parse import quote_plus from bs4 import BeautifulSoup from selenium import webdriver baseUrl = 'https://www.google.com/search?q=' plusUrl = input('무엇을 검색할까요? :') url = baseUrl + quote_plus(plusUrl) driver = webdriver.Chrome('c:/chromedriver.exe') driver.get(url) 여기까지 코드를 작성하고 실행시켰을때 파이썬을 검색한 구글 크롬창이 뜨고 방화벽 관련 창이 떴습니다. 이 때 허용을 클릭하고, 다시 코드를 실행시켰는데 크롬창이 떴다가 바로 다시 닫힙니다. 이전의 방화벽 관련 에러인 것 같은데 어떻게 해야 하나요?

만약 moveRel을 이용하여 수동으로 좌클릭을 할때 만 작동하게 할수있나요.?

AttributeError: 'NavigableString' object has no attribute 'attrs' 이런 에러가 뜨는데 어떻게 해야하나요?