무료
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
안녕하세요 오류해결부탁드립니다
안녕하세요 오류해결부탁드려요 lxml 은 설치한것같은데 계속 이런 오류가뜨네요 Traceback (most recent call last): File "/Users/leeahreum/Desktop/파이썬장인의폴더/beauti.py", line 8, in <module> soup = BeautifulSoup(res.text,"lxml") File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/bs4/__init__.py", line 245, in __init__ raise FeatureNotFound( bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
lxml 오류
pip install lxml 시행하였는데 아래와 같은 오류가 발생하였습니다. 어떻게 해야하나요?
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
webdriver가 실행이 안되요ㅠ
맥북 사용자입니다. 코드를 똑같이 적었는데 실행이 되지 않아요... from selenium import webdriver browser = webdriver.Chrome() brower.get("http://naver.com") 하고 run했지만 에러가 뜨네요... 터미널에서도 해보았지만 browser = webdriver.Chrome()에서 에러가 나요.. 에러를 어떻게 없앨수 있을까요?
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
현재 네이버 항공권 셀레니움
현재 셀레니움을 공부하고 있습니다 너무 감사합니다 질좋은강의 최고입니다. 유료보다 좋은 무료라니... 천사이십니다... 저 지금 네이버 항공권 이미지가 조금 달려졌는데 browser.find_element_by_link_text("가는 날").click()이라고 하니 NoSuchElementException이 발생했습니다 왜이런건지 이해를 못하겠습니다
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
셀레니움 질문이 있습니다.
파이썬 강의를 수강하고 있는 학생입니다. 셀레니움 첫번째 강의를 듣고 실행을 해봤는데 크롬 브라우저가 켜지긴합니다만 바로 꺼집니다. 백신문제인가 싶어 백신도 꺼보고, 브라우저도 업데이트 해보고, 셀레니움 자체도 최신으로 업데이트 했는데도 계속해서 같은 문제가발생합니다. 다른 블로그나 인터넷 검색을 해도 마땅치 않아서 글을 써봅니다.
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
res = requests.get("http://nadocoding.tistory.com")
영상에서는 저 코드로 하면 응답코드가 403으로 뜨는데 저는 200으로 뜨는데 영상이 오래되서 그런건가요?
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
쿠팡 bs4 활용 2편 get_text() 명령어 오류
지금 쿠팡 bs4 활용 2편 보는 중인데, 동일하게 코드를 입력했음에도 불구하고 갑자기 업데이트 후 get_text() 명령어가 실행되지 않습니다ㅜㅜ 어떻게 해야하나요?
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
Bluetooth 에러?
"스크롤 완료" 는 잘 출력되는데 아래와 같이 노출되는 bluetooth 에러는 상관 없을까요? =============================================== DevTools listening on ws://127.0.0.1:58352/devtools/browser/774161ef-2ef2-436d-9844-9b89cb1e2589 [24116:12120:0819/101145.553:ERROR:device_event_log_impl.cc(214)] [10:11:45.554] Bluetooth: bluetooth_adapter_winrt.cc:1073 Getting Default Adapter failed. 스크롤 완료
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
Bluetooth 에러?
"스크롤 완료"는 잘 나오는데 아래와 같은 블루투스 에러는 왜 나오는건가요? DevTools listening on ws://127.0.0.1:58352/devtools/browser/774161ef-2ef2-436d-9844-9b89cb1e2589 [24116:12120:0819/101145.553:ERROR:device_event_log_impl.cc(214)] [10:11:45.554] Bluetooth: bluetooth_adapter_winrt.cc:1073 Getting Default Adapter failed. 스크롤 완료
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
requests, bs4 오류
실행하고 나서 갑자기 오류가 났습니다 구글에서 검색을 한 후 하라는대로 했는데도 계속 오류가 납니다 도와주세요
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
requests
requests 오류가 납니다 이유가 뭔 가요?
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
파이썬 활용편3 웹스크래핑 질문입니다.
강의를 듣고 따라하고 있는데요. 해당 익스텐션을 설치했는데도, 우측메뉴가 아예 불러와지지 않습니다. 레지스트리나 다른 설치방법을 참고했는데도 잘 되지 않아서 문의를 남깁니다. 현재 윈도우 64bit를 쓰고 있습니다.
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
웹스크래핑강의 수강중 한가지 질문.(네이버로그인)
웹스크래핑 강의를 잘 수강하고있습니다. 수강완료에 즈음하여 , 네이버로그인 의 경우 나도코딩님 말씀대로 send_keys함수호출로 아이디 패스워드를 입력하여도 계속 캡차화면으로 넘어가게 됩니다. 즉 네이버로그인 웹모듈이 기계입력기능을 막고 있는듯한데, 아이디 패스워드간 입력 인터벌을 주기도 하였고, 후반 HEADLESS강의에서 가르쳐주신 셀레니움에 USER-AGENT 옵션을 넣어 보기도 하였습니다. # User-Agent 추가options = webdriver.ChromeOptions()options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")browser = webdriver.Chrome(options=options)browser.maximize_window()#. 네이버이동browser.get("https://naver.com")#. 로그인 버튼클릭elem = browser.find_element_by_class_name("link_login")elem.click() 결론은 계속하여 캡챠화면으로 넘어가는것이었고(타이핑 로그인은 문제없이 성공) 네이버 웹모듈에서는 또다른 알고리즘으로 기계입력을 필터링하고 있는듯한데, 어떠한 알고리즘인지 그리고 우회방법이 있는지 여쭙습니다.
- 해결됨파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
미세먼지부터 작동이 되지 않습니다.
코드를 전부 입력하고 동작을 시켰는데 자꾸 [오늘의 날씨] Traceback (most recent call last): File "c:/Users/HP_20H2/Desktop/PythonWorkspace/webscraping/project.py", line 34, in <module> scrape_weather() #오늘의 날씨 정보 가져오기 File "c:/Users/HP_20H2/Desktop/PythonWorkspace/webscraping/project.py", line 21, in scrape_weather pm10 = dust.find_all("dd")[0].get_text() # 미세먼지 AttributeError: 'NoneType' object has no attribute 'find_all' PS C:\Users\HP_20H2\Desktop\PythonWorkspace>로만 출력이 됩니다. 어느 부분에서 잘못 입력을 하였는지 알려주시면 감사하겠습니다. import requests from bs4 import BeautifulSoup def scrape_weather(): print("[오늘의 날씨]") url = "https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8&query=%EC%84%9C%EC%9A%B8+%EB%82%A0%EC%94%A8" res = requests.get(url) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") # 맑음, 어제 기온과 같음 cast = soup.find("p", attrs={"class":"cast_txt"}).get_text() # 현재 00도, (최저 / 최고) curr_temp = soup.find("p", attrs={"class":"info_temperature"}).get_text().replace("도씨", "") # 현재온도 min_temp = soup.find("span", attrs={"class":"min"}).get_text() # 최저 온도 max_temp = soup.find("span", attrs={"class":"max"}).get_text() # 최고 온도 # 오전 / 오후 강수 확률 morning_rain_rate = soup.find("span", attrs={"class":"point_time morning"}).get_text().strip() # 오전 강수확률 afternoon_rain_rate = soup.find("span", attrs={"class":"point_time afternoon"}).get_text().strip() # 오후 강수확률 # 미세먼지 정보 dust = soup.find("di", attrs={"class":"indicator"}) pm10 = dust.find_all("dd")[0].get_text() # 미세먼지 pm25 = dust.find_all("dd")[1].get_text() # 초미세먼지 # 출력 print(cast) print("현재 {} ( 최저 {} / 최고 {} )".format(curr_temp, min_temp, max_temp)) print("오전 {} / 오후 {}".format(morning_rain_rate, afternoon_rain_rate)) print() print("미세먼지 {}".format(pm10)) print("초미세먼지 {}".format(pm25)) print() if __name__ == "__main__": scrape_weather() #오늘의 날씨 정보 가져오기
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
AttributeError
강의보면서 응용하고 있는데 오류가 떠서 어떻게해결해야 할지 모르겠어요. 주석달아놓은 프린트까지는 문제없이 출력됩니다. for 구문만들고 하나만 예제로 출력해보니 아래와 같은 오류가 떠요 제가 응용하려던 사이트 개발자코드는 아래와 같습니다.
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
같은 코드인데 크롤링 하는 갯수가 실행마다 다릅니다.
import requests from bs4 import BeautifulSoup from selenium import webdriver from urllib.request import urlopen from selenium.webdriver.common.by import By browser = webdriver.Chrome() browser.maximize_window() url = "https://www.google.com/search?q=%EC%82%AC%EA%B3%BC&sxsrf=ALeKk03BqEA7aHRUtvEA6hE14DpJIdLTNg:1624619249906&source=lnms&tbm=isch&sa=X&ved=2ahUKEwiQmqSq0rLxAhWSNKYKHco2CUQQ_AUoAXoECAEQAw&biw=958&bih=959" browser.get(url) soup = BeautifulSoup(browser.page_source, "lxml") imgs = soup.find_all("div", attrs={"class":"isv-r PNCib MSM1fd BUooTd"}) print(len(imgs)) for idx, image in enumerate(imgs): print(idx) image = imgs[idx].find("img", attrs={"class":"rg_i Q4LuWd"}) name = image.get('src') if name == None: continue if name.startswith("http"): image_res = requests.get(name) image_res.raise_for_status() with open("apple{}.jpg".format(idx+1), "wb") as h: h.write(image_res.content) else: with urlopen(name) as f: with open("apple{}.jpg".format(idx+1), "wb") as h: img_src = f.read() h.write(img_src) browser.quit() selenium을 통해 browser를 열고 html을 가져오는 방식을 이용했습니다. 구글 사과 이미지를 다운받는 코드를 작성했는데 실행마다 저장하는 이미지 갯수가 다릅니다. 그리고 image속성의 src가 모두 들어있는데 가끔 'src'를 찾을 수 없다는 error가 발생해서 if문으로 src속성값에 따라 분기처리를 했습니다. 왜 이런 상황이 발생하는지 알려주실 수 있나요??
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
nadocoding.html이 생성되지 않아요.
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
매물 번호 매김에 대하여
선생님께서는 매물 번호를 매기기 위해 enumerate를 사용하여 index값을 반환시키셨는데, 저는 num=1 for data in datas: | num+=1 을 통하여 매물에 번호를 매겨주었습니다. 혹시 이 방법은 enumerate에 비해 선호되지 않는 방식인 걸까요? 좋은 강의 감사합니다.
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
selenium 명령어로 창을 열면, 번쩍 이기만 하고 창이 안떠요
selenium 명령어로 창을 열면, 번쩍 이기만 하고 창이 안떠요 어떻게 해야하나요 ㅜㅜ?
- 미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
requests 에서 막혔어요.
이렇게 떠서, 그 다음을 못하고 있어요 ㅜ_ㅜ 도와주세요.