55,000원
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
다시올려주신 예제파일로하는데
import io import json import sys import urllib.request as req from fake_useragent import UserAgent sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding='utf-8') sys.stderr = io.TextIOWrapper(sys.stderr.detach(), encoding='utf-8') ua = UserAgent() headers = { 'User-Agent': ua.ie, 'referer': 'https://finance.daum.net/' } url = "https://finance.daum.net/api/search/ranks?limit=10" print(request.get_method()) 에러가난다고하네요 자꾸 아마 저 url값이 또 바뀐거같은데 뭘 넣어야하나요??? api주소값은 찾을수가없는데 이전 강의내용 정부사이트는 rss누르면 저런 api들어있는 주소를 찾을수있엇는데 다음은 찾을수가없네요??
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
아직도 에러가뜨나보네요?
Traceback (most recent call last): File "D:\anaconda3\envs\section2-2\lib\site-packages\pytube\__main__.py", line 181, in fmt_streams extract.apply_signature(stream_manifest, self.vid_info, self.js) File "D:\anaconda3\envs\section2-2\lib\site-packages\pytube\extract.py", line 409, in apply_signature cipher = Cipher(js=js) File "D:\anaconda3\envs\section2-2\lib\site-packages\pytube\cipher.py", line 43, in __init__ self.throttling_plan = get_throttling_plan(js) File "D:\anaconda3\envs\section2-2\lib\site-packages\pytube\cipher.py", line 405, in get_throttling_plan raw_code = get_throttling_function_code(js) File "D:\anaconda3\envs\section2-2\lib\site-packages\pytube\cipher.py", line 311, in get_throttling_function_code name = re.escape(get_throttling_function_name(js)) File "D:\anaconda3\envs\section2-2\lib\site-packages\pytube\cipher.py", line 297, in get_throttling_function_name caller="get_throttling_function_name", pattern="multiple" pytube.exceptions.RegexMatchError: get_throttling_function_name: could not find match for multiple During handling of the above exception, another exception occurred: Traceback (most recent call last): File "C:\Users\hansol ju\Desktop\Work\section2\youtube-downloader.py", line 4, in <module> videos = yt.streams.all() File "D:\anaconda3\envs\section2-2\lib\site-packages\pytube\__main__.py", line 296, in streams return StreamQuery(self.fmt_streams) File "D:\anaconda3\envs\section2-2\lib\site-packages\pytube\__main__.py", line 188, in fmt_streams extract.apply_signature(stream_manifest, self.vid_info, self.js) File "D:\anaconda3\envs\section2-2\lib\site-packages\pytube\extract.py", line 409, in apply_signature cipher = Cipher(js=js) File "D:\anaconda3\envs\section2-2\lib\site-packages\pytube\cipher.py", line 43, in __init__ self.throttling_plan = get_throttling_plan(js) File "D:\anaconda3\envs\section2-2\lib\site-packages\pytube\cipher.py", line 405, in get_throttling_plan raw_code = get_throttling_function_code(js) File "D:\anaconda3\envs\section2-2\lib\site-packages\pytube\cipher.py", line 311, in get_throttling_function_code name = re.escape(get_throttling_function_name(js)) File "D:\anaconda3\envs\section2-2\lib\site-packages\pytube\cipher.py", line 297, in get_throttling_function_name caller="get_throttling_function_name", pattern="multiple" pytube.exceptions.RegexMatchError: get_throttling_function_name: could not find match for multiple [Finished in 5.204s]
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
강의버전 업데이트좀 해주세요...
강의 버전을 업데이트하실 생각은 없으신가요? 완전 초보라 하나하나 따라하는데 3년전 예제와 버전들이라 헷갈릴때가 많네요...ㅠ 돈주고 산 강의인데 ㅠ
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
크롬 드라이버 실행 오류 해결 부탁 드립니다
안녕하세요. 크롬 드라이버 실행 시 다음과 같은 오류가 발생 합니다. 크롬 드라이버 및 크롬을 가장 최신 버전으로 설치 했는데요, 주피터 노트북 입력 화면과 구글 화면에 다음과 같이 표시가 되네요. 해결 방법이 있을까요?
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
showProgressDownLoading 함수
함수를 강의를 따라하며 작성하였고, 나머지 모든 기능이 정상 작동하고, 시작 버튼을 누를 시에 동영상도 저장이 되지만 progress bar 작동하지 않고 소프트웨어가 꺼짐 현상이 발생하는데, 어떤 방식으로 해결이 가능할까요?
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
웹 크롤링으로 페이지를 열 수가 없습니다
안녕하세요, 강의 잘 듣고 있어요 BeautifulSoup 실행 시 다음과 같이 검색이 되지 않습니다. 어떻게 해야 할까요?
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
네이버 이미지 셀리니움으로 추출 시
while loop : count += 1 #셀레니움 동적랜더링 스크롤내리기 #스크롤을 가장 아래로 내림 browser.execute_script("window.scrollTo(0,document.body.scrollHeight)") # 페이지 로딩 대기 time.sleep(interval) # 현재 문서 높이를 가져와서 저장 curr_height = browser.execute_script("return document.body.scrollHeight") # if curr_height == prev_height : # break if count >= 2 : loop = False prev_height = curr_height print("스크롤 완료") #스크롤 완료 스크린샷 찍기 browser.get_screenshot_as_file("NaverIMG_Animal.png") img_len = len(browser.find_elements_by_css_selector('div._listGrid > div._grid > div ')) for idx , img in enumerate(range(0 , img_len)) : # img_list = browser.find_elements_by_css_selector('div._listGrid > div._grid > div ') img_list = browser.find_elements_by_css_selector("div.photo_tile > div.tile_item") # try : # elem = WebDriverWait(browser,5).until( # EC.presence_of_element_located((By.CSS_SELECTOR , "div._listGrid > div._grid > div")) # ) # except TimeoutError as time : # pass if img_list[idx].find_element_by_css_selector("div.thumb > a.link_thumb > img._image") : # img._image 태그가 있는 경우 img_link = img_list[idx].find_element_by_css_selector("div.thumb > a.link_thumb > img._image").get_attribute("src") print(idx + 1 ,"-" ,img_link) print() browser.quit() 지금 최초 데이터부터 10번째 데이터까지 이미지를 추출하는데 그 이상부터 no such element 에러가 납니다.네이버 에서 막은건가요?
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
강의 실습 떄 아톰말고 쥬피터 노트북으로 활용해서 공부해도 괜찮을까요?
강좌를 수강하면서 쥬피터 노트북으로 활용하여 학습해도 괜찮을까요?
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
beautifulsoup 연동문제
ㅇ파이썬 다시깔아보고 터미널도 만져보고 pip 패키지 설치도해봤는데요 계속 이렇게 모듈이 안깔려있다고 나오네요... 도대체 왜이럴까요? 해결방법이 어떻게 될까요?
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
파이썬 urllib.request valueerror오류문제입니다.
맥북을쓰고있는데요 계속 출력을하니깐 valueerror: underlying buffer has been detached 라구 자꾸 뜨는데 경로오류는 아닌것같더라구요. 혹시 해결방안 없을까요??
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
atom 실행 에러
안녕하세요. 크롤링 구동시 윈도우 한글 경로 설정 시 안될때 해결하는 법 강의를 보고 따라 했는데 위처럼 에러가 떠서 찾아보다가 질문드립니다. 좋은 강의 감사합니다. 꼭 완강할게요~!
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
버튼클릭시 전송되는 form data를 크롤링 할 수 있나요?
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 크롤링하려는 웹 사이트에서 수정하기 버튼을 눌러서 수정할 데이터를 수정한 후 수정하기완료 버튼을 누르고 크롬개발자도구의 네트워크창에서 확인결과 post방식으로 formdata들을 request하는것을 확인 했습니다 혹시 form data를 딕셔너리 형태로 가져올수 있는 방법이 있을까요? 정말 궁금합니다.
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
폴도명 앞에 . 붙어있느건
윈도우 사용자 입니다. 폴도명 앞에 . 붙어있느건 지워도 되는건가요?
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
아톰에디서에서 현재 가상환경을 확인할수 있는 방법이 있는지요?
c:/Users/Eunkii7/Anaconda3 가 root 이고 c:/Users/Eunkii7/Anaconda3/envs 에 section2라는 가상환경을 만들어 section2라는 가상환경을 활성화 시킨다음 atom을 동작시키셨는데요 그럼으로서 이아톰으로 section2 라는 가상환경을 사용하는건데 프로젝트 폴더의 경로는 c/section2 에 하셨습니다. 세월이 지난 다음 c/section2 라는 폴더를 열었더니 .py 파일이 존재해서 어떤 파을인가를 볼려고 atom으로 실행시켜 내용을 보고 있는데 이 c/section2에 저장된 .py파일은 어떤 가상환경에서 만들어 졌는지 atom에서 확인하는 방법이 있는지요?
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
git 설치
제가 맥북이라 git를 설치하려고 하는데 git 홈페이지에서 들어가보면 창이 여러가지가 뜹니다. 거기서 어떻게 설치해야되나요? 맥북 m1 버전입니다.
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
AuthDialog.py 실행 -> 창 안보임
import sys from PyQt5.QtWidgets import * class AuthDialog(QDialog): def __init__(self): super().__init__() self.setupUI() def setupUI(self): self.setGeometry(300, 1800, 300, 100) self.setWindowTitle("Sign In") self.setFixedSize(300, 100) label1 = QLabel("ID:") label2 = QLabel("Password:") self.lineEdit1 = QLineEdit() self.lineEdit2 = QLineEdit() self.pushButton = QPushButton("로그인") layout = QGridLayout() layout.addWidget(label1, 0, 0) layout.addWidget(self.lineEdit1, 0, 1) layout.addWidget(self.pushButton, 0, 2) layout.addWidget(label2, 1, 0) layout.addWidget(self.lineEdit2, 1, 1) self.setLayout(layout) if __name__ == "__main__": app = QApplication(sys.argv) loginDialog = AuthDialog() loginDialog.show() app.exec_() 코드 이상없고 실행시키면 작업표시창에도 저렇게 뜨지만 화면이 안뜹니다 분명히 실행은 되고 있는데 화면이 뜨질 않네요
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
5-5-1_new_1.py 에러
강의가 너무 친절하고 상세히 설명되어 있어서 실습을 하며 실력을 키우기 좋은 것같습니다. 다만, 실습코드의 적지않은 비중이 에러가 나네요. 수정 된 코드 그대로 실행을 시켜도 에러가 나는데, syntax에러의 경우 버전의 문제인 경우가 많아서 확인해보는데도 해결이 안되네요. 실제로 section5의 tinyDB의 경우 실습예제가 실행이 안되고 syntax에러가 계속 떠서 이후에 확인해보니 강의를 촬영하실 당시의 버전인 tinyDB 3.7.0으로 재설치를 하니 실습코드가 실행이 되었습니다. 여기서도 마찬가지의 문제인듯 하여, 설치하신 모든 pip의 버전을 명시해주시면 감사하겠습니다. 현재 에러가 뜨는 상황입니다 Traceback (most recent call last): File "C:\python\section5\5-5-1_new_1.py", line 1, in <module> import FinanceDataReader as fdr File "C:\Users\HSM\anaconda3\envs\section5\lib\site-packages\FinanceDataReader\__init__.py", line 1, in <module> from .data import (DataReader) File "C:\Users\HSM\anaconda3\envs\section5\lib\site-packages\FinanceDataReader\data.py", line 1, in <module> from FinanceDataReader.investing.data import (InvestingDailyReader) File "C:\Users\HSM\anaconda3\envs\section5\lib\site-packages\FinanceDataReader\investing\data.py", line 32 raise ValueError(f"Symbol('{symbol}') not found") ^ SyntaxError: invalid syntax [Finished in 0.075s] Git+ Git GitHub python section5 Unstaged ChangesStage All 5-5-1_new_1.py Staged ChangesUnstage All See All Staged Changes Commit message Commit to master 72 MySQLUndo38m SQLite35h TinyDB11h
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
파일 DB 생성 오류
import simplejson as json from tinydb import TinyDB #파일 DB 생성 db = TinyDB('C:\python\\section5\\databases\\database.db') #db.default_table_name = 'users' Traceback (most recent call last): File "C:\python\section5\5-2-1.py", line 2, in <module> from tinydb import TinyDB File "C:\Users\HSM\anaconda3\envs\section5\lib\site-packages\tinydb\__init__.py", line 29, in <module> from .database import TinyDB File "C:\Users\HSM\anaconda3\envs\section5\lib\site-packages\tinydb\database.py", line 13 TableBase: Type[Table] = with_typehint(Table) ^ SyntaxError: invalid syntax 도저히 왜 안되는지 모르겠습니다. 모듈 설치도 다 잘되어있는데 구글링 해도 나오지도 않네요
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
파이어폭스 CLI 환경 예제 질문
import sys import io from selenium import webdriver from selenium.webdriver.firefox.options import Options import time sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding='utf-8') sys.stderr = io.TextIOWrapper(sys.stderr.detach(), encoding='utf-8') firefox_options = Options() firefox_options.add_argument("--headless") #CLI driver = webdriver.Firefox(firefox_options=firefox_options,executable_path='C:\python\section3\webdriver\firefox\geckodriver') #driver = webdriver.Chrome('C:\python\section3\webdriver\chrome\chromedriver') #driver.set_window_size(1920,1280) #driver.implicitly_wait(5) driver.get("https://google.com") #time.sleep(5) driver.save_screenshot("C:\python\screenshot\website_ff1.png") #driver.implicitly_wait(5) driver.get('http://daum.net') #time.sleep(5) driver.save_screenshot("C:\python\screenshot\website_ff2.png") driver.quit() print("스크린샷 완료") ================================================== 경로도 틀리지 않았고 말씀하신대로 파일도 제대로 다 넣어있었고, 크롬에서의 예제는 제대로 실행되었는데 파이어폭스만 에러가 뜹니다 FileNotFoundError: [WinError 2] 지정된 파일을 찾을 수 없습니다 'geckodriver' executable needs to be in PATH.
- 미해결파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
인코딩 + 403 Forbidden 질문입니다.
download 2-8-2 코드 작성할 때 인프런의 추천강좌의 글 + 그림을 저장하는 코드입니다. for i, e in enumerate(img_list, 1): with open(savePath+"text_"+str(i)+".txt","wt") as f: # 저장할 경로에 "text_순번.txt"의 이름으로 텍스트를 저장한다. 텍스트 쓰기 모드 (wt) f.write(e.select_one("div.card-content > div.course_title").string) fullFileName = os.path.join(savePath, savePath+str(i)+'.png') imgUrl = e.select_one("div.card-image > figure > img")['src'] base = rep.urljoin(imgUrl, "../../../../../") parseUrl = rep.urlparse(imgUrl).path path = rep.quote(parseUrl) fullURL = rep.urljoin(base, path) request_url = req.Request(fullURL, None, headers) response_url = req.urlopen(request_url) f = open(fullFileName, 'wb') f.write(response_url.read()) f.close() #req.urlretrieve(fullURL, fullFileName) 이 코드를 실행할 때 그림을 불러올 때 일부의 그림 주소가 한글로 인코딩 되어 있어서 그냥 단순히 그림의 주소로 urlretrieve를 실행하면 UnicodeEncodeError: 'ascii' codec can't encode characters in position 70-75: ordinal not in range(128) 가 발생합니다. 때문에 한글 인코딩을 바꿔주고자 이미지 주소의 path 부분을 추출해서 path 부분만 인코딩해주고 url을 합쳐주고 retrieve를 실행하면 403 forbidden 에러가 뜹니다. 여기에 헤더를 추가하는 방법을 구글링해서 찾아봐서 저렇게 추가했지만 403 forbidden이 사라지지 않습니다. 문제가 되는 사진의 주소입니다. https://cdn.inflearn.com/public/courses/324995/course_cover/efab1490-0082-446a-b173-52108106bfc1/%EC%9D%B8%ED%94%84%EB%9F%B0-%EA%B5%90%EC%9E%AC%ED%8C%90%EB%A7%A4-%EB%8C%80%EB%AC%B8.jpg https://cdn.inflearn.com/public/courses/324995/course_cover/efab1490-0082-446a-b173-52108106bfc1/%25EC%259D%25B8%25ED%2594%2584%25EB%259F%25B0-%25EA%25B5%2590%25EC%259E%25AC%25ED%258C%2590%25EB%25A7%25A4-%25EB%258C%2580%25EB%25AC%25B8.jpg 위로 접속하면 정상 접속이 됩니다. 아래로 접속하면 (인코딩 후) 엑세스가 거부됩니다. 어떻게 해결할 수 있을까요?