jangtaesan

해결했습니다.기존 openai를 삭제하고 openai==0.28.1 버전입니다. openai==0.28 버전만 했을 때에도 에러가 발생했는데openai==0.28.1 버전을 설치하고 나서 정상적으로 나옵니다.

처음부터 진행이 안되어 멈춰버렸네요.

답변 감사드립니다.로그인이 완료되고 난 후처음에 로그인 정보를 저장하는 창이 뜨는데이 부분은 넘겼다고 생각했는데 오늘 해보니 안되네요.설명해주신 multi class를 나름 해결한다고 시도를 여럿 해 보았는데 마찬가지 였습니다.혹시 제가 시도를 안해본 부분이 뭘까요?<pre class="hljs"><code class="language-python"># 로그인 정보를 저장하시겠어요? 정보 저장 클릭

# 에러 1>
# Copy selector : #mount_0_0_sU > div > div > div.x9f619.x1n2onr6.x1ja2u2z > div > div > div > div.x78zum5.xdt5ytf.x10cihs4.x1t2pt76.x1n2onr6.x1ja2u2z > div.x9f619.xnz67gz.x78zum5.x168nmei.x13lgxp2.x5pf9jr.xo71vjh.x1uhb9sk.x1plvlek.xryxfnj.x1c4vz4f.x2lah0s.x1q0g3np.xqjyukv.x1qjc9v5.x1oa3qoh.x1qughib > div.xh8yej3.x1gryazu.x10o80wk.x14k21rp.x1porb0y.x17snn68.x6osk4m > section > main > div > div > div > section > div > button
# driver.find_element(By.CSS_SELECTOR, '#mount_0_0_sU > div > div > div.x9f619.x1n2onr6.x1ja2u2z > div > div > div > div.x78zum5.xdt5ytf.x10cihs4.x1t2pt76.x1n2onr6.x1ja2u2z > div.x9f619.xnz67gz.x78zum5.x168nmei.x13lgxp2.x5pf9jr.xo71vjh.x1uhb9sk.x1plvlek.xryxfnj.x1c4vz4f.x2lah0s.x1q0g3np.xqjyukv.x1qjc9v5.x1oa3qoh.x1qughib > div.xh8yej3.x1gryazu.x10o80wk.x14k21rp.x1porb0y.x17snn68.x6osk4m > section > main > div > div > div > section > div > button').click()

# 에러 2>
# XPath : //*[@id="mount_0_0_sU"]/div/div/div[2]/div/div/div/div[1]/div[1]/div[2]/section/main/div/div/div/section/div/button
# driver.find_element(By.XPATH, '//*[@id="mount_0_0_sU"]/div/div/div[2]/div/div/div/div[1]/div[1]/div[2]/section/main/div/div/div/section/div/button').click()

# class="_acan _acap _acas _aj1-"
'''
개발자도구 > Ctrl + F 검색 확인
_acan _acap _acas _aj1- → 1 of 1
._acan._acap._acas._aj1- → 1 of 1
._acan → 1 of 1
button._acan._acap._acas._aj1- → 1 of 1
button._acan → 1 of 1
'''
# 에러 3>
# driver.find_element(By.CLASS_NAME, 'button._acan._acap._acas._aj1-').click()
# 에러 4>
# driver.find_element(By.CLASS_NAME, '._acan._acap._acas._aj1-').click()
# 에러 5>
# driver.find_element(By.CLASS_NAME, '._acan').click()
# 에러 6>
# driver.find_element(By.CLASS_NAME, 'button._acan').click()

# 에러는 안나지만 넘어가지 않음
# driver.find_element(By.CLASS_NAME, '_acan').click()

# 에러는 안나지만 넘어가지 않음
# btn_later1 = driver.find_element(By.CLASS_NAME, '_acan')
# btn_later1.click()

# 에러는 안나지만 넘어가지 않음
btn_later1 = driver.find_element(By.CLASS_NAME, '_acan')
btn_later1.send_keys(Keys.ENTER)</code></pre>나중에 하기 클릭은 불가능한지도 확인 부탁드립니다.이거 하다가 강의 기간 한달이 넘어갈 것 같은 예감이 ㅠㅠ에러 발생 내용입니다. 혹시나해서...DevTools listening on ws://127.0.0.1:64499/devtools/browser/3134b8eb-237d-40f7-8c32-7b4f535b308eTraceback (most recent call last):File "Q:\Project\Lecture\insta_auto\8.insta_web.py", line 68, in <module>driver.find_element(By.CLASS_NAME, 'button._acan._acap._acas._aj1-').click()^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^File "Q:\Project\Lecture\insta_auto\venv\Lib\site-packages\selenium\webdriver\remote\webdriver.py", line 831, in find_elementreturn self.execute(Command.FIND_ELEMENT, {"using": by, "value": value})["value"]^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^File "Q:\Project\Lecture\insta_auto\venv\Lib\site-packages\selenium\webdriver\remote\webdriver.py", line 440, in executeself.error_handler.check_response(response)File "Q:\Project\Lecture\insta_auto\venv\Lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 245, in check_responseraise exception_class(message, screen, stacktrace)selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".button._acan._acap._acas._aj1-"}(Session info: chrome=113.0.5672.94)Stacktrace:Backtrace:GetHandleVerifier [0x00986DF3+48691](No symbol) [0x00918CC1](No symbol) [0x00825068](No symbol) [0x00850477](No symbol) [0x008506AB](No symbol) [0x0087DD62](No symbol) [0x0086A314](No symbol) [0x0087C452](No symbol) [0x0086A0C6](No symbol) [0x00847E18](No symbol) [0x00848F3D]GetHandleVerifier [0x00BE4EAA+2531050]GetHandleVerifier [0x00C24B60+2792352]GetHandleVerifier [0x00C1E6EC+2766636]GetHandleVerifier [0x00A10820+612448](No symbol) [0x009225BC](No symbol) [0x0091E808](No symbol) [0x0091E8EB](No symbol) [0x00911C77]BaseThreadInitThunk [0x75C6FA29+25]RtlGetAppContainerNamedObjectPath [0x77BD7A7E+286]RtlGetAppContainerNamedObjectPath [0x77BD7A4E+238]&nbsp;&nbsp;

로그인 이후 발이 묶여서 멈추고 더이상 넘어가지 못하고 있습니다.

[2022년 09월 15일] 확인저도 이것 때문에 시간을 많이 소비했네요 ㅋ~<a target="_blank" rel="noopener noreferrer nofollow" href="https://pytube.io/en/latest/_modules/pytube/streams.html#Stream.on_progress">https://pytube.io/en/latest/_modules/pytube/streams.html#Stream.on_progress</a>기본은 pytube를 참조 하심 될 것 같습니다.<pre><code class="language-python">def showProgressDownLoading(self, chunk, file_handler, bytes_remaining):</code></pre>stream 제거finle_handle 을 file_handler 로 변경시켜서 사용하니 동작을 하였습니다.&nbsp;&nbsp;&nbsp;&nbsp;

showProgressDownLoading 함수

[2022년 08월 30일 테스트 완료]FinanceDataReader 라이브러리를 활용하면 좋을 듯합니다.# pip install FinanceDataReaderimport FinanceDataReader as fdrimport datetime# 조회 시작 & 마감 날짜start = datetime.datetime(2022,8,1)end = datetime.datetime(2022,8,15)df = fdr.DataReader('035720', start, end)print(df)print(df.index)print(df['Open'])print(df.loc[['2022-08-12']])print(df.describe())

pandas-datareader.data 모듈이 임포트가 안됩니다.

처음엔 변경된 사이트들 때문에 정말 힘들었었는데
시간이 지나면서 조금은 익숙되는 것 같습니다.
약간의 응용력이 생긴다고 봐야 할까요? ㅋ
기본 로직은 그대로 가져가고 변경된 영역을 고쳐보는 재미도 나름 있답니다.
이것이 결국은 다른 사이트들을 크롤링 할 때 필요한 내용이 아닐까 생각해봅니다.
&nbsp;
[인프런 22년8월18일 확인]
from bs4 import BeautifulSoup import requests &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; # 로그인을 처리할 때 사용한 requests import urllib.parse as rep import urllib.request as urlreq # request로 이미지 파일을 다운로드 받는다. import os
# &nbsp;로그인 유저정보 LOGIN_INFO = { &nbsp; &nbsp; 'email': "로그인 이메일주소", &nbsp; &nbsp; 'password': "비밀번호" }
with requests.Session() as s: &nbsp; &nbsp; login_req = s.post('https://www.inflearn.com/api/signin', data=LOGIN_INFO) &nbsp; &nbsp; if login_req.status_code == 200 and login_req.ok: &nbsp; &nbsp; &nbsp; &nbsp; post_one = s.get('https://www.inflearn.com/dashboard') &nbsp; &nbsp; &nbsp; &nbsp; post_one.raise_for_status() # 예외처리 발생시킴 &nbsp; &nbsp; &nbsp; &nbsp; soup = BeautifulSoup(post_one.text, 'html.parser') &nbsp; &nbsp; &nbsp; &nbsp; badges = soup.select('div.box_content > div.media > div > figure > img') &nbsp; &nbsp; &nbsp; &nbsp; for i, z in enumerate(badges, 1): &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; # print(z) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; fullFileName = os.path.join("Q:/startcoding/Inflearn/workspace/", str(i)+'.jpg') &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; urlreq.urlretrieve(z['src'],fullFileName)
&nbsp;
&nbsp;

3-4-2 인프런 질문

혹시 필요하신 분이 있으실 것 같아 변경된 형태를 완성시킨 코드 올려봅니다.
[루리웹 22년8월17일 확인]
from bs4 import BeautifulSoup import requests
# &nbsp;로그인 유저정보 LOGIN_INFO = { &nbsp; &nbsp; 'user_id': "아이디", &nbsp; &nbsp; 'user_pw': "비밀번호" }
with requests.Session() as s: &nbsp; &nbsp; login_req = s.post('https://user.ruliweb.com/member/login_proc', data=LOGIN_INFO) &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; if login_req.status_code == 200 and login_req.ok: &nbsp; &nbsp; &nbsp; &nbsp; post_one = s.get('https://bbs.ruliweb.com/market/board/32/read/4839737?page=2') &nbsp; &nbsp; &nbsp; &nbsp; post_one.raise_for_status() # 예외처리 &nbsp; &nbsp; &nbsp; &nbsp; soup = BeautifulSoup(post_one.text, 'html.parser') &nbsp; &nbsp; &nbsp; &nbsp; article = soup.select_one('.view_content.autolink').findAll('p') &nbsp; &nbsp; &nbsp; &nbsp; for i in article: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; if i.string is not None: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; print(i.string)

안녕하세요 : )
class101에서 강의 잘 듣고 다시 여기로 넘어왔습니다.
듣고 싶은게 더 있어서요. 복습도 되고 넘 좋습니다.
연예 뉴스 크롤링에서 네이버의 변경이 있었네요.&nbsp;
entertain으로 시작하는 주소는 같은데
news.naver.com 부분이 n.news.naver.com으로 변경이 되면서 id값과 class 값이 변경되었습니다.
수정코드(2022년 07월 16일 시점) 올려봅니다.
if "entertain" in response.url: &nbsp; title=soup.select_one(".end_tit") &nbsp; content=soup.select_one("#articeBody") else: &nbsp; title=soup.select_one(".media_end_head_headline
") &nbsp; content=soup.select_one("#dic_area")

연애 뉴스 크롤링 8:52 부터 막힙니다

바뀐게 너무 많아서 수업을 따라 진행하기가 힘이드네요.
수정이 필요하지 않을까? 싶습니다. ㅠ
처음 공부하는 사람의 입장에선 진행을 거의 할 수 없는 수준입니다.
많은 기대를 하면서 시작했는데 좀 많이 속상하네요~&nbsp;
넘어가라고 말씀은 하시지만 이러다 다 넘어가야 하는거 아닌가 걱정이 되기도 합니다. ㅎ
최신 상황을 반영한 코드나 강의 또는 블로그라도&nbsp; 제공해주시면 좋을 듯합니다.

Daum 시총 코드 바뀐 부분 적어놓을게요.

네 안녕하세요~
아 그렇군요.
네 알겠습니다. 감사합니다 : )

Install Packages 항목이 안보이는 이유가 뭘까요?

https://atom.io/search?page=7&q=script
사이트에서 검색을 통해 찾았는데
install을 누르면 다시 Atom 을 다운로드 하는 공간으로 넘어가네요.
다시 깔으라는 소리 같은데...
버전이 달라지면서 안되는거 아닌가 하는 생각이 듭니다. ㅠ
혹시 성공하신분 계신가요?
<img src="https://cdn.inflearn.com/public/comments/cc98cb7a-dde3-4f9b-9150-a25ebb0beec3/이미지 833.png" />
&nbsp;
다른분 같은 문제에 vscode로 하라는 이야기가 있어서 vscode 를 찾아봤는데 역시나 위와 똑같은 문제가 발생하네요.

jangtaesan

Posts