내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)대시보드
60,500원
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
selenium deprecated error
혹시 아래와 같이 DeprecationWarning: find_element_by_class_name is deprecated. Please use find_element(by=By.CLASS_NAME, value=name) insteaddeprecated warning이 뜰 경우from selenium.webdriver.common.by import By위 내용 임포트 해서driver.find_element(By.CLASS_NAME, "group_nav")아래와 같이 해결하시면 좋을 것 같아서 공유해요
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
sameAddressGroup 데이터 가져오기오류
안녕하세요 크롤링공부를 진행하고 있어요 단지정보 수집 관련해서 크롤링하려고 수강하고 있는데요 sameAddressGroup에서 데이터를 수집하는데 여기서 자료가 나타나질 않네요 url로 접속하니 {"error":"unauthorized user"} 로 나옵니다 크롬 개발자도구에서 확인할떄는 정상적으로 데이터가 나오긴하는데 크롤링 에서 안되서 문의 드립니다
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
encparam을 이용한 크롤링 문제
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. encparam의 해쉬값(?)은 잘 가져와지는데 이 값을 정규표현식으로 재무제표 데이터를 가져오는데 자꾸 실패하고 있습니다. 뭔가를 잘 못하고 있는 것 같은데 해결이 안 되네요. 잘못된 부분이 어디인지 알려주시면 감사하겠습니다.
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
안녕하세요~ 멀티프로세싱 질문있습니다!
안녕하세요~ 크롤링 속도를 위해서 멀티프로세싱을 사용하였는데요. pool.map(함수, 인자) 이렇게 pool.map에 등록한 함수를 계속 일정 시간 마다 반복시키고 싶은데 멀티프로세싱에 등록된 함수내에서 쓰레드 타이머를 사용하니 반복이 안되더라구요. 목적은 병렬로 특정 시간마다 주기적으로 반복하고 싶은것인데.. 검색해도 잘 나오지 않네요 ㅠㅠ 도움 주시면 감사하겠습니다!
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
야후파이낸스 크롤링 get 요청이 안되용
- 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
데이터베이스 종류 추천해주세요
데이터베이스 필요성이 느껴지는데 종류가 너무 많아서 어떤게 실제로 사용하기 쉽고 범용적으로 쓰이나요? MySQL, sqlite 두개가 파이썬 관련해서 많이 검색되는데 추천해주실만한게 어떤건지? 선생님이 사용하시는 건 어떤건지 알려주시면 도움이 될것 같아요. 제가 하고 싶은것은 금융데이터를 스크래핑하고 백테스트도 하고 여러 지표를 기준으로 매매 시그널을 제공하는 웹서비스를 만들어 보고 싶습니다.
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
to_csv() 한글 깨짐
dataframe 변수, df 에 naver 일별 주가 데이터가 있는 상태에서, df.to_csv("data.csv")를 해서 만든 data.csv를 열어보면, 한글 컬럼명들이 캐져 있습니다. 1. to_csv("data.csv", encoding="utf-8-sig" ) 이렇게 해주니 깨지지 않았습니다. 동영상에서는 이걸 따로 설정 안해도 깨지지 않았는데 왜 그런걸까요? 한글이 있으면, to_csv()를 사용할 때마다, encoding을 해주어야할까요? 2. df.set_index("날짜")를 하여 "날짜"가 index가 되도록 한 후에, df.to_csv(..)를 해서, 만들어진 data.csv를 열어보면, 정수 index가 자동으로 붙어서 파일이 만들어져 있습니다. 그러니까, "정수 index", "날짜", "종가", ... 이런식으로 되어있죠. to_csv를 하면 정수 index가 자동으로 붙는 것이 기본인가요? 강의 동영상에서는 정수 index가 붙어있지 않던데 왜 그런걸까요?
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
requirements.txt 설치를 실수로 다른 폴더에서 진행한 경우 어떻게 하나요?
강의 보면서 따라하다가 강의자료 폴더로 이동하기 전에 루트 폴더(?)에 라이브러리들이 설치가 되었는데요. 이 경우에 설치된 라이브러리 삭제는 어떻게 하나요?
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
크롬 브라우저와 크롬 개발자도구 질문입니다.
Q1. 아래 강의 화면에서, 개발자도구의 저 내용은, 개발자도구에서 어느 메뉴를 클릭해 들어가면 나오는 내용인가요? 그러니까, 왼쪽 브라우저에서는 어떤 상태이고 (삼성전자 내용 전체를 보여주는 상태?)이고, 오른쪽 개발자도구에서는 어떤 메뉴들을 클릭해야 저 소스코드가 보이나요? Q2. 강의 동영상에서는, 브라우저에서 “일별시세 테이블” 근처에서 마우스커서를 클릭하면, 오른쪽 개발자도구에서, 즉시 반응하여 표시가 되는 것을 볼 수 있습니다. (보라색 표시들) 제 PC 크롬브라우저에서는 지금까지 본 적이 없는 반응입니다. 어떤 설정을 해줘야 하나요?
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
1. 크롬 개발자도구 작동 질문입니다.
Q1. 아래 강의화면에서 115행 “res.text” 하면 나온 결과에서 중간에 색깔이 파란색인 문자열들이 있습니다. Href 뒤 문자열인 것 같습니다. 그런데, 저의 jupyter notebook에서는 파란색이 없고, 모두다 검은색입니다… 뭘 해주면 될까요? Q2. 브라우저에서 현재, 일별시세 테이블의 4 페이지를 누른 상태인데, my_headers 변수 안에 있는 “referrer”의 “page”파라미터의 값이 3 인 이유는, 4 페이지로 옮기기 “직전 페이지”이기 때문인가요? 저는 일별시세 테이블 1페이지 상태에서, 바로 4 페이지를 눌렀더니, referrer의 page가 “1” 이었습니다. 이게 맞는거죠? Q3. 크롬 개발자도구에서, 상단 메뉴 왼쪽에 “Clear”가 있습니다. 이 기능은 정확하게 어떤 경우에 사용해야 하나요? “finace.naver.com” 일별시세 표에서, 1페이지를 누르고, 크롬 개발자도구를 open 한 후에, 일별시세 4 페이지를 눌렀을 때, 크롬 개발자도구에서 Preview/Response/Header 어느 곳에도, 4 페이지를 눌렀던 request가 전달되지 않았습니다. 그런데, 개발자도구에서 “clear”버튼을 누른 후, 일별시세 표의 4페이지를 누르니까, 개발자도구에도 반영이 되었습니다. 그러니까, 일별시세 표의 페이지를 변경할 때마다, 개발자도구에서 “clear”버튼을 눌러주어야 하나요?
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
네이버 금융 일별 시세 데이터 크롤링 문의드립니다.(iframe 관련)
안녕하세요 좋은 강의 잘 듣고 있습니다. 네이버 금융에서 삼성전자의 일별 시세 데이터를 크롤링해보다가 아래와 같이 문의드립니다. soup.select("table.type2") 관련 문의 강의 내용대로 따라했는데, len(soup.select("table.type2"))가 1이 아니라 3이 나옵니다. 그리고 soup.select("table.type2 tbody > tbody > tr")을 해보니 iframe의 코드를 읽지 못하고 본문 페이지의 내용만을 읽어온 것 같습니다. res.text를 실행해서 아웃풋을 꼼꼼히 읽어보니 역시 iframe의 자식 구조들은 읽지 못하더라구요. (아래는 발췌한 내용) <iframe name=\'day\' src=\'/item/sise_day.naver?code=005930\' width="100%" height=360 marginheight=0 bottommargin=0 topmargin=0 SCROLLING=no frameborder=0 title="일별 시세"></iframe> 강의에서는 오히려 반대로 reqeusts.get()을 사용하면 iframe의 Network Resource 부분을 res로 받아오던데 저는 본문의 html을 받아오는 이유가 있을까요? 제가 작성한 코드는 아래와 같습니다. my_headers = { "referer" : "https://finance.naver.com/item/sise_day.naver?code=005930&page=1", "upgrade-insecure-requests" : "1", "user-agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36" } res = requests.get( url = "https://finance.naver.com/item/sise.naver?code=005930", headers = my_headers ) soup = bs4.BeautifulSoup(res.text) res.text
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
네이버부동산 크롤링 방지 우회 질문
안녕하세요. 우선 정성스러운 강의 덕분에 많은 도움이 되고 있는 점, 감사드립니다. 강의를 바탕으로 실제로 원하는 내용을 크롤링하려다 보니 막히는 부분이 있어 질문드립니다. 네이버부동산에 강의해주신 주택이 아니라 상업용부동산 정보를 가지고 오고자 코드를 만들고 있습니다. 우선 개별 물건들의 물건번호는 확보하였고, 이 물건 번호(articleNo_list)를 이용해서 개별 물건의 정보를 가지고 오기 위해 아래와 같이 코드를 만들었습니다. 하지만 코드를 실행하니 아래와 같이 에러가 발생하였습니다. 물건 하나에 대한 정보는 잘 가져오는 것은 확인하였고, 여러 물건을 한번에 가져오기 위해 이것을 단지 for loop으로 바꾸기만 하였는데 에러가 발생하는 것을 보니 아마 네이버에서 자체적으로 개별정보를 다량으로 크롤링 하는 것을 막고 있는 것이 아닌가 생각됩니다. 혹시 sleep 시간을 길게 가져가면 되는지 보기 위해 보시는 것처럼 sleep을 5초까지 가져갔음에도 결국은 같은 에러가 나옵니다 이런 경우에 해결책은 없는지 조언부탁드립니다. 감사합니다.
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
len(ul_element) 관련 질문_추가
교수님 안녕하십니까? 아래 질문에 대해 말씀주신 부분을 다음과 같이 첨부드립니다. type(ul_element) bs4.element .Tag print(ul_element) <ul class="kwd_lst _recent"> <li class="item _item" data-keyword="@in_txt@" data-rank="@rank@" data-template-type="history"> <a class="kwd" href="#"> <span class="fix"><span class="common_ico_kwd"><i class="imsc ico_search"></i></span><span>@txt@</span></span> </a> <span class="etc"> <em class="date">@date@.</em> <a aria-pressed="false" class="bt_item _del" href="#" role="button"><i class="imsc ico_del">삭제</i></a> </span> </li> </ul> 지금 다시 보니까 ul_element도 ul_elements 내의 또 다른 리스트가 아니었나 싶습니다. 즉 13개의 원소로 이루어진 ul_elements의 첫 번째 요소인 ul_element도 3개의 요소로 구성 된 리스트 형태인 건 아닌지요? 그런데 type가 Tag인데 리스트가 될 수 있는지요? 감사합니다 -------------------------------------------------------------------------------------------- 원 질문 교수님 안녕하세요? 강의 너무 잘 듣고 있는 학생입니다. 문의 사항이 한 가지 있습니다. select() 강의에서 ------------------------------------------------------------------------------ ul_elements = soup.select("ul") len(ul_elements) 13 -> 13개 원소 중에서 아래 ul_element는 첫 번째 원소만 뽑아냈는데, 왜 len(ul_element)는 1이 아닌 3이 나오는지요? 원소가 1개이기 때문에 1이 되야 하는 것은 아닌지요? ul_element = ul_elements[0] len(ul_element) 3 ------------------------------------------------------------------------------------- 교수님 답변 안녕하세요! 제가 보기에도 좀 이상하네요. 혹시 type(ul_element), print(ul_element) 두 명령어 결과 첨부 가능하실까요?
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
len(ul_element) 관련 질문
교수님 안녕하세요? 강의 너무 잘 듣고 있는 학생입니다. 문의 사항이 한 가지 있습니다. select() 강의에서 ------------------------------------------------------------------------------ ul_elements = soup.select("ul") len(ul_elements) 13 -> 13개 원소 중에서 아래 ul_element는 첫 번째 원소만 뽑아냈는데, 왜 len(ul_element)는 1이 아닌 3이 나오는지요? 원소가 1개이기 때문에 1이 되야 하는 것은 아닌지요? ul_element = ul_elements[0] len(ul_element) 3 ------------------------------------------------------------------------------------- 감사합니다.
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
open .zshrc 관련 문의
안녕하세요, 강의 너무너무 잘 듣고 있습니다. 파이썬 웹크롤링 방법2. selenium 라이브러리 두 번째 11.2. chromedriver 환경설정을 하다 open .zshrc를 실행하니 강의 화면과는 다른 형태의 .zshrc가 나왔습니다. 또한 잠김으로 되어 있어서 수정도 불가하여 이 점에 대해 문의드립니다. 사진 첨부합니다. 감사합니다.
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
pip install -r requirements.txt 오류 문의
설치 중간에 다음과 같은 에러가 발생했습니다. 어떻게 처리하면 될까요? ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. astroid 2.4.2 requires wrapt~=1.11, which is not installed.
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
jupyter-lab 명령어 입력시 오류
강의 잘 듣고 있습니다. 오류가 나서 질문드려요. conda activate crawling_class 를 한 후 jupyter-lab이라고 쳤는데 액세스가 거부되었다고 나옵니다. 어떻게 해야 하나요? 그리고 deactivate crawling_class를 쳤는데 deactivate does not accept arguments 라고 나옵니다. 이것도 어떻게 할지요?
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
수업자료 코랩파일이 열리지 않습니다 ㅠ
3번 수업자료 다운받아서 코랩에서 열면 유요한 파일이 아니라고 나옵니다.. ㅠ
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
네이버 재무재표 데이터 데이터 읽히지 않는 현상
삼성전자를 예제로 실습을 했는데 위에 차트에 해당하는 내용은 출력이 가능한데 아래의 자산 총계가 나오는 표는 에러 메세지가 발생합니다.
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
가상환경에서 selenium import
안녕하세요 . crawling 수업시 가상환경 생성하여 수업진행하셔서 저도 따라서 진행하고 있는데요. 가상환경에서 from selenium import webdriver 명령 입력시 하기와 같은 에러가 발생합니다.. ModuleNotFoundError: No module named 'selenium' selenium 설치되어있는것을 anaconda prompt에서 확인했는데도 계속 오류가 발생하길래 이상해서 가상환경을 종료하고 (base) 환경에서 selenium을 import하니 정상적으로 작동하네요.. 혹시 가상환경에서는 selenium이 작동되지 않는건가요?? 아니면 해결방법이 따로 있는건가요?? 아시는 부분 있으시면 알려주시면 감사하겠습니다.