묻고 답해요
131만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 실전편
id 값이 바뀐것같아서 찾아서 넣어보는데 잘안됩니다.
https://n.news.naver.com/mnews/article/003/0011827028?sid=101이곳에서 개발자모드에서 id값을 찾아서 해보고있는데계속 None만 반환되네요.이유를 모르겠습니다. 도와주세요
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 기본편
스크롤이 안내려갑니다!
안녕하세요.셀레니움 기본설정 알려주신 코드대로 입력해서아이폰 13 입력해서 들어가는 것까지는 작동을 하는데스크롤이 내려가지 않네요ㅠ뭐가 문제일까요?
-
해결됨내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
7.1 야후 파이낸스 크롤링 request 오류
혹시 못보셨나 해서 다시 올립니다.7.1 진행중에 request 오류가 나서기존 질문 답변보고 강의노트에 있는 헤더 넣어서 request.get 했는데도response 404가 나옵니다. 아래는 제가 실행했던 코드 입니다. =================================================== # importimport requestsimport bs4import timeimport randomimport numpy as npimport pandas as pdfrom IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = "all"pd.set_option('display.float_format', lambda x: '%.3f' % x)pd.set_option('display.max_columns', None) url = "https://finance.yahoo.com/quote/AAPL/history?period1=1581206400&period2=1612828800&interval=1d&filter=history&frequency=1d&includeAdjustedClose=true"headers = {"cache-control": "max-age=0","sec-ch-ua": 'Chromium";v="94", "Google Chrome";v="94", ";Not A Brand";v="99',"sec-ch-ua-mobile": "?0","sec-ch-ua-platform": "macOS","sec-fetch-dest": "document","sec-fetch-mode": "navigate","sec-fetch-site": "same-origin","sec-fetch-user": "?1","upgrade-insecure-requests": "1","user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36",} requests.get(url, headers)=================================================상기 내용이 미결이라 진도를 나아가지 못하고 있습니다.혹시 7.1 ~ 7.3 그냥 넘기고 바로 8로 넘어가도 문제 없을까요?
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
새로운 탭을 생성하고, 이동시 크롬 창 활성화
안녕하세요!headless를 이용하면 안되는 사이트도 있는거 같아서.그냥 크롬창을 띄워놓고 작업을 하는데요.탭을 2개 열어 놓고 작업을 시켰습니다.근데 탭을 변경하면 최소화된 크롬창이 자꾸 활성화 되면서 모니터 앞으로 튀어나오는데요..탭 변경시driver.switch_to.window(driver.window_handles[0])이 코드를 사용하는데요.0에서 작업하다가 1로 넘기면,넘길 때 마다 크롬창이 앞으로 팍 튀어나옵니다!해결 방법이 있을까요?headless를 사용하지 않고, 크롬창이 열리는 대신, 그냥 최소화 해놓고 작업을 하고 싶습니다!
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 기본편
강의 구매 관련문의입니다.
우선 이전 질문 답변 감사드립니다.지금 셀레니움 기본 완강후심화 결제하려하는데요.그런데 인프런같은 타 플랫폼? 에도강의가 10만원대강의가있고 하더라구요.두개가 뭐가다른지 둘다 결제하면 중복되는거는아닌지 왜 인프런과 같은건지 궁금합니다.강의 내용이 좋아서 하시는강의를다 수강하고싶은 마음에글씁니다.
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 기본편
작성하신 코드는 어디에서 복사하나요
강의 내용에 보면 " 내가 작성한 코드를 그대로 복사해서 쓰시면 된다 " 는 말씀을 하시는데,학습자료가 따로 업로드되어있지 않던데인프런에는 없는건지 궁금하네요
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
[5.1] pd.concat Reindexing error
강의와 같이 코드를 입력 하였고 아래와 같은InvalidIndexError: Reindexing only valid with uniquely valued Index objects 에러가 납니다.다른분이 질문해주신 글에 답변 처럼 df_item = pd.concat(item_info, ignore_index=True)처리를 하여도 같은 에러가 생깁니다. 해당 문제때문에 강의 진행이 안돼서,, 어떻게 하면 해결할 수 있을까요
-
미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
anaconda
안녕하세요anaconda 가상환경에 형태소 분석기,konlpy 설치 방법을알려주세요. 여러가지 방법으로 설치를 해도 오류가 나서문의 드립니다. 감사합니다.
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
셀레니움 바뀐 문법이 궁금합니다. webdriv.send_keys(Keys.ENTER)
셀레니움 질문드료요 ~인풋창에서 글을 입력하는데요 .webdriv= webdriver.Chrome(options=options)from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By 에러가 납니다. 문법이 바뀐것 같은데요 .. 목적은 인풋창에 값을 입력한뒤 Key.ENTER 가 하려고했습니다. keys.enter는 에러가 나서요 바뀐 . 문법이 궁금합니다. ------------------ webdriv.find_element(By.XPATH, # 는 알겠으나 // webdriv.send_keys(Keys.ENTER) # 이거는 어떻게 해야할지 몰라서 여쭈어 봅니다.
-
해결됨실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
쿠팡 사이트 접속 제한은?
강의 잘 들었습니다!쿠팡 사이트에 여러번 시도를 하니까엑세스 디나인이 뜨더라구요.강사님은 혹시 이것이 발생하는 주기를 알고 계실까요?예)1분에 10번 이상 접속 시도시 차단.차단되면 1일 후 이용 가능. 이런 대략적인 정보나? 경험이 있으면 알려주시면 감사하겠습니다!
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
ancestor :: span[2] 어떻게 해석해야 할지 //ancestor :: div[2] -- 질문
ancestor :: span[2] 어떻게 해석해야 할지 모르겠습니다. //ancestor :: div[2] --------- 질문 :: div등 [1] [2] 번호의 의미와 분석법 , ancestor :: span[2] ancestor 쓴는 이유와 찾는 방법 순서 ..궁금합니다 ~
-
해결됨내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
야후파이낸스 크롤링 오류
7.1 진행중에 request 오류가나서기존 질문답변 보고 강의노트에 올려주신 헤더 넣어서 requests.get했는데도response 404가 나옵니다. 확인 부탁 드립니다.
-
해결됨실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
셀레니움으로 thumb 이미지 클릭을 못합니다 도와주세요 ㅠ
선생님 난관에 부딪혔습니다.제목과, 이름은 잘가져오는데.썸네일 이미지가 메뉴에 가려져 있어서, 클릭을 못한다고 합니다. 이를 어찌 해결해야 할지 도저히 모르겠습니다 일단 코드는 아래와 같습니다.items = driver.find_elements(By.CSS_SELECTOR, "#_chartList > li.list_item") time.sleep(2) #_chartList .title.ellipsis for idx, item in enumerate(items[:5], 1): title = item.find_element(By.CSS_SELECTOR, 'p.title.ellipsis') name = item.find_element(By.CSS_SELECTOR, 'span.name.ellipsis') thumb = item.find_element(By.CSS_SELECTOR, 'div.thumb > a') thumb.click() time.sleep(2) album_url = driver.current_url driver.back() print(f">>>{idx}<<<") print(title.text.strip()) print(name.text.strip()) print(album_url) print() time.sleep(2)실행하면 아래와 같은 오류가 납니다.selenium.common.exceptions.ElementClickInterceptedException: Message: element click intercepted: Element <a href="javascript:goDetail('album','11211297')">...</a> is not clickable at point (40, 24). Other element would receive the click: <span class="ico-sprite ico-gnb-menu">...</span> 구글링 열심히 하다가 챗 gpt에게 물어보니오약 : 메뉴 요소에 가려져있어서 클릭을 못하고, 메뉴 요소를 닫아야 한다고합니다 <span class="ico-sprite ico-gnb-menu">이 메뉴 요소가 문제인거 같은데, 메뉴에 가려져 있으면 어떻게 해결 해야하나요?어떡해든 혼자힘으로 해결해 보려고 하였는데, 이건 도저히 해결책을 어떻게 연구해야 할지 모르겠습니다.도와 주신다면 감사하겠습니다.
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
px.line 그리기에 대해서 문의 드립니다.
반복 적으로 관심 종목을 불러와서 챠트를 그리고 싶어서 while 문으로 구성 해 봤는데, 챠트가 출력되지 않습니다. 어디가 문제일까요? 문제가 된 while 문 출력 결과 입니다. 출력 결과 관심 종목을 입력 받으면 입력 받은 종목의 챠트를 출력하고, 다음 종목을 입력 받기를 기다리게 구성하였고, n or N을 입력하면 종료하는 것으로 구성하였습니다. 그런데 결과물에 챠트가 출력되지 않습니다. 한 종목 출력하면 출력이 됩니다.
-
해결됨실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
영상보면 크롬에서 자동화 메세지 안나오는 옵션을 입력한 상태인데, 메세지가 나오고 있습니다.
자동화 메세지 안나오는 코드 입력후options.add_experimental_option('excludeSwitches', ['enable-automation'])크롬을 실행하면, 자동화 메세지지가 안나옵니다. 그러나1분 58초 입니다.크롬에서 오류 메세지 안보내는, 코드를 입력하면자동화 메세지가 출력됩니다options.add_experimental_option('excludeSwitches', ['enable-logging']) 즉자동화 메세지 안나오는 코드 입력상태 이고오류 메세지 안나오는 코드 입력상태 인데위 두가지 조건을 입력하면자동화 메세지가 안나오고 and 오류 메세지도 안나와야 하는데..오류 메세지는 나오지만, 자동화 메세지가 출력됩니다. 그래서 영상을 돌려보니, 선생님 강의 영상에서도 똑같은 증상이 나오고 있습니다!아래는 선생님강의 영상 캡쳐 입니다제 생각에는add_experimental_option은 아래에 있는 코드가 적용되는게 아닐까 추측되네요. 저도 초보이지만, 저보다 늦게 공부하시는 분을 위해 남겨 둡니다.저처럼 고민하시는 분들이 있으실수도 있으니까요
-
미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
8강 jupyter 첫 실행부터 막히네요..
다 설치하고 jupyter notebook 실행시키고 수업 듣고 있는데, 저는 왜 shift+ent 눌러도 저렇게 줄만 바뀔까요. 선생님 알려주시는 것처럼 출력이 안됩니다.. 그리고 Untitled name도 바꿔보려고 했는데 어떤 걸 입력해도 error 라고만 뜹니다.마지막으로 질문을 올리다보니 제 화면이 선생님 화면과 다른 점이 우측 상단에.. Python 3 (ipykernel)이라고 되어 있네요? 선생님 화면은 Python 3만 나와 있습니다..ㅠㅠ누가 좀 알려주세요ㅠㅠ 흑흑
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
기초적인 질문 질드려요 vscode에서 clear 명령어 사용
강의 영상중에서 5분 27초 보면vscode 터미널 내용지울땐, 선생님께서clear 라는 입력하시고 엔터 누르시면, 터미널 내용이 사라집니다.저는 clear라고 하면, 'clear'은(는) 내부 또는 외부 명령, 실행할 수 있는 프로그램, 또는배치 파일이 아닙니다.위와 같이 나옵니다. 그래서 찾아보니, cls라고 하면 지워진다고 하는데,선생님처럼 clear 명령어를 사용하고 싶습니다. 선생님께서는 터미널 단축키를 수정하신건지아니면 다른 터미널을 사용하신건지 궁금합니다. 이게 간단한거 같으면서도, 검색으로는 더이상 알아낼수가 없네요 알려 주시면 감사하겠습니다.
-
해결됨실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
귀신이 곡할 노릇입입니다ㅠㅠ , 셀렉터를 맞게 한거 같은데 안되네요 ㅠㅠ
블랙핑크 검색시 셀렉터손흥민 검색시 셀렉터즉 선생님 수업때와 다르게셀렉터가 둘다 똑같이 변경 되었습니다. import requests from bs4 import BeautifulSoup base_url = "https://search.naver.com/search.naver?where=view&sm=tab_jum&query=" keyword = input("검색어를 입력하세요 :") url = base_url + keyword # url = "https://search.naver.com/search.naver?where=view&sm=tab_jum&query=손흥민" headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36"} req = requests.get(url, headers=headers) soup = BeautifulSoup(req.text, 'html.parser') results = soup.select(".timeline_area") print(results) for res in results: # print(res.select_one('.sub_txt.sub_name').text) # print(res.select_one('.api_txt_lines.total_tit').text) # print(res.select_one('.api_txt_lines.total_tit').get('href')) print()그래서 위와같이 select 해서크롤링을 하면정말 너무 희안하게도"블랙핑크" : 크롤링 가능"손흥민" : 크롤링 불가능print(results) 해보면, 리스트가 비어있습니다. 그래서 제가 아래 이미지 처럼개발자 도구에서 select copy 를 이용해서도 해봤는데 크롤링이 안됩니다.도저히 제가 이해할수가 없고, 해결할수 없어서 질문 드립니다.도와주신다면 감사하겠습니다. ㅠㅠ
-
미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
[REST API] data의 교환방식 질문
- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다)- 이외의 문의등은 평생강의이므로 양해를 부탁드립니다- 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.<동적 웹사이트와 크롤링> - REST API 안녕하세요. 강의 잘 듣고 있습니다.REST API라고 하는 것이 데이터를 주고 받는 방법인 것은 알겠는데요. 이것이 프론트엔드와 백엔드의 데이터를 주고받는 방식이라고 이해하는게 좀 어려워서 부가설명을 부탁드립니다. 회사를 기준으로 이해하다보니 더 와닿지 않습니다. 제가 가끔씩 보는 사내의 IT개발은 JSP로된 2000줄 정도 되는 코드에 어떤 데이터가 필요하면, 데이터를 뽑는 쿼리를 데이터 베이스 담당하시는분한테 묻고 그 해당 쿼리를 집어넣고??하는 방식으로 하는 것 같은데, 제가 집에서하는 템플릿 코드 작성방식과와 다르지 않다고 이해해오고 있는데요. 규모가 큰 회사에서는 OPEN API 설명서처럼 백엔드에서DATA를 전달하는 방식을 구현해 놓는건가요? 그리고 한가지만 더 질문을 드리면, 제가 Flask 강의도 듣고 있는데요. 사실 백엔드와 프론트엔드의 차이를 잘 느끼지 못했습니다. 하나의 템플릿에 데이터를 넣어주는 역할까지를 백엔드가 하고 단지 프론트는 그 템플릿을 예쁘게 하는 역할을 하는것인가요? 만약 그렇다면 템플릿 상속도 있고, HTML CODE도 계속해서 변하는데 구분없이 혼자하는게 더 수월하겠다는 생각이 들어서요. 어떤 식으로 역할을 분배하고 일하는지 궁금합니다.정말 좋은 강의 잘듣고 있습니다. 감사합니다!
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
5/6 tqdm으로 전체 데이터...
concat으로 전제 종목을 합치는 pd.concat(result.tolist()) 코드 실행시 오류가 납니다. 오류 메세지는 : InvalidIndexError: Reindexing only valid with uniquely valued Index objects입니다. get_item_info 함수를 실행해서 result 결과를 확인해 보니, index 가 모두 같지 않은 것 같습니다. 오류 부분이 어디일까요?