묻고 답해요
158만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
-href 가져오기
현재까지 잘 따라왔는데 href 에서 막혀서 질문드립니다. 현재 네이버의 span class에서 제목은 가져왔습니다. 그런데 href는 윗 단계인 <a>에 있지만 class명이 복사하면 깨져서 나옵니다. 그래서 <a> 에 있는 href를 가져오지 못하고 있습니다. 더 한단계 위인 <div>를 사용해 보았지만 href는 불러오지 못했습니다.+++++++++++++++++++++++++<div class=“”> <a nocr=“1” href=“…..” <span class=“………”>기사제목</span> </a>++++++++++++++++++++++++++어떤 방법이 있는지 문의드립니다.
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
업데이트 강의
안녕하세요48번 강의부터 53번 강의까지 듣고있는데해당 강의마다 강의 종료시점에서 내용이 마무리 되면서 끝나는게 아니라갑자기 설명 중 영상이 끝납니다
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
글목록 추출하기
안녕하세요, 좋은 강의 감사합니다.글목록 추출하기에서 셀레니움을 이용한 추출 방법을 안내해주셨는데요, 이전 강의에서 알려주신 내용과 같이 BeautifulSoup를 이용하여 추출을 시도했을 때 반복문이 제대로 실행되지 않는 문제가 있어 문의드립니다.나무태그를 나름 찾아봤는데 이 부분에 문제가 있을까요? 확인 부탁드립니다 ㅠㅠ 감사합니다!
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
메일 자동화 로그인 중복방지문자해결 오류 및 명시적 대기 질문
안녕하세요강사님 덕분에 그동안 무척 배우고 싶었던 크롤링과 데이터 수집 방법에 대해 많이 배우고 있어서 감사할 따름입니다. 다름이 아니라 네이버 자동화 로그인 과정에서 중복방지문자가 계속 나타나서 질문 드립니다. time.sleep으로 시간도 길게 했고, 시간을 충분히 가진 후(이틀 후)에도 시도했으나 계속해서 중복방지문자가 나타나서 질문드립니다.혹시 이제 클립보드 복사 붙여넣기의 로그인 방법이 막힌건가요? 그리고 마지막으로 코드 전체를 합쳐서 실행했을 때 ElementClickInterceptedException, NoSuchElementException 오류가 계속 나타나 오류가 뜨는 대부분의 버튼에 명시적 대기를 걸어줬는데, 이렇게 코드를 한꺼번에 실행하려 했을 때는 대부분의 과정마다 모두 명시적 대기를 걸어줘야 하는지도 궁금합니다! user_id = "************" user_pw = "************" # 셀레니움 기본 템플릿 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import time import pyperclip import random # 크롬 드라이버 생성 driver = webdriver.Chrome() # 페이지 이동 driver.get("https://nid.naver.com/nidlogin.login?mode=form&url=https://www.naver.com/") random_sec = random.uniform(3, 5) # 아이디 입력 id = driver.find_element(By.CSS_SELECTOR, "#id") pyperclip.copy(user_id) id.send_keys(Keys.CONTROL, 'v') time.sleep(random_sec) # 비밀번호 입력 pw = driver.find_element(By.CSS_SELECTOR, "#pw") pyperclip.copy(user_pw) pw.send_keys(Keys.CONTROL, 'v') pw.send_keys(user_pw) time.sleep(random_sec) # 로그인 버튼 클릭 driver.find_element(By.CSS_SELECTOR, "#log\.login\.text").click()from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver.switch_to.window(driver.window_handles[0]) # 네이버 메인 페이지 이동 driver.get("https://www.naver.com") # 드롭다운 메뉴 클릭 driver.find_element(By.CSS_SELECTOR, "#account > div.MyView-module__my_menu___eF24q > div > div > ul > li:nth-child(1) > a > span.MyView-module__item_text___VTQQM").click() # driver.implicitly_wait(10) -> 암시적 대기는 요소가 나타날 때까지만 기다려주는 것일뿐, 클릭가능한상태까지 기다려주진않음 wait = WebDriverWait(driver, 5) # 메일함 버튼 클릭 # driver.find_element(By.CSS_SELECTOR, "#account > div.MyView-module__layer_menu_service___NqMyX > div.MyView-module__service_sub___wix9p > div.MyView-module__sub_left___AIWHR > a").click() # -> 이 코드에서 오류가 뜨는 이유는 드롭다운 메뉴가 나타나기도 전에 이 코드가 실행돼서 그럼 -> 명시적 대기를 걸어줘야 함 mail_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "#account > div.MyView-module__layer_menu_service___NqMyX > div.MyView-module__service_sub___wix9p > div.MyView-module__sub_left___AIWHR > a"))) # -> 요소를 찾아 클릭가능한 상태까지 최대 5초간 기다려줌 # mail_button.click() driver.execute_script("arguments[0].click();", mail_button) # 새창으로 전환 driver.switch_to.window(driver.window_handles[1]) # 메일쓰기 버튼 클릭 # driver.find_element(By.CSS_SELECTOR, "#root > div > nav > div > div.lnb_header > div.lnb_task > a.item.button_write").click() write_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "#root > div > nav > div > div.lnb_header > div.lnb_task > a.item.button_write"))) write_button.click() receiver = "wjddudtn1618@naver.com" # 받는사람 입력 # receiver_blank = driver.find_element(By.CSS_SELECTOR, "#recipient_input_element") # receiver_blank.click() receiver_blank = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#recipient_input_element"))) receiver_blank.click() receiver_blank.send_keys(receiver) # 제목 입력 title = "안녕" title_blank = driver.find_element(By.CSS_SELECTOR, "#subject_title") title_blank.click() title_blank.send_keys(title) # iframe으로 전환 iframe = driver.find_element(By.CSS_SELECTOR, "#content > div.contents_area > div > div.editor_area > div > div.editor_body > iframe") driver.switch_to.frame(iframe) body = "메일 자동화 프로그램 테스트하는 중인데, 메일 리스트에 너가 있길래 한번 보내봤어" body_blank = driver.find_element(By.CSS_SELECTOR, "body > div > div.workseditor-body > div.workseditor-content") body_blank.click() body_blank.send_keys(body) # 원래 페이지로 전환 driver.switch_to.default_content() # 메일 보내기 driver.find_element(By.CSS_SELECTOR, "#content > div.mail_toolbar.type_write > div:nth-child(1) > div > button.button_write_task").click() # driver.find_element(By.CSS_SELECTOR, "#layer > div > div > div > div.button_area > div.button_area_inner > button.button_send").click() confirm_send_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "#layer button.button_send"))) confirm_send_button.click()
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
강의 노트가 어디에 있는건가요?
섹션2의 3. 형제들 중 선택하기를 보고있습니다. 1분 44초 쯤에 사이트링크는 강의노트에 있습니다. 라고 나오는데요, 강의노트를 못찾고 있습니다. 어디에 있는지 알 수 있을까요? 감사합니다.
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
강의 커리큘럼 질문
강의 구매 시점에는 네이버 쇼핑 크롤링도 포함되어 있었던건데 카카오로 대체된 건가요?현 시점에서 네이버쇼핑 크롤링 할 방법은 없을까요?
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
조건문 else 사용하지 않는 이유
안녕하세요, 수강 중 문의사항이 있어 질문 남깁니다. 알고리즘에 따라 무한 스크롤 처리 방법을 실행하는 과정에서,scroll 전과 후의 높이가 같은지 비교를 위해if last_height == new_height: breaklast_height = new_height 라고 안내해주셨는데요,if 조건문이 False인 경우 last_height를 업데이트 하는 것이니 else : last_height = new_height라고 작성해야 하지 않을까 하는 생각이 드는데 혹시 else를 사용하지 않은 이유가 있나요..?답변 부탁드립니다. 감사합니다!
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
셀레니움으로 접근할 수 없는 경우
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 상황1) 동적 페이지여서 셀레니움을 사용하려고 했음2) 셀레니움으로 접근 시 '사람임을 확인하라'는 메시지만 뜨고 더 이상 작업을 할 수 없음 이런 경우에는 아래 방법으로 진행을 해야 할까요?1) 크롤링 원하는 페이지에 접속2) 개발자 도구에서 Copy > Copy Element 로 HTML 코드 복사3) HTML 코드에서 원하는 부분을 추출하는 파이썬 코드를 사용4) 1~3 과정을 반복해서 봐야 하는 페이지가 많다면 자동화할 수 있는 방법이 있을지?
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
웹페이지 변경
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요. 해당 웹페이지 변경으로 공지글과 하단 일반글이 둘다 <tbody>로만 되어있고, 확인되는 class태그인 article, board-list, inner-list 가 모두 동일한데 어떻게 구분해서 크롤링 할 수 있을까요?
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
자바스크립트로 태그 선택 시 질문입니다.
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요. 해당 강의에서 아래 2가지 방법으로 '50개씩' 선택하는 법을 알려주셨는데, 드롭박스 선택 후 > 50개씩 선택드롭박스 선택 없이 자바스크립트로 50개씩 선택근데 2번의 경우, 자바스크립트 인자로 element를 보내야해서 먼저 element 선언을 해줘야하는데, 드롭박스 클릭을 하지 않으면 여전히 element 찾는 과정에서 NoSuchElementException 오류가 납니다. 드롭박스를 열어야 하는건가요 ..? 그렇다면 1번과 차이가 무엇인지 궁금합니다!
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
선생님 강의중에서 sqlite3 강의를 제공한 강의가 있나요?
지금 강의에 대한 질문은아니고,선생님 강의를 여러개를 구매했는데, 선생님 강의중에서 sqlite3를 설명해주신 강의가 있던거 같은데, 오늘 오랜만에 보려고 하니까 못찾겠더라구요.. 그래서 제 기억이 틀린건지. 아니면 못찾는건지 궁금해서 문의드립니다.
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
수료증은 어떻게 받나요?
완강했는데 수료증은 어떻게 받나요?
-
해결됨파이썬으로 뭘 만들지? 남박사의 파이썬 알쓸파잡
카카오맵 API 를 사용해서 내컴퓨터의 갤러리맵 만들기
해당 강의를 해볼려고 해도 카카오 개발자 사이트에서 'Web 플랫폼 등록'탭이 없는데다른 방법이 없나요?
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
class명을 활용하여 선택자를 만들지 않는 경우..?
안녕하세요,class 안에 띄어쓰기 및 특수문자가 있는 경우 선택자를 만드는 방안에 대하여 설명해주셨는데요,사진과 같이 dt > a를 활용하여서도 제목과 링크주소를 뽑아낼 수 있는 것으로 확인하여서요!혹시 꼭 class명을 활용하여 선택자를 만들어야 하나요? dt >a 로도 원하는 내용을 추출할 수 있다면 사진과 같은 방향으로 해도 크롤링 진행에 문제가 없는지 궁금합니다.
-
미해결[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
연습용 예제 파일
- 강의 영상에 대한 질문이 있으시면, 상세히 문의를 작성해주시면, 주말/휴일 제외, 2~3일 내에 답변드립니다 (이외의 문의는 평생 강의이므로 양해를 부탁드립니다.)- 강의 답변이 도움이 안되셨다면, dream@fun-coding.org 로 메일 주시면 재검토하겠습니다. - 괜찮으시면 질문전에 챗GPT 와 구글 검색을 꼭 활용해보세요~- 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요. 강의 예제를 학습 할 때, 연습 파일명이 구분이 잘안되어서....강의를 보며, 학습할 때는 괜찮은데, 넘버링으로 체계적으로 정리가 안되니, 리뷰하기가 힘든 것 같습니다 ㅠ
-
미해결ChatGPT 실무에 100% 활용하기
수업 영상 소리
제 자리에서만 그런건가요?수업 영상 대부분이 소리가 너무 작습니다.어쩌나 1~2번 크게 들리는 강의는 있는데 해결책이 있으면 회신 부탁드립니다..
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
드라이버가 안 열려요
-
미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
15.1 네이버 부동산 사이트 개발자도구 실행시 현상 문의
네이버 부동산 사이트를 실행하고 "확인매물보기" 버튼 클릭 후 나온 화면에서개발자도구 를 켜면 첨부한 이미지와 같이 나오는데요. 개발자도구를 실행하면 사이트가 막히는 현상인 것 같아요. 이것을 해결할 수 있는 방법이 뭐가 있나요?
-
미해결ChatGPT 실무에 100% 활용하기
google colab 실행 오류 문의
google colab 오픈 하여 새노트를 열면로드 에러가 발생합니다.어떻게 해야 하나요?=============================A network error occurred and the request could not be completed.GapiError: A network error occurred and the request could not be completed. at $L.PE [as constructor] (https://ssl.gstatic.com/colaboratory-static/common/a17fd496db698d4637390557595457ce/external_binary_l10n__ko.js:1733:732) at new $L (https://ssl.gstatic.com/colaboratory-
-
미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
requirments 설치 시 오류
Preparing metadata (setup.py) ... error error: subprocess-exited-with-error × python setup.py egg_info did not run successfully. 이런 오류가 납니다.