내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)대시보드
60,500원
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
네이버 주식 데이터
안녕하세요. 네이버 주식 데이터가 크롤링이 막혔다는 소리를 들었습니다. 그래서 강의에서 배운 내용을 적용할 수 없는 거 같은데 맞나요? 제가 못 찾고 있는지 궁금해서 질문 남깁니다~
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
instagram 좋아요 작동오류 인가요??
안녕하세요;; 기존 오류를 처리하려다,, like_button 을 driver.find_elements_by_css_selector("div.QBdPU svg[aria-label='좋아요']")[0] 이 아닌, driver.find_elements_by_css_selector("div.eo2As button.wp06b") 로 입력해서 처리하니, 좋아요가 눌리네요 혹시 이렇게 진행하면 발생하는 문제점? 또는 아래 기존 질문의 다른 처리방안이 있는지 궁금하니다 ㅠ 감사합니다 -----------------------------------------------------기존 질문 안녕하세요!! 지식공유자님의 강의를 열심히 수강하고 있는 초보 수강생입니다. 14.1 팔로우 & 좋아요 자동화 수강중에 팔로우까지는 문제없이 진행됬는데, 좋아요 누르기에서 진행이 안됩니다; 우선 오류(?)내용으로는 like_button.click() 실행 후 아래와 같이 뜹니다; ElementNotinteractableException Traceback (most recent call last) * driver.find_elements_by_css_selector("div.QBdPU svg[aria-label='좋아요']")[0] 을 text로 실행시키면 하트모양이라 그런지 '' 이렇게 출력이 되는데 이건 상관없을까요? 강의중에 이미 좋아요가 눌린 상태에서 같은 오류가 발생하는 걸 봤는데, 전 아직 좋아요 상태가 아닙니다 ㅠ 답변 부탁드립니다..
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
셀레니움 질문있습니다.
안녕하세요 궁금한점이 있습니다. 응용을 해볼려고 하는데 하루동안 고민해봤는데 도저히 해답을 못찾겠어서 질문드립니다. 첫번째 사진처럼 시간표 형태로 있을 때 네번재열에서 중간부분을 선택하고 싶을 때 어떻게 해야 할지 잘모르겠습니다. 표는 tr td로 구분되어있는데 4번째 열에서 중간부분 row를 선택할 때 로직이 구해지지가 않습니다. 중간부분 row 선택할 때는 follow_button=driver.find_elements_by_css_selector("div.container > a")[0] follow_button.click() 을 눌렀는데 1번째열에 맨처음 row가 선택되어서요;; 4번째 열에서만 선택하게 하고 싶을 때는 어떻게 해야하나요? 4번째 td를 선택하기 위해 4번째 td에서 pull xpath를 복사해와서 ex)xpath=/html/body/div[4]/div[3]/div/div[2]/div[1]/div[2]/div/table/tbody/tr/td/div[3]/table/tbody/tr/td[7]<-변수 대입 자체로 에러가 납니다. driver.find_element_by_xpath(xpath)&&find_elements_by_css_selector("div.container > a")[0] follow_button.click() 했는데 문법오류가 나오더라구요. 특정 4번째열에 div.container > a만 선택하게 할 수 있는방법이 있나요? ROW데이터는 시간마다 바뀌어서 지목할 데이터 XPATH를 따와서 선택할 수 도 없더라구요.. 그래서 TR부분의 XPATH를 따올려고 하는건데 TR부분의 XPATH를 따오는 것만으로 인벨리드 에러라고 나와서 구글링 해봐도 안나와서 질문드립니다. HTML에서 첫번째열부터 다섯번째줄까지 DIV클래스가 동일합니다.
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
네이버 부동산 크롤링만 하고 싶은데 앞의 주식 크롤링 강의 예제를 다 봐야지 할수 있는걸까요?
네이버 부동산 크롤링만 하고 싶은데 앞의 주식 크롤링 강의 예제를 다 봐야지 할수 있는걸까요? 네이버 부동산 크롤링에 필요한 내용이 혹시 주식 크롤링 강의에 있는지 궁금합니다. 중간 주식 강의는 듣고 싶지 않아서요~
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
yahoo finance 일별 시세데이터 크롤링 시 오류?
안녕하세요~! 좋은 강의 감사합니다. 7.1 강의를 듣다가 yahoo fin~ 일별데이터 크롤링 시, url을 제대로 입력했음에도 결과가 0 will be right back ... Thank yo for ~ 이런식으로 나오는데 왜 이렇게 나오는지 궁금합니다 ㅠ requests.get(url).text 로 해당 url을 불러내도 안에 tabel(시세 데이터)가 나오지 않네요.. 그래서 그런지 network 상에 ctrl+F를 눌러 위치?를 찾도록 가르쳐주신 방법으로도 일치하는 결과가 없다고 나옵니다.. 감사합니다.
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
강의 15.1 네이버 부동산 사이트 데이터 파악하기 part1
-선생님 강의 잘 듣고 있습니다. 강의 15.1 네이버 부동산 사이트 데이터 파악하기 part1 중 authorization 삭제하지 않고, 그대로 실행하였는데 데이터를 가져올 수 없네요.
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
안녕하세요 라즈베리파이?
안녕하세요~ 라즈베리파이를 이용해서 규칙적인 자동화를 돌릴수있는 부분도 강의 섹션에 있다는 걸로 봣는데 완강했지만 해당 부분을 찾을 수 없어서요~ 혹시 참고할만한 부분 있을까요? 아니면 구글링 해야할까요?
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
안녕하세요.
안녕하세요. beautifulsoup 에러가 나서 수업진행이 안되고 있습니다. 강의에 나온 것처럼 전부 설치해서 하고 있는데 아래와 같은 에러가 나네요. --------------------------------------------------------------------------- NameError Traceback (most recent call last) <ipython-input-2-279d3c8e6e54> in <module> ----> 1 type(soup) NameError: name 'soup' is not defined 어떻게 해결해야 좋을까요..?
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
find 강의 질문입니다.
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 관련 문의는 1:1 문의하기를 이용해주세요. 강의에서는 사진 1처럼 같은 결과값이 나오는 문법이라 하셨는데 [사진2]23과 24열을 같은 결과값이 나오지 않습니다. 왜그런지 알수있나요?
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
select강의 질문입니다.
soup=bs4.BeautifulSoup(res.text,"lxml") ul_elements=soup.select("ul.lst_total") len(ul_elements) type(ul_elements) ul_elements=ul_elements[0] type(ul_elements) li_elements=ul_elements.select("li") len(li_elements) ------------------------------------------------------------------------------ li_elements1=soup.select("ul.lst_total li") len(li_elements1) <사진1첨부> 1. 점선 위에 부분은 리절트셋에 (객체(tag)안에 li)를 바로 사용하지 못해 tag라는 객체안에서 li를 뽑아낸다.는 방법이고 점선 아래는 CSS를 사용하여 자손 li까지 추출하는것 같은데 점선 위는 결과값이 9가 나오고 점선아래는 19가 나오는 이유가 궁금합니다. 강의에서는 점선위에값과 아래값 결과값이 동일해서요. 2. li_elements2=soup.select("ul.lst_total>li.bx") len(li_elements2) 13으로 나오는데요. 근데 코드봐도 bx로 시작하는 클래스(사진2)는 없는데 왜 13으로 나오나요? 또 bx로 검색해도 안나와서요. 3. 클래스 2개일 때 구분이 띄어쓰기 _이거인가요?
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
select 강의 질문있습니다.
-soup=bs4.BeautifulSoup(res.text,"lxml") ul_elements=soup.select("ul.lst_total") len(ul_elements) >2 len(ul_elements) 실행할 시 2가 나오는데 2라는것은 lst_total와_list_base 2개가 있어서 2로 나오는건가요?
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
주피터 노트북 실행시 질문입니다.
주피터 노트북 실행시 질문입니다. 1. jupyter-lab 실행 시 'jupyter-lab'은(는) 내부 또는 외부 명령, 실행할 수 있는 프로그램, 또는 배치 파일이 아닙니다. jupyter -lab usage: jupyter [-h] [--version] [--config-dir] [--data-dir] [--runtime-dir] [--paths] [--json] [--debug] [subcommand] jupyter: error: one of the arguments --version subcommand --config-dir --data-dir --runtime-dir --paths is required 이게 나옵니다. 안되는 이유가 궁금합니다. 2. 부모폴더(user)로 이동할려고 지정된 경로를 찾을 수 없습니다. 라고 나오는데 왜그런건가요? 3. 제가 주피터 노트북을 d드라이브에 설치하여서 cd로 D;juypter_notebook을 이동할려고 해도 다시 사진 처럼 c드라이브로 원상복구 되는데 이것은 왜그런건지 궁금합니다. 4. 탐색창에 주피터 노트북 아이콘을 클릭해서 실행하면 제대로 작동이되는데 프롬프트에서 실행하면 안되는 이유가 궁금합니다.
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
오류 해결이 안되네요
이틀째 해결을 못하고 있네요 혹시 빠진 데이타가 있나해서 순서대로 입력해도 같은 오류가 나네요 a_element = li_element.select("div.total_wrap > a") type(a_element) bs4.element.ResultSet a_element = li_element.select("div.total_wrap > a")[0] type(a_element) --------------------------------------------------------------------------- IndexError Traceback (most recent call last) <ipython-input-89-7b9166b2d17d> in <module> ----> 1 a_element = li_element.select("div.total_wrap > a")[0] 2 type(a_element) IndexError: list index out of range
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
개발도구 페이지 network preview 나 network response Json 가져오는법
안녕하세요 유용한 강의 감사드립니다. 강의내용과는 무관합니다만.. 크롤링관련 막히는 부분이있어 조언을 얻고자 문의드립니다. 강의를 전부 듣고 업무에 활용하고자 회사 클라우드 서버의 erp 데이터를 가져오려고 합니다만. souce code 상에는 "You need a browser which full supports HTML5 Canvas to run SpreadJS" 라는 문구와 함께 데이터가 표기가 안되어.. 확인해본결과. 아래와 같이 Network 탭의 Response 나 Preview 탭에 원하는 데이터가 있는 것을 발견하였습니다. 아래 데이터를 받아노는 방법이있나요??. 보안문제로 selenium을 통해서 페이지에 접근을 해야하며.. selenium-wire를 통해 현재 페이지의 payload 까지 가져오는데는 성공하였습니다.
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
json으로는 데이터를 가져올 수 있는데 requests select로 찾을 수 없는경우는?
마지막 수업까지 잘 들었습니다. 이것을 어떻게 활용할지는 제 역량인것 같네요. 제목과 같이 json 형식으로 데이터는 가져올 수 있는데 select로 찾을려고 하면 찾을 수 없습니다. iframe 구조인것 같은데 주소를 어떻게 찾아야 할 지 모르겠습니다. 제가 가져올려고 하는 데이터는 다음과 같습니다. '다방'이라는 부동산 정보 사이트고요 이중 특정 '공인중개사' url로 들어갑니다. https://www.dabangapp.com/room/6098cb714ea1405f11888d94 이중 room 뒤에 있는 6998~~~이 중개사 고유번호 입니다. 이 사이트에서 특정 방의 데이터를 가져올려고 하면 직접을 가져올 수 없고 개발자도구, 네트워크에서 request url을 통하여 json으로 받아올 수는 있습니다. 그런데 res.text 문구를 살펴보면 찾고자 하는 단어 들은 있는것 같은데 soup.select('div') 이런 명령어를 실행하면 빈 리스트만 나옵니다. 어떻게 하면 select로 찾을 수 있을까요? 참고로 첨부 아래는 제가 구현한 코드입니다. agent = { '좋은방다나와' : '5c7618ea1ffadb68b5da64e3', '스마트' : '586f674024a93357d00dbcbd', '조은' : '56a194f7ef02fd5dad87063f', '런' : '581976532553ed2bee2d785e' } for item in agent.items(): id_list = [] for page in range(1,10): url = 'https://www.dabangapp.com/api/3/room/list/agent?api_version=3.0.1&call_type=web&id={}&page={}&version=1'.format(item[1], page) res = requests.get(url) data_dict = res.json() for data in data_dict['rooms']: if len(data_dict['rooms']) == 0: break else: each_id = data['id'] id_list.append(each_id) time.sleep(1) columns = ['유형', '전월세', '보증금', '월세', '면적', '관리비', '확정일', '층', '전체층', '방수', '욕실수', '난방', '빌트인', '주차수', '승강기', '애완동물', '발코니', '입주가능일', '타이틀', '메모', '주소'] total_room_inform_list = [] for id in id_list: url1 = 'https://www.dabangapp.com/api/3/room/detail2?api_version=3.0.1&call_type=web&room_id={}&version=1'.format(id) res1 = requests.get(url1) room_inform = res1.json()['room'] room_inform_list = [] room_inform_list.append(room_inform['room_type_str']) if room_inform['price_info'][0][2] == 0: room_inform['price_info'][0][2] = '월세' elif room_inform['price_info'][0][2] == 1: room_inform['price_info'][0][2] = '전세' room_inform_list.append(room_inform['price_info'][0][2]) room_inform_list.append(room_inform['price_info'][0][0]) room_inform_list.append(room_inform['price_info'][0][1]) room_inform_list.append(room_inform['room_size']) room_inform_list.append(room_inform['maintenance_cost_str']) room_inform_list.append(room_inform['confirm_date_str']) room_inform_list.append(room_inform['room_floor_str']) room_inform_list.append(room_inform['building_floor_str']) room_inform_list.append(room_inform['beds_num']) room_inform_list.append(room_inform['bath_num']) room_inform_list.append(room_inform['heating']) room_inform_list.append(room_inform['built_in_str']) room_inform_list.append(room_inform['parking_num']) room_inform_list.append(room_inform['elevator_str']) room_inform_list.append(room_inform['animal_str']) room_inform_list.append(room_inform['balcony_str']) room_inform_list.append(room_inform['moving_date']) room_inform_list.append(room_inform['title']) room_inform_list.append(room_inform['memo'].replace('\n', ' ').replace(',', ' ')) room_inform_list.append(room_inform['full_jibun_address2_str']) total_room_inform_list.append(room_inform_list) time.sleep(1) df = pd.DataFrame(total_room_inform_list, columns=columns) df = df.set_index('주소') filename = item[0] + '_' + time.strftime('%Y%m%d') + '.xlsx' df.to_excel(filename) time.sleep(1) /www.dabangapp.com/api/3/room/detail2?api_version=3.0.1&call_type=web&room_id=6098cb714ea1405f11888d94&version=1 https://www.dabangapp.com/api/3/room/detail2?api_version=3.0.1&call_type=web&room_id=6098cb714ea1405f11888d94&version=1 https://www.dabangapp.com/api/3/room/detail2?api_version=3.0.1&call_type=web&room_id=6098cb714ea1405f11888d94&version=1 https://www.dabangapp.com/api/3/room/detail2?api_version=3.0.1&call_type=web&room_id=6098cb714ea1405f11888d94&version=1
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
datetime to timestamp
자료 중에 datetime을 timestamp로 변경시 period1_ts = period1.strftime('%s') 하니 에러가 납니다. 구글 검색하니 strftime의 %s(소문자 s) 아규먼트를 찾을 수 없었습니다. 그래서 대신에 period1_ts = int(datetime.timestamp(period1)) 하니 이상없이 작동합니다. 좋은 강의 감사합니다.
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
네이버 부동산 크롤링 헤더 오류
네이버 부동산 크롤링 작업 중 아래와 같은 오류가 계속 발생합니다. 어떻게 해결할 수 있나요?
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
셀레니움 임포트관련 초보적인 질문하나 남깁니다 ㅠ
선생님이 주신 셀레니움 파일에서 실행하면 작동할 때도 있고 안될때도 있고 제가 밑에 그림 처럼 직접 작성하면 저렇게 에러가 나거나 driver가 정의 되지 않았다고 에러가 뜨는데 선생님이 주신 파일과 어떤 차이고 있고 왜 에러가 뜨는건지 잘 모르겠습니다 ㅠ
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
명렁어가 두개다 작동하지 않는데 어떻게 해야하나요?ㅠ
open .bash profile open .zshrc 둘다 해보아도 파일이 존재하지 않는다고 나오네요 ㅠ
- 미해결내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
질문) 수업 전 설정해야 할 것들에 대해 질문합니다.
안녕하세요 선생님 수업을 이제 듣기 시작했습니다. 이전에 다른 강사님 파이썬 입문 강의를 들었기 때문에 당연 파이썬은 설치되어 있고 visual studio 설치해서 이용했습니다. 혹시 더 설치해야 할 내용을 어디서 볼 수 있을까요