내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
안녕하세요 선생님 근 1개월 동안 파이썬 기초 부터 크롤링 까지 공부를 계속하면서 공부했습니다 그래서 우선부동산 데이터 크롤링 하는것부터 하고 있는데요 대구 / 경북 지역의 부동산 단지정보를 수집하자 라는 목표로 우선 프로그램을 짜고 있습니다. 네이버 부동산의경우 해당 지역 대구시 > 남구 > 대명동 일경우 타 동의 정보도 화면에 노출되어 타 동의 단지정보도 같이 나타나게 되는것을 확인하였습니다 . 그래서 작업방식은 단지정보 수집을 위한 코드 값은 모바일 m.land.naver.com에서 수집하고 이때 수집된 단지 정보로 상세정보를 수집하기로 하였습니다 우선 단지정보수집을 위해서 아래와 같이 코드를 작성하였는데요 for문에서 오류가 발생하네요 기초정보를 출력하는 코드들은 수업에서 배운내용으로 테스트가 끝난 상태입니다 아래 코드에서 발행하는 문제에 대해서 조언을 부탁드리겠습니다 %matplotlib inline from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all" import pandas as pd pd.set_option('display.float_format', lambda x: '%.3f' % x) pd.set_option('max_columns', None) import requests import bs4 import time import numpy as np from datetime import datetime from selenium import webdriver driver = webdriver.Chrome() driver.get("https://m.land.naver.com") from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC headers = { "Connection": "keep-alive", "Host": "m.land.naver.com", "authorization": "Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpZCI6IlJFQUxFU1RBVEUiLCJpYXQiOjE2MjMyMzkyMzksImV4cCI6MTYyMzI1MDAzOX0.gdgEApo9bDG5IsSsYDWWeHlAN9LtNh6ejEARMS0FGL8", "Referer": "Referer: https://m.land.naver.com/", "Sec-Fetch-Dest": "empty", "Sec-Fetch-Mode": "cors", "Sec-Fetch-Site": "same-origin", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.67 Safari/537.36", } comid = 2700000000 #대구광역시 코드 mycomid = 2700000000 url = "https://m.land.naver.com/map/getRegionList?cortarNo={}&mycortarNo={}".format(comid,mycomid) res_reg = requests.get(url, headers=headers) print(res_reg) data_dict = res_reg.json() data_dict #데이터 확인하기 region_list_df = pd.Series(data_dict['result']).to_frame().T region_list_df #내부에 파일이 묶여져 있어서 리스트만 뽑아올 필요가 있다 region_list_df['list'] nested_df1 = pd.DataFrame(region_list_df['list'].iloc[0]) nested_df1 #내부에 있는 데이터만 뽑아서 확인하기 cartNuns = nested_df1['CortarNo'] nested_list = list(cartNuns) #아파트코드만 뽑아오기 ---------------------- for i in nested_list: comid_st = i url = "https://m.land.naver.com/map/getRegionList?cortarNo={}".format(comid_st) res_reg = requests.get(url, headers=headers) data_dict = res_reg.json() region_list_df = pd.Series(data_dict['result']).to_frame().T nested_df1 = pd.DataFrame(region_list_df['list'].iloc[0]) nested_df1 요부분이 에러가 나옵니다
학습하는 분들께 도움이 되고, 더 좋은 답변을 드릴 수 있도록 질문전에 다음을 꼭 확인해주세요. 1. 강의 내용과 관련된 질문을 남겨주세요. 2. 인프런의 질문 게시판과 자주 하는 질문(링크)을 먼저 확인해주세요. (자주 하는 질문 링크: https://bit.ly/3fX6ygx) 3. 질문 잘하기 메뉴얼(링크)을 먼저 읽어주세요. (질문 잘하기 메뉴얼 링크: https://bit.ly/2UfeqCG) 질문 시에는 위 내용은 삭제하고 다음 내용을 남겨주세요. ========================================= [질문 템플릿] 1. 강의 내용과 관련된 질문인가요? (예/아니오) 2. 인프런의 질문 게시판과 자주 하는 질문에 없는 내용인가요? (예/아니오) 3. 질문 잘하기 메뉴얼을 읽어보셨나요? (예/아니오) [질문 내용] 여기에 질문 내용을 남겨주세요 안녕하세요. 타임리프쪽 따라하고있는데, 영한님 처럼 ctrl 하고 ${member.id} 를 클릭하면 연동되어있는 id로 이동이 안됩니다. 원래 안되는건가요?? 실행은 잘되고, 8080에 값도 잘 찍힙니다. 타임리프 문법에 마우스를 올리면 no documentation found 라고 뜹니다.
[리뉴얼] 처음하는 MongoDB(몽고DB) 와 NoSQL(빅데이터) 데이터베이스 부트캠프 [입문부터 활용까지] (업데이트)
몽고 db에서 실행 명령문 knowledge_it.find({author : /Dave/})은 이름이던 성이던 Dave 가 들어간 모든 document를 찾을 수 있는데, 이 명령문을 파이썬으로는 어떻게 실행해야 하는지와 혹시 'author'를 'name'으로 변경 할 수 있는 방법에 대해서도 알려 주시면 감사하겠습니다. 참 그리고 Sudio3가 one month free 후 유료로 전환되는것 같은데.. 다른 무료 툴이 있음 추천 바랍니다.
[개정판 2023-11-27] Spring Boot 3.x 를 이용한 RESTful Web Services 개발
User 객체를 다른 이름으로 바꾸면 해결됩니다. user가 예약어가 되었습니다. application.yml 파일에 아래처럼 설정하셔야 DML 전에 DDL 구문이 실행됩니다 또한 sysdate() 함수 말고 now()함수를 사용하셔야 합니다. jpa : show-sql : true defer-datasource-initialization : true
이번 멀티 체크박스를 넣을 때 보면 @ModelAttribute로 Map 자료구조의 regions 라는 객체를 모델에 넣어주고 또 model.addAttribute로 items 자료구조의 items라는 객체를 넣어줘서 Model에는 총 2개의 객체가 있는건가요 ? 모델에는 여러개의 객체가 공존할 수 있나요 ? 그냥 컨트롤러와 뷰를 연결시켜주는 데이터베이스라 생각하면되나요 ?
선생님 안녕하세요. 코드를 따라서 쳐보고 돌려봤는데 Uncaught TypeError TypeError: Cannot set properties of null (setting 'textContent') at onClickButton ( c:\FrontEnd\HTML\JSProject1.html:25:25 ) 라는 에러가 발생했습니다. 여러 해결법을 찾아보다가 선생님 전자책에 나와있는 코드를 그대로 복붙했는데도 같은 에러가 발생합니다. 도대체 뭐가 문제인지 모르겠네요ㅜㅜ
안녕하세요 기초강의를 듣고있는데 기존에 자바와 스프링의 강의를 수강은 해봤는데 기초편을 듣는데 이해를 잘못하는거같아서 ㅠㅠ 테스트부분부터 @responseboydy부분부터 갑자기 이해하기가 어려운데 정상인건지 반복해서 보면 이해가가는건지 다른걸 더 배워야되는지 감이 안잡힙니다 ㅠㅠ
[리뉴얼] 처음하는 파이썬 백엔드와 웹기술 입문 (파이썬 중급, flask[플라스크] 로 이해하는 백엔드 및 웹기술 기본) [풀스택 Part1-1]
안녕하세요 강의 flask로 Rest API 구현과 테스트 중에 httpie 설치하는게 나오는데요 설치 후 터미널에서 샘플코드 입력해도 아무반응이 없고 http만 입력해도 마찬가지 입니다 1~2초 후 아무것도 안뜹니다 win10환경 cmd는 관리자로 실행했고요 환경변수 path 는 ProgramData안에 Anaconda3의 Scripts에 http.exe 있길래 추가했습니다 pip show httpie 치면 버전은 3.2.1로 나옵니다 파이썬은 3.7이고요 해결방법이 있을까요?
안녕하세요 강사님 좋은 강의 감사드립니다. 뷰 리졸버와 뷰에 관한 강의를 들으며 궁금한 것이 생겨 질문 남깁니다. 최근 SPA + Spring boot를 혼합하여 개발하는 방식을 많이 사용하는 것으로 알고 있습니다. jsp와 타임리프 각각에 대한 뷰 리졸버/뷰가 존재한다고 하는데 React나 Vue같은 경우는 뷰 리졸버와 뷰가 따로 존재하지 않는지 궁금합니다..! React나 Vue를 이용하여 프론트 엔드를 개발한다면 Spring은 Rest API 기능만 제공하면 되는 것인가요? 확인해주시고 답변 주시면 정말 감사드리겠습니다. 감사합니다!
[질문 템플릿] 1. 강의 내용과 관련된 질문인가요? (예/아니오) 2. 인프런의 질문 게시판과 자주 하는 질문에 없는 내용인가요? (예/아니오) 3. 질문 잘하기 메뉴얼을 읽어보셨나요? (예/아니오) 안녕하세요 혹시 강사님이 수업중에 보시는 강의자료는 어디서 받아볼 수 있을까요??
#!/bin/bash ##v.2.0 export IP1="0" export IP2="0" export IP3="0" export DATE=$(date +"%F") PS3="Select the option " select char in "1, Check IP" "2, IP List" "3, Exit" #"4"# do case $char in 1*) read -p "Enter IP xxx.xxx.xxx. > " -t 20 IP1 read -p "Enter start IP xxx > " -t 20 IP2 read -p "Enter last IP xxx > " -t 20 IP3 echo -e "\033[32;1m"IP Checking!"\033[0m" while [[ $IP2 -lt $IP3 ]]; do ping -c 1 -w 1 $IP1$IP2 > /dev/null if [[ $? == 0 ]]; then echo $IP1$IP2 is In-use. >> /tmp/ip_list_$DATE ; else echo $IP1$IP2 is Dead or Available. >> /tmp/ip_list_$DATE ; fi IP2=$(($IP2+1)) done echo -e "\033[31;1m"IP Check well done! please verify IP"\033[0m" ;; 2*) grep -q Avail* 2> /dev/null < /tmp/ip_list_$DATE if [[ $? == 0 ]]; then grep -r --color=always Available /tmp/ip_list_$DATE | sort -u else echo -e "\033[31;3m"There is no available IP"\033[0m" fi ;; 3*) echo "Good bye"; exit 0 ;; #4*) echo "You choose not yet menu it will be add section coming soon asap" ;; *) echo "!!Error select correctly number!!" esac done 위와 같이 실행시 결과 값 [root@hlldvc ddrec]# ./ipcheck.sh 1) 1, Check IP 2) 2, IP List 3) 3, Exit Select the option 이와 같이 1)1, 숫자가 중복이 되는 현상이 발생합니다. 미관상 좋지 않아보여 중복 제거를 위해 여러 방법을 시도해 보는중이지만 잘 되지 않습니다. 혹시 다른 방법이 있을까요..?
빨간줄에 마우스대보니까 이런게 뜨네요 Multiple annotations found at this line: - Invalid element name: - url-pattern One of the following is expected: - servlet-name Error indicated by: {http://xmlns.jcp.org/xml/ns/javaee} with code: - cvc-complex-type.2.4.a: Invalid content was found starting with element 'url-pattern'. One of '{"http://xmlns.jcp.org/xml/ns/javaee":servlet-name}' is expected.
