173만명의 커뮤니티!! 함께 토론해봐요.
미해결
파이썬 셀레니움 고급편 (python selenium - 크롤링, 크롤러)
수강완료 후 다시보고 있는데 userAgent 정보에 있는 모바일 디바이스 정보와 디바이스에 맞는 동일 해상도로 크롤리 작업을 할 필요는 없을까 하는 의문이 듭니다. 예를 들어 a52s라는 모바일 디바이스로 크롤링을 한다면 해상도 2400 x 1080으로 화면을 띄우고 작업해여 하지 않나 라는거죠 포털 사이트에서 모바일 디바이스와 동일하지 않는 해상도로 작업하는 계정을 벤하지 않을까 걱정이 됩니다. ㅜㅜ
미해결
실시간 트렌드 홈페이지 개발(파이썬 크롤링 + Flask)
크롤링한 데이터 html에 보여주기 부분에서 다음 사이트에 있는 인기 순위를 가져올려고 했는데 사이트 업그레이드?때문인가 인기순위가 안보여요. 어떻게 하면 좋을까요?
미해결
[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
실행 파일을 생성시에 사용된 모든 파일이 동일 디렉토리에 있어야 하나요? (재활용을 위해 Function을 만들어서, Function 폴더에 저장함) 아래는 제가 작업했던 내용 및 에러입니다. ============================ Python 폴더 아래와 같이 폴더가 있습니다. Project GUI Function Project 폴더에 실행할 a.py 파일이 있고 a.py 에서는 GUI, Function 폴더에 있는 ui와 function 들을 사용합니다. vs code 상에서 실행하면 문제 없이 실행이 됩니다. 실행 파일을 만들기 위해 Project dir로 이동하고, 아래와 같이 실행하여 exe 파일을 생성했습니다. E:\python\Project> pyinstaller -w -F 네이버부동산_ 상가.py 파일을 실행하니 아래와 같이 나타납니다. import sys, os try: sys.path.append(os.path.dirname(os.path.abspath(os.path.dirname(__file__)))) except: notebook_dir = os.getcwd() sys.path.append(os.path.dirname(os.path.abspath(notebook_dir))) from PySide6.QtWidgets import QApplication, QWidget, QMessageBox from GUI.naverland_SG_ui import Ui_Form from GUI.Naver_map import * from Functions.Naver_land import * import sys import requests import json import math class MainWindow(QWidget, Ui_Form): def __init__(self): super().__init__() self.setupUi(self) self.file_path = os.getcwd() + r'\data' # 지역 초기화 self.loc1.clear() self.loc1.addItem('') self.loc2.clear() self.loc2.addItem('') self.loc3.clear() self.loc3.addItem('')
미해결
웹크롤링 with 파이썬
안녕하세요? pycharm 세팅에서 python interpreter 설정 시 설정한 패키지가 보이지 않아서요ㅠㅡㅠ 여러번 다시 따라했는데 안되는데 방법이 있을까요?ㅜ.ㅜ
미해결
[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
# 엑셀 저장 df.to _excel( 'naver_finance_crawling.xlsx' ) 이렇게 했을 때 TypeError Traceback (most recent call last) Cell In[25], line 2 1 # 엑셀 저장 ----> 2 df .to_excel('naver_finance_crawling.xlsx', engine_kwargs=None) File ~/anaconda3/lib/python3.10/site-packages/pandas/util/_decorators.py:333 , in wrapper (*args, **kwargs) 324 return func(*args, **kwargs) 326 kind = inspect.Parameter.POSITIONAL_OR_KEYWORD 327 params = [ 328 inspect .Parameter("self", kind), 329 inspect .Parameter(name, kind, default=None ), 330 inspect .Parameter("index", kind, default=None ), 331 inspect .Parameter("columns", kind, default=None ), 332 inspect .Parameter("axis", kind, default=None ), --> 333 ] 335 for pname, default in extra_params: 336 params .append(inspect.Parameter(pname, kind, default=default)) File ~/anaconda3/lib/python3.10/site-packages/pandas/core/generic.py:2417 , in to_excel (self, excel_writer, sheet_name, na_rep, float_format, columns, header, index, index_label, startrow, startcol, engine, merge_cells, inf_rep, freeze_panes, storage_options, engine_kwargs) 2294 @final 2295 @doc(storage_options=_shared_docs["storage_options"]) 2296 def to_json( (...) 2309 storage_options: StorageOptions = None , ... 2547 """ 2548 from pandas.io import json 2550 if date_format is None and orient == "table": TypeError : ExcelFormatter.write() got an unexpected keyword argument 'engine_kwargs' Output is truncated. View as a scrollable element or open in a text editor . Adjust cell output settings ... 이런 에러가 발생합니다. 열심히 구글링을 해보았지만, 답을 찾을 수 없어서 질문 남깁니다 ㅠㅠ python은 3.10 사용중이고 pandas는 1.3.5 사용중입니다.
미해결
내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
안녕하세요. 아래 코드에서 마지막 부분에서 에러가 발생하는데 찾아봐도 해결을 못하겠습니다. # 최종 데이터 합치기 df1 = pd.concat(df, ignore_index=True) --------------------------------------------------------------------------- InvalidIndexError Traceback (most recent call last) Cell In[89], line 2 1 # 최종 데이터 합치기 ----> 2 df1 = pd.concat(df, ignore_index=True) File ~\anaconda3\Lib\site-packages\pandas\core\reshape\concat.py:393, in concat(objs, axis, join, ignore_index, keys, levels, names, verify_integrity, sort, copy) 378 copy = False 380 op = _Concatenator( 381 objs, 382 axis=axis, (...) 390 sort=sort, 391 ) --> 393 return op.get_result() File ~\anaconda3\Lib\site-packages\pandas\core\reshape\concat.py:676, in _Concatenator.get_result(self) 674 obj_labels = obj.axes[1 - ax] 675 if not new_labels.equals(obj_labels): --> 676 indexers[ax] = obj_labels.get_indexer(new_labels) 678 mgrs_indexers.append((obj._mgr, indexers)) 680 new_data = concatenate_managers( 681 mgrs_indexers, self.new_axes, concat_axis=self.bm_axis, copy=self.copy 682 ) File ~\anaconda3\Lib\site-packages\pandas\core\indexes\base.py:3875, in Index.get_indexer(self, target, method, limit, tolerance) 3872 self._check_indexing_method(method, limit, tolerance) 3874 if not self._index_as_unique: -> 3875 raise InvalidIndexError(self._requires_unique_msg) 3877 if len(target) == 0: 3878 return np.array([], dtype=np.intp) InvalidIndexError: Reindexing only valid with uniquely valued Index objects ============================ df = [] articleNos = ['2433459189','2433504511'] for articleNo in articleNos: ind_url = f'https://new.land.naver.com/api/articles/{articleNo}?complexNo=' res = requests.get(ind_url, headers=headers) ind_dict = res.json() article_df = pd.Series(ind_dict['articleDetail']).to_frame().T # articleDetail_df = articleDetail_df[['articl/eNo','articleName','buildingTypeName','realestateTypeName', 'tradeTypeName', 'cityName','divisionName', 'sectionName', 'etcAddress', 'monthlyManagementCost', 'buildingName']] if 'articleFloor' in ind_dict.keys(): articleFloor_df = pd.Series(ind_dict['articleFloor']).to_frame().T article_df = pd.concat( [ article_df, articleFloor_df, ], axis=1 ) else: print(articleNo, '/', 'articleFloor') # articleFloor_df = articleFloor_df[['totalFloorCount','correspondingFloorCount']] if 'articlePrice' in ind_dict.keys(): articlePrice = pd.Series(ind_dict['articlePrice']).to_frame().T article_df = pd.concat( [ article_df, articlePrice, ], axis=1 ) else: print(articleNo, '/', 'articlePrice') # articlePrice_df = articlePrice_df[['dealPrice','allWarrantPrice','allRentPrice']] if 'articleRealtor' in ind_dict.keys(): articleRealtor = pd.Series(ind_dict['articleRealtor']).to_frame().T article_df = pd.concat( [ article_df, articleRealtor, ], axis=1 ) else: print(articleNo, '/', 'articleRealtor') # articleRealtor_df = articleRealtor_df[['realtorName','representativeName','cellPhoneNo','representativeTelNo']] if 'articleSpace' in ind_dict.keys(): articleSpace = pd.Series(ind_dict['articleSpace']).to_frame().T article_df = pd.concat( [ article_df, articleSpace, ], axis=1 ) else: print(articleNo, '/', 'articleSpace') # articleSpace_df = articleSpace_df[['supplySpace','exclusiveSpace']] # article_df = pd.concat( # [ # articleDetail_df, # articleFloor_df, # articlePrice_df, # articleRealtor_df, # articleSpace_df, # ], # axis=1 # ) df.append(article_df) # 최종 데이터 합치기 df1 = pd.concat(df, ignore_index=True)
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
선생님 코드를 화면에서는 결과값 55만 출력이 되는데 같은 코드로 주피터에서 실행하니 1 3 6 ... 55까지 전부 출력 되는데 왜 55만 출력되지 않는 걸까요? sum = 0 for index in range(1, 11): sum = sum + index print (sum )
미해결
LLM 데이터 분석 - 웹 크롤링부터 추천 시스템까지
안녕하세요. 강의 듣던 중에 제목과 다른 영상이 있어서 문의 드려요. 섹션 5 - 프로젝트 2 "Youtube 동영상 댓글분석 - LLM 모델로 감성 분류 및 평점 예측" 동영상이 "Youtube 상품 리뷰 영상에서 상품정보를 추출, 요약" 과 동일한 영상입니다. 잘못 업로드 된거 같아요 확인 부탁드립니다.
미해결
파이썬 셀레니움 고급편 (python selenium - 크롤링, 크롤러)
from user_agents import parse from selenium import webdriver from selenium.webdriver.chrome.options import Options import random, time # 한국에서 개통된 버전은 이런 데이터 들이 필요하다. def make_user_agent(ua, is_mobile): user_agent = parse(ua) model = user_agent.device.model platform = user_agent.os.family platform_version = user_agent.os.version_string + ".0.0" version = user_agent.browser.version[0] ua_full_version = user_agent.browser.version_string architecture ="x86" if is_mobile: # 모바일 버전 platform_info = "Linux armv81" architectur="" else: # PC 버전 platform_info = "Win32" model = "" RET_USER_AGENT = { "appVersion" : ua.replace("Mozilla/", ""), "userAgent" : ua, "platform" : f"{platform_info}", "acceptLanguage" : "ko-Kr, kr, en-US, en", "userAgentMetaData" : { "brands" :[ # 네트워크 탭 확인하고 넣기 {"brand":" Not A;Brand", "version":"99"}, {"brand":"Google Chrome", "bersion":f"{version}"}, {"brand":"Chromium", "version":f"{version}"} ], "fullVersion":f"{ua_full_version}", "platform":platform, "platformVersion":platform_version, "architectur":architecture, "model" : model, "mobile":is_mobile # True, False } } return RET_USER_AGENT pc_device = ["1920,1440","1920,1200","1920,1080","1600,1200","1600,900", "1536,864", "1440,1080","1440,900","1360,768" ] mo_device = [ "360,640", "360,740", "375,667", "375,812", "412,732", "412,846", "412,869", "412,892", "412,915" ] width, height = random.choice(mo_device).split(",") print(width, height) UA = "Mozilla/5.0 (Linux; Android 9; Mi A2 Lite Build/PKQ1.180917.001; AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/127.0.0.0 Safari/537.36'" options = Options() UA_Data = make_user_agent(UA, True) print(UA_Data) #UserAgent 속이기 options.add_argument(f"--user-agent={UA}") options.add_argument(f"--window-size={width}, {height}") options.add_argument("--disable-blink-features=AutomationControlled") driver = webdriver.Chrome(options=options) driver.execute_cdp_cmd("Network.setUserAgentOverride",UA_Data) driver.get('https://www.google.com') input() -- 아래 코드가 작동하지 않습니다. 이유가 뭘까요? driver.execute_cdp_cmd("Network.setUserAgentOverride",UA_Data) [ 버전 ] python 3.10.10 selenium 4.13.0
미해결
LLM 데이터 분석 - 웹 크롤링부터 추천 시스템까지
안녕하세요, 선생님 강의 잘 듣고 있습니다. 공유 해 주신 코드를 실행 할 때 LLM 기능 사용할 때 에러가 발생되서 실행이 되지 않습니다. 에러코드 첨부 드립니다. --------------------------------------------------------------------------- RateLimitError Traceback (most recent call last) Cell In[14], line 29 26 # Chain 27 llm_chain = prompt | llm | output_parser ---> 29 response = llm_chain.invoke({"text": text}) 31 response File ~\miniconda3\envs\study\Lib\site-packages\langchain_core\runnables\base.py:2499, in RunnableSequence.invoke(self, input, config) 2497 try: 2498 for i, step in enumerate(self.steps): -> 2499 input = step.invoke( 2500 input, 2501 # mark each step as a child run 2502 patch_config( 2503 config, callbacks=run_manager.get_child(f"seq:step:{i+1}") 2504 ), 2505 ) 2506 # finish the root run 2507 except BaseException as e: 생략 ~ 해결 방법이 있을까요?
미해결
실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
안녕하세요. 강의 잘 보고 있습니다. 이제 강의는 모두 업데이트 완료된 건가요? 네이버 부동산 매물도 크롤링으로 자동화 하고 싶은데 혹시 강의로 만드실 계획은 있으신가요?
미해결
[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
vscode에서는 정상적으로 코드가 실행되는데 파일을 만들고 여니까 파일이 열리지가 않네요 ㅠㅠ 어떤 문제일까요
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다) - 이외의 문의등은 평생강의이므로 양해를 부탁드립니다 - 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다 - 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요. 섹션1의 6번째 강의(출력 포멧과 입력) 수업 자료를 다운 받았는데 1번째 강의와 같은 예제파일이 들어있습니다(python-question1-web.ipynb) 해당 강의에 맞는 예제 파일로 바꿔주셔야 할 것 같습니다!!
미해결
파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기
urllib.error.HTTPError: HTTP Error 400: Bad Request 유튜브 동영상을 아래를 통해 요청을 보내면 위와 같이 오류가 뜨는데 어떻게 해야 합니까? yt = pytube.YouTube(url) vids= yt.streams.all()
미해결
디스이즈 디스커버 디스코드 파이썬봇
디스코드 봇 만들기 봇만드는 강의에서 똑같이 따라했고 파일명과 토큰명등 제꺼로 등록해서 했음에도 가장 기본인 인사가 작동하지 않습니다. ㅠㅠ GPT도 토큰확인해보라는데 토큰리셋해봐도 안되요....ㅠㅠ 도와주세요 ! import discord from discord.ext import commands app = commands.Bot (command_prefix='/') @app.event async def on_ready(): print(f'{ app.user.name } 연결 성공') await app.change_presence(status= discord.Status.online , activity=None) @app.command() async def hi(ctx): await ctx.send('Hi there!') app.run (' 토큰 ')
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
안녕하세요. 패턴으로 실습하며 익히기: 네이버 Open API로 클롤링하기 강의를 듣고 있습니다. 강의들 듣다 보면 JSON을 '데이터 포맷'이라고 부릅니다. Q1 그런데 이 데이터 포맷이 파이썬 에서 나왔던 변수를 표현하는 데이터 구조인 딕셔너리, 튜플과 비교하면 어떻게 정리할 수 있을까요? 인터넷에 찾아보고 다음과 같이 정리했는데, 코멘트 해주시면 감사하겠습니다. 딕셔너리는 파이썬에서 일반적인 데이터 구조의 한 종류입니다. JSON은 자바스크립트에서 데이터 교환의 상황에서 쓰이는 데이터 포맷입니다. 데이터 구조와 데이터 포맷의 공통점은 둘다 문자열로 표기된다는점입니다. 차이점은 데이터 포맷은 포맷 즉 껍데기 이기에 딕셔너리 이외 형태로 불러올 수 있습니다. 이에 반해 데이터 구조는 다른 데이터 형태로 불러올 수 없습니다.
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
안녕하세요. 패턴으로 실습하며 익히기: 네이버 OpenAPI로 크롤링하기 강의배우고 있습니다. 본 강의에서는 header_params 의 키와 값으로 {'X-Naver-Client-Id':client_id, 'X-Naver-Client-Secret':client_secret} 를 쓰시더라구요. 그런데 이게 계속 오류가 나서 GPT에 오류를 점검해달라고 했더니 id대신 key를 쓰라 말했습니다. 실제 써보았더니 그제서야 크롤링이 되더라구요. 왜 그런까요?
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
python-question2-web의 16번 조건문에서요~ 혹시 마지막 elif 대신 else사용해도 같은 값으로 출력되는 거 같은데 이런 경우도 답이 되는 건가요? data1 = int(input()) data2 = int(input()) data3 = int(input()) if data1 <= data2 and data1 <= data3: print (data1) elif data2 <= data1 and data2 <= data3: print (data2) else: print (data3)
미해결
[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
'검색 결과가 나열된 페이지'에서는 잘 동작하는데, '(링크 타고 들어간) 상세 페이지'에서는 내용물이 안 뽑혀나오네요. 사실 원인은 찾았습니다만, 똑같이 해메는 분이 나올 것 같아서 작성합니다(?). (** AI한테 물어봄) (response로 긁어온 html 결과를 갖다주고) 물어보니 방어기법 맞다네요 0w0...
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
안녕하세요. '크롤링을 위한 지식: Open API 쉽게 사용하는 방법' 강의를 듣고 질문 드립니다. 아래사 진처럼 웹주소 기입하고 헤더의 키와 밸류에 각각 클라이언트 아이디랑 비밀번호 기입했는데 다음과 같은 오류 메세지가 떴습니다. Q데이터를 가져오는데 뭐가문제일까요>
