묻고 답해요
158만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 기본편
주피터에서 pip오류가 계속납니다
터미널에선 pip가 잘되는데 ipynb 파일에서는 pip가 정의되지 않았다고 뜨네요 ..검색해보니까 파이썬이 여러버전이면 그럴수있다고 해서 python3.12 -m pip install requests 이런거도 해봤는데 안되구용 pip 말고 파이썬 코드는 잘됩니다 터미널에서 requests 설치하고 import문 작성하는것도 잘되구요 원인이 뭔지 모르겠네용
-
미해결Node.js로 웹 크롤링하기
headless 궁금한게 있어요!
const browser: Browser = await puppeteer.launch({ headless: true, args: ['--remote-debugging-port=9222', '--no-sandbox', '--disable-setuid-sandbox'] }); const page: Page = await browser.newPage(); 크롤링 만들고 있습니다!헤드리스를 true로 해봐도, 아예 없애봐도, 아래 args 를 이것저것 달아봐도크롤링을 시작하면 아래 창과 크롬은 안뜨나 화면에 이렇게 크게 빈화면이 나옵니다.. 저만 그런가요? 이거 없애는 방법이 뭘까요 ㅠㅠ
-
미해결[웹 개발 풀스택 코스] Node.js 프로젝트 투입 일주일 전 - 기초에서 실무까지
mysql연동건너뛰기
제가 mysql연동이 잘 되지 않아 건너뛰고 보려고 하는데express라우터부터 그냥 봐도 크게 영향받지않고 진행할 수 있을까요??
-
해결됨실시간 트렌드 홈페이지 개발(파이썬 크롤링 + Flask)
교육 자료나 프로그램 소스 위치 알려주세요.
교육 자료나 프로그램 소스는 어디에 있나요?
-
미해결파이썬 보안 자동화 업무 개발과 OpenAI API 업무 적용
BeautifulSoup(html, "html5lib") 오류발생
2024년 10월 현재 제 pc에 설치된 버전은 requests 2.32.3, beautifulsoup 4.12.3, bs4 0.0.2 , python 3.1.3 인데, soup = BeautifulSoup(html, "html5lib") 코드는 오류발생 합니다. "html5lib"대신 "html.parser" 사용하면 정상 작동합니다. soup = BeautifulSoup(html, "html.parser")
-
미해결남박사의 파이썬으로 봇 만들기 with ChatGPT
개봉 날짜 및 평점 가져오는 코드 추가
강의에서 제공된 코드는 영화 개봉 날짜, 평점을 가져오지 못하고 있는데 아래 코드 사용하시면 됩니다.그리고 태그가 단일 요소일 경우 contents 속성을 사용하기 보다는 string 속성을 사용하면 리스트가 아닌 문자형으로 바로 출력할 수 있습니다.for dt, dd in zip(c_dt, c_dd): if dd.select_one('c-star'): rating = dd.select_one('c-star').next_element.strip() c_data[dt.string] = rating elif dd.select_one('span'): days = dd.select_one('span').string c_data[dt.string] = days else: c_data[dt.string] = dd.string
-
미해결남박사의 파이썬으로 봇 만들기 with ChatGPT
can't open/read file: check file path/integrity 오류 발생 시 해결 방법
cv2.imread() 함수를 통해 이미지를 읽어 들일 때, 한글을 읽어오지 못해 오류가 발생하는 경우가 있습니다. 아래의 코드로 해결하시면 됩니다.참고로, 아래 코드 사용 시 cvtColor() 함수를 사용해서 색상을 변경하지 않아도 됩니다.import numpy as np img_path = "이미지 파일 경로" img_file= np.fromfile(img_path, np.uint8) cv_decode = cv2.imdecode(img_file, cv2.IMREAD_COLOR) qr_reader = pyzbar.decode(cv_decode) print(qr_reader)
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
챗gpt 관련 질문입니다.
안녕하세요, 20달러가 아깝지 않은 gpt활용법 강의중에 질문있습니다.~ 위와같이, 강의내용대로 똑같이 질문을 해봤습니다.출력된 코드는 아래와 같습니다. import requestsfrom bs4 import BeautifulSoup# Fetch the HTML contenturl = 'https://startcoding.pythonanywhere.com/basic'response = requests.get(url)html_content = response.text# Parse the HTML contentsoup = BeautifulSoup(html_content, 'html.parser')# Define the container for products, modify this as needed to match the actual structureproduct_containers = soup.select('.product-container-selector')[:10] # Assuming there are selectors to find product containers# List to hold product dataproducts = []for container in product_containers:category = container.select_one('.category-selector').text.strip() # Modify with the actual selector for categoryproduct_name = container.select_one('.product-name-selector').text.strip() # Modify with the actual selector for product namedetail_link = container.select_one('.detail-link-selector')['href'].strip() # Modify with the actual selector for linkprice = container.select_one('.price-selector').text.strip() # Modify with the actual selector for priceproducts.append({'Category': category,'Product Name': product_name,'Detail Page Link': detail_link,'Price': price})# Print or use the product data as neededfor product in products:print(product) 여기서 질문이 있습니다. 같은 챗gpt4로 했음에도, 결과는 다를수 있는건가..?(그럴수 있을거같긴하네요..)강의에서 보여준 analyzing 이라는 기능은, 제가했을때는 안나온것같습니다. 이것은 버젼차이일까요..? 아니면 제가 좀더 명령어를 쳐보면 될까요.?제가 출력 받은 코드는 지금 css선택자를 제가 설정해야하는걸로 나오는데, 이것을 좀더 수정해달라고 명령어를 내려서 해결도 가능한것이지요..?혹시 제가 다운로드 받아서 업로드한 파일이 잘못된것은 아닐까요? html예제 사이트() 다른이름 저장 하여 html 저장시, 파일과 폴더(Electro - HTML Ecommerce Template, Electro - HTML Ecommerce Template_files)가 2개 생성되던데 제가 업로드한것은 앞에 있는 파일 1개입니다.수업내용보단.. 챗gpt 관련 내용이긴한데.. 답답해서 질문드립니다.~ 질문이 똑같으면, 출력도 똑같아야 하는게 아닌가~ 하는 생각이..ㅎㅎ 감사합니다.
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
오류 메세지 질문입니다.
나만의 앱 실행파일(.exe)로 만드는 방법 강의 까지 착실히 따라ㅇ해봤는데요, 마지막 exe파일 만들떄오류가 났습니다.pyinstaller -w -F 03.네이버지식인GUI.py 위 명령어 치고 나서, 아래와 같은 오류가 나왔고요.제가 챗gpt에 오류를 검색해보니 PyQt6 또는 PySide6 둘중하나를 제거하면 되는거같은데.. 이렇게 지워보면 될까요? Aborting build process due to attempt to collect multiple Qt bindings packages: attempting to run hook for 'PyQt6', while hook for 'PySide6' has already been run! PyInstaller does not support multiple Qt bindings packages in a frozen application - either ensure that the build environment has only one Qt bindings package installed, or exclude the extraneous bindings packages via the module exclusion mechanism (--exclude command-line option, or excludes list in the spec file).
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
녹화시점과 현재시점 컬럼명이 변경이 많이 되었을까요?
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
자동 로그인에서 pyperclip 사용했는데도 똑같이 자동입력방지가 뜨네요 ㅠ
자동 로그인에서 pyperclip 사용했는데도 똑같이 자동입력방지가 뜨네요 ㅠ
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
네이버 메일 자동화에서 자동입력 방지가 우회 방법을 써도 똑같이 뜨는데 혹시 이 방법이 막힌건가요?
네이버 메일 자동화에서 자동입력 방지가 우회 방법을 써도 똑같이 뜨는데 혹시 이 방법이 막힌건가요? 클립보드에 붙여넣는 방식으로 똑같이 따라했는데도 그러네요 ㅠ
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
셀레니움 수업 pdf 다운로드
안녕하세요~셀레니움 수업 pdf 자료는 어디서 다운 받을 수 있나요? ^^
-
해결됨[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
섹션 5 - 실전 크롤링과 강력한 기술 팁 2
강사가 실제 사용하는 자동 프로그램 소개 필요한 프로그램 설치 시연 데이터를 엑셀 파일로 만들기 엑셀 파일 이쁘게! 이쁘게! 나대신 주기적으로 파이썬 프로그램 실행하기 파이썬으로 슬랙(slack) 메신저에 글쓰기 웹사이트 변경사항 주기적으로 체크해서, 메신저로 알람주기 네이버 API 사용해서, 블로그에 글쓰기 자동으로 쿠팡파트너스 API 로 가져온 상품 정보, 네이버 블로그/트위터에 홍보하기 위와 같이 크롤링된 결과에 대해서, 4~5행의 앞부분의 공란을 없애주기 위해서 아래와 같이 코딩을 합니다. import requestsfrom bs4 import BeautifulSoupres=requests.get("https://davelee-fun.github.io/blog/crawl_test")soup=BeautifulSoup(res.content, "html.parser")section=soup.find("ul", id="dev_course_list")titles=section.find_all("li", class_="course")for i in titles: print(i.get_text().split("[")[0].split("-")[1].strip()) 강의 내용에서 strip(" ")이나 strip(' ')으로 하나, strip()으로 하나, 똑 같은 결과라고 설명하셨는대요 실제로 strip(' ')이나, strip(" ")으로 하면, 4~5행의 앞부분의 공백이 없어지지 않습니다.이건 왜 그럴까요?
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
login 과 loginbutton을 똑 같은 곳에 설정을 했는데 이해가 안되요
52강의 4분경에 login 과 loginbutton을 똑 같은 곳에 설정을 했는데 잘못된거 같습니다확인요청드립니다
-
미해결[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
코드한번 확인 요청드립니다.
네이버 닭가슴살 크롤링 과제중인데요 html = driver.page_source soup = BeautifulSoup(html, 'html.parser') items = soup.select(".product_item__MDtDF") for item in items: product = soup.select_one(".product_title__Mmw2K > a").text # 상품명 link = soup.select_one(".product_title__Mmw2K > a").attrs['href'] price = soup.select_one(".price_num__S2p_v").text print(product, link, price) 위 코드로 했는데, 가장 첫번째 상품만 출력이 되고있습니다. items = soup.select(".product_item__MDtDF")이 코드 확인시에는, 전체 상품이 출력된것은 확인했는데for문에서 문제가 생긴것인가요..? #파이썬
-
미해결Node.js로 웹 크롤링하기
6강 프록시 서버 테스트 관련하여
안녕하세요.. 프록시 사이트 (http://spys.one/free-proxy-list/KR/) 에 있는 프록시 사이트에 대한 정보를 가져와서, sqlite에 저장하는 코드로 테스트 하고 있습니다. 두가지 문제 현사잉 발생하고 있습니다.관련 크롤러 함수를 실행했는데, puppeteer의 브라우저 화면이 안나나나지만, 프록시 사이트 정보를 클로링은 합니다. 현재 headless:false로 해서 브라우저를 기동시키고 있는데, 왜 이런 형상이 발생할 까요? 인터넷 정보를 서치하다 보니, 브라우저 실행시 '--no-sandbox'를 해보하고 해서 해봤더니, 페이지 보이기는 합니다. (이 옵션의 의미는 무엇인지 궁금합니다.)강의 동영상에서 알려주신대로 크롤링 된 사이트에서 latency가 가장 작은 ip를 이용해서 브라우저 실행시 --proxy-server=fastestProxy 로 설정한 후 네이버 IP 확인 페이지를 호출했는데,Error: net::ERR_TIMED_OUT at https://search.naver.com/search.naver?where=nexearch&ssc=tab.nx.all&query=%EB%82%B4%EC%95%84%EC%9D%B4%ED%94%BC%EC%A3%BC%EC%86%8C&sm=tab_she&qdt=0 가 발생하는데, 이는 네이버에서 Proxy서버에서 접근하는 것을 막아서 발생하는 것인가요? 프록시 서버를 사용하지 않고 브라우저를 생성하면, 정상적으로 접근되어서 제 IP 주소를 확인할 수 은 있습니다.강의 처럼 변경된 프록시 서버의 ip를 확인할 수 있는 방법이 무엇인지 알려주시면 좋겠습니다.
-
미해결일잘하는 마케터, MD에게 꼭 필요한 파이썬 데이터 분석
5강 Xpath 관련 오류
/usr/local/lib/python3.10/dist-packages/urllib3/connectionpool.py:1099: InsecureRequestWarning: Unverified HTTPS request is being made to host 'search.shopping.naver.com'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#tls-warnings warnings.warn( --------------------------------------------------------------------------- NoSuchElementException Traceback (most recent call last) <ipython-input-31-bd4c400cf669> in <cell line: 10>() 8 # 2023.05.08 변경 find_element_by_xpath TO find_element 9 # element=driver.find_element_by_xpath(shoppingmall_review) ---> 10 element=driver.find_element(By.XPATH, shoppingmall_review) 11 driver.execute_script("arguments[0].click();", element) 12 sleep(2)/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/errorhandler.py in check_response(self, response) 243 alert_text = value["alert"].get("text") 244 raise exception_class(message, screen, stacktrace, alert_text) # type: ignore[call-arg] # mypy is not smart enough here --> 245 raise exception_class(message, screen, stacktrace) NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"/html/body/div[1]/div/div[2]/div[2]/div[2]/div[3]/div[2]/div/div[2]/ul/li[5]/a"} (Session info: headless chrome=90.0.4430.212); For documentation on this error, please visit: https://www.selenium.dev/documentation/webdriver/troubleshooting/errors#no-such-element-exception Stacktrace: #0 0x5b8b8afb27f9 <unknown> #1 0x5b8b8af523b3 <unknown> #2 0x5b8b8ac9a016 <unknown> #3 0x5b8b8acce81e <unknown> #4 0x5b8b8ad048fb <unknown> #5 0x5b8b8acf1ded <unknown> #6 0x5b8b8ad029e1 <unknown> #7 0x5b8b8acf1c93 <unknown> #8 0x5b8b8acc3ce4 <unknown> #9 0x5b8b8acc54d2 <unknown> #10 0x5b8b8af7e542 <unknown> #11 0x5b8b8af8dce7 <unknown> #12 0x5b8b8af8d9e4 <unknown> #13 0x5b8b8af9213a <unknown> #14 0x5b8b8af8e5b9 <unknown> #15 0x5b8b8af73e00 <unknown> #16 0x5b8b8afa55d2 <unknown> #17 0x5b8b8afa5778 <unknown> #18 0x5b8b8afbda1f <unknown> #19 0x7aaab6c3fac3 <unknown> #20 0x7aaab6cd1850 <unknown> 전달 주신 수업노트 코랩에 있는 내용으로 그대로 넣었는데 오류 값이 위와 같이 발생합니다. 확인 부탁드려요. xpath 값도 업데이트해서 넣었어요ㅠㅠ
-
미해결Node.js로 웹 크롤링하기
페이스북 로그인 로그아웃 자동화관련
안녕하세요.. 5-1 페이스북 로그인/로그아웃 관련 강의를 따라 하고 있습니다.puppeteer의 page를 이용해서 로그인 버튼까지는 클릭해서 실행까지는 되는 것 같습니다.그래서 로그인 버튼 클릭후에 사용자에게 로그인 승인 알람 메시지를 처리해야 실질적인 로그인 페이지로 넘어가고 있는 상황입니다. 이럴경우 강의 시간에 알려주신 방법들은 대부분이 타임아웃 오류가 발생합니다. 이 부분을 어떻게 해결해야 할지 방법을 알려 주시면 좋겠습니다. 강의 내용의 모습이랑. 현재시점의 페이스북이 달라서 수정하는 것이 초보자에게는 어렵네요..
-
미해결LLM 데이터 분석 - 웹 크롤링부터 추천 시스템까지
YouTubeSearchTool 에러
YouTubeSearchTool 사용시requests.exceptions.HTTPError: 403 Client Error:Forbidden for url: https://api.ydc-index.io/search?query= 에러가 납니다.