173만명의 커뮤니티!! 함께 토론해봐요.
미해결
[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
response = requests.get('https://kor.lottedfs.com/kr/product/productDetail?prdNo=20000731813&prdOptNo=20000908364&dispShopNo1=10031760&dispShopNo2=10031840&dispShopNo3=10032224') html = response.text soup = BeautifulSoup(html, 'html.parser') response.text 이와 같이 들어가면 캡챠화면이 뜨는데 셀레니움으로 작접들어가는거 말고는 방법이 없을까요?
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
섹션1 / 문제를 풀며 가장 자연스럽게 익숙해지는 파이썬 기본: 데이터 타입과 변수, 그리고 출력2 / 6:55 에서 질문이 있는데요. 강의 자료에 있는 ._python-question1-web.ipynb 파일을 제가 사용하는 폴더에 넣고 주피터 노트북으로 그 폴더를 열면 해당 파일이 보이지 않습니다. 파일명 맨 앞부분에 ._를 지우면 주피터노트북에서 보이긴 하는데 파일이 열리진 않아요 어떻게 해야하나요?
해결됨
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
안녕하세요 크롤링하면서 자기가 원하는 데이터를 분석해보면 빨리 늘거라고 하셔서 하려고 제가 관심있는 사이트에 들어가서 소스를 보는데 요즘에는 소스도 안보여주는건지 제가 못알아보는건지 원하는 데이터를 추출할 수가 없네요 웹사이트 소스를 보면서 분석하고 크롤링 공부도 하고 싶은데 이럴 때 할 수 있는 방법이 있을까요?
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
원래는 강의자료가 pdf 파일로 보기 편하고 학습하기 좋았는데 객체와 클래스1 강의의 수업자료가 txt 파일로 되어있어서 보기 어렵고 어떤 내용인지 잘 모르겠는데 txt파일로 어떻게 학습하면 되나요?
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다) - 이외의 문의등은 평생강의이므로 양해를 부탁드립니다 - 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다 - 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요. from urllib.request import urlopen from bs4 import BeautifulSoup import re res = urlopen('https://davelee-fun.github.io/blog/crawl_test_css.html') soup = BeautifulSoup(res, "html.parser") data = soup.select('ul#dev_course_list li.course') for item in data: print (item.get_text()) 여기에서 data = soup.selec t('ul#dev_course_list li.course') 이부분을 data = soup.selec t_one('ul#dev_course_list') data1= soup.select ('li.course') 이렇게 나누는 거랑 뭐가 다른가요? 값은 같게 나오길래 궁금해서 여쭤봅니다, 항상 감사합니다!
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
안녕하세요 다음 강의를 수강하고 있습니다. CSS selector 사용해서 크롤링하기1 (업데이트) Q1 다음 HTML 코드에 있는 HTML언어 개념들을 설명해주세요<li class="course" id="start">일단 제가 아는대로 설명해보겠습니다.li= 태그class , id = 태그course, start= ,속성(Q2 왜 태그가 두번나올까요?)Q3 HTML 언어의 기본 개념은 태그와 속성만 있나요?
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
CSS selector 사용해서 크롤링하기1 (업데이트) 듣고 있습니다. 강의 소리가 많이 작은 것 같아요. 들리긴 들리는데 많이 작아서 불편합니다.예전 강의들도 전반적으로소리가 작아서 아쉬웠습니다.그럼에도 불구하고 강의 잘 시청하고 있습니다.감사합니다.
미해결
[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
섹션 12에 Pyside6 설치 및 사용법 강의 따라하면서 듣고 있었습니다. Pyside6 경로로 들어가 Designer.exe 파일을 더블클릭했는데 아무런 창도 뜨지 않습니다...ㅜㅜ 이럴때는 어떻게 해야하나요?
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다) - 이외의 문의등은 평생강의이므로 양해를 부탁드립니다 - 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다 - 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요. import requests from bs4 import BeautifulSoup import openpyxl excel_file=openpyxl.Workbook() excel_sheet=excel_file.active excel_sheet.append(["rank","name","date"]) res=requests.get("https://davelee-fun.github.io/") soup=BeautifulSoup(res.content,"html.parser") data1=soup.select("section.featured-posts") for index,A in enumerate(data1): product_name=A.select_one("h4.card-text") product_date=A.select_one("span.post-date") excel_sheet.append([index+1,product_name.get_text(),product_date.get_text()]) excel_file.save("oh.xlsx") excel_file.close() -------------------------------------------- 일단 이게 제가 만든겁니다. All stories에 있는 목록이 아닌 featured에 있는 4개의 상품목록만 리스트로 엑셀에 상품이름과 상품날짜를 넣어서 만들고 싶었습니다. 오류는 나지 않았고 엑셀로 들어가보면 제일 처음에 있는 상품 1개만 뜨고 나머지 하위 3개는 안뜨네요 ㅠㅠ 뭐가 잘못된걸까요? 1 상품명: 보몽드 순면스퀘어 솔리드 누빔매트커버, 다크블루 05 Jun 2020
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
이유를 모르겠는데 문제를 풀 때 간단한 계산식이라도 radius = 10 pi = 3.1415 diameter = 2 * radius circumference = 2 * pi * radius area = pi * (radius * 2) print("지름은?" , diameter) print("둘레는?" , circumference) print("넓이는?" , area) 이런 식으로 print에서 바로 계산을 안하고 변수를 만든 다음 출력하는 방식을 써서요. 습관이 잘못 잡힐까봐 걱정인데 선생님 방식대로 print("지름은?" , 2 * radius ) 이렇게 하는게 좋겠죠?
미해결
내 업무를 대신 할 파이썬(Python) 웹크롤링 & 자동화 (feat. 주식, 부동산 데이터 / 인스타그램)
pip install -r requirements.txt 를 치면 아래처럼 설ㄹ치가 되는것 같더니 설치가 끝나질 않고 계속 한줄씩 떠요... 사진처럼 계속 뜨는 와중에 캡쳐해온거에요ㅠ 뭐가 문제일까요..? 강제로 멈추고 uninstall하면 이렇게 뜹니다
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
안녕하세요. '패턴으로 실습하며 익히기: HTML 이해를 바탕으로 크롤링하기' 강의를 듣고 있습니다. 태그와 속성이라는 개념이 여러번 등장하는데, 제가 잘 이해했는지 궁금합니다. 제가 이해하기로 태그는 속성의 이름을 말하는 것이고, 속성은 HTML언어에서 '파이썬의 문자열, 숫자, 소수점 등 변수종류' 와 비슷한 역할 하는 것 같습니다. 예를 들어서 img src = 'dimg.png' width = '100' 에서 img는 속성을 부르는 명칭입니다. src는 이미지 파일이라고 컴퓨터에게 알려주는 속성입니다. 제가 잘 이해했는지 알려주시면 감사하겠습니다. HTML언어가 파이썬 언어에 비해 생긴게 복잡해서 배우기 어려운 것 같습니다.
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
다음 코드는 크롤링 패턴 코드에서 앞 부분만 따왔습니다. 출처: 패턴으로 실습하며 익히기:HTML 이해를 바탕으로 크롤링하기 import reqests 해석: reqests라는 라이브러리를 가져온다. from bs4 import BeautifulSoup 해석:bs4 라이브러리에서 뷰티플 솦이라는 클래스를 가져온다. Q1 왜 두개의 라이브러리 명이 나올까요? 라이브러리 reqests, bs4 Q2처음 import는 라이브러리를 가져왔는데 왜다음 import 에서는 뷰티플 솦 클래스를 가져올까요? 그냥 코드쓰는 방식을 외워야 하나요?
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
제가 겪은 문제는, 웹페이지 데이터 가져오는 명령어가 비쥬얼 스튜디오에서 작동을 안했다는 겁니다. 빙홈페이지 등의 웹페이지 주소를 배웠던 명령어에 기입하면,invaild 모모 등 코드 문법 오류만이 떠요.제가 쳤던 명령어는 다음과 같습니다. res = reqest.get(웹주소) [Q 뭐가 문제일까요?] 비쥬얼 스튜디오 문제일까요? 제 노트북이 많이 느려서 쥬피터 노트북은 쓰지 않았습니다. 혹은 특정 웹 주소 등의 데이터는 못가져 올까요?
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
colab 에서 개발 연습을 하고있었는데 colab또한 Jupyter notebook을 기반으로 만들었다고 알고있는데 아나콘다 말고 colab을 사용해도될까요? 아나콘다 사용을 권장하시나요?
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
안녕하세요 이제 막 수강 신청했는데 교재 문의드려요 검색해서 교재(구름마크) 다운로드는 확인했는데, 혹시 문제만 나와있는 파일들은 어디서 받을 수 있을까요? 파일열어보니 답까지 모두 나와있던데.. 감사합니다 - 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다) - 이외의 문의등은 평생강의이므로 양해를 부탁드립니다 - 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다 - 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요.
해결됨
[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
강의 설명대로 만들었는데 빈화면만 나오네요. ㅠㅜ 윈도우 10, VisualStudio Code 입니다. 뭐가 문제일까요? ~ 디자인 한 화면 ~ ~ 실행 화면 ~ [ login_ ui.py ] # -*- coding: utf-8 -*- ################################################################################ ## Form generated from reading UI file 'login.ui' ## ## Created by: Qt User Interface Compiler version 6.7.2 ## ## WARNING! All changes made in this file will be lost when recompiling UI file! ################################################################################ from PySide6.QtCore import (QCoreApplication, QDate, QDateTime, QLocale, QMetaObject, QObject, QPoint, QRect, QSize, QTime, QUrl, Qt) from PySide6.QtGui import (QBrush, QColor, QConicalGradient, QCursor, QFont, QFontDatabase, QGradient, QIcon, QImage, QKeySequence, QLinearGradient, QPainter, QPalette, QPixmap, QRadialGradient, QTransform) from PySide6.QtWidgets import (QApplication, QLabel, QLineEdit, QPushButton, QSizePolicy, QWidget) class Ui_Form(object): def setupUi(self, Form): if not Form.objectName(): Form.setObjectName(u"Form") Form.resize(471, 480) font = QFont() font.setFamilies([u"\ub098\ub214\uace0\ub515"]) font.setPointSize(11) Form.setFont(font) self.pushButton = QPushButton(Form) self.pushButton.setObjectName(u"pushButton") self.pushButton.setGeometry(QRect(120, 350, 231, 81)) font1 = QFont() font1.setFamilies([u"\ub098\ub214\uace0\ub515"]) font1.setPointSize(11) font1.setBold(True) self.pushButton.setFont(font1) self.label = QLabel(Form) self.label.setObjectName(u"label") self.label.setGeometry(QRect(60, 120, 61, 16)) self.label_2 = QLabel(Form) self.label_2.setObjectName(u"label_2") self.label_2.setGeometry(QRect(60, 160, 71, 21)) self.lineEdit = QLineEdit(Form) self.lineEdit.setObjectName(u"lineEdit") self.lineEdit.setGeometry(QRect(140, 110, 241, 31)) self.lineEdit_2 = QLineEdit(Form) self.lineEdit_2.setObjectName(u"lineEdit_2") self.lineEdit_2.setGeometry(QRect(140, 160, 241, 31)) self.retranslateUi(Form) QMetaObject.connectSlotsByName(Form) # setupUi def retranslateUi(self, Form): Form.setWindowTitle(QCoreApplication.translate("Form", u"Form", None)) self.pushButton.setText(QCoreApplication.translate("Form", u"\ub85c\uadf8\uc778", None)) self.label.setText(QCoreApplication.translate("Form", u"\uc544\uc774\ub514", None)) self.label_2.setText(QCoreApplication.translate("Form", u"\ube44\ubc00\ubc88\ud638", None)) # retranslateUi [ login.ui ] <?xml version="1.0" encoding="UTF-8"?> <ui version="4.0"> <class>Form</class> <widget class="QWidget" name="Form"> <property name="geometry"> <rect> <x>0</x> <y>0</y> <width>471</width> <height>480</height> </rect> </property> <property name="font"> <font> <family>나눔고딕</family> <pointsize>11</pointsize> </font> </property> <property name="windowTitle"> <string>Form</string> </property> <widget class="QPushButton" name="pushButton"> <property name="geometry"> <rect> <x>120</x> <y>350</y> <width>231</width> <height>81</height> </rect> </property> <property name="font"> <font> <family>나눔고딕</family> <pointsize>11</pointsize> <weight>75</weight> <bold>true</bold> </font> </property> <property name="text"> <string>로그인</string> </property> </widget> <widget class="QLabel" name="label"> <property name="geometry"> <rect> <x>60</x> <y>120</y> <width>61</width> <height>16</height> </rect> </property> <property name="text"> <string>아이디</string> </property> </widget> <widget class="QLabel" name="label_2"> <property name="geometry"> <rect> <x>60</x> <y>160</y> <width>71</width> <height>21</height> </rect> </property> <property name="text"> <string>비밀번호</string> </property> </widget> <widget class="QLineEdit" name="lineEdit"> <property name="geometry"> <rect> <x>140</x> <y>110</y> <width>241</width> <height>31</height> </rect> </property> </widget> <widget class="QLineEdit" name="lineEdit_2"> <property name="geometry"> <rect> <x>140</x> <y>160</y> <width>241</width> <height>31</height> </rect> </property> </widget> </widget> <resources/> <connections/> </ui> [ 실행 파이썬 코드 ] import sys from PySide6.QtWidgets import QApplication, QWidget from login_ui import Ui_Form class MainWindow(QWidget, Ui_Form): def __inint__(self): super().__init__() self.setupUi(self) app = QApplication() window = MainWindow() window.show() sys.exit(app.exec())
미해결
[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
Params=param 이라고 왜 쓰는건가요??
미해결
실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
강의 내용 외 개인적인 실습 사이트의 질문은 답변이 제공되지 않습니다. 문제가 생긴 코드, 에러 메세지 등을 꼭 같이 올려주셔야 빠른 답변이 가능합니다. 코드를 이미지로 올려주시면 실행이 불가능하기 때문에 답변이 어렵습니다. 답변은 바로 제공되지 않을 수 있습니다. 실력 향상을 위해서는 직접 고민하고 검색해가며 해결하는 게 가장 좋습니다. 최대한 구글링을 동원해서 해보는 중인데 막히네요. 모니터링 가서 로그 나오는것 까지 확인 했습니다. event, message, text 이렇게 표시 되는거요. def lambda_handler(event, context): result = json.loads(event["body"]) print(f"event : {event}") keyword = result["message"]["text"] news_crawler(keyword) 그다음 위의 코드 작성하고 run을 해보면 아래와 같이 body 키 문제가 있다고 나옵니다. 무슨문제일까요...ㅜ "errorMessage": "'body'", "errorType": "KeyError", "requestId": "628cac7e-f4ae-41f3-9ba3-ba7a3e7f464f", "stackTrace": [ " File \"/var/task/lambda_ function.py \", line 59, in lambda_handler\n result = json.loads(event['body'])\n"
미해결
[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
네이버 자동 로그인 하고 있는데, 잘 되지 않습니다. 코드가 동일하게 작성된 것 같은데 제가 놓치고 있는 부분이 있을까요? from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import time import pyperclip #크롬 드라이버 생성 driver = webdriver.Chrome() driver.get("https://nid.naver.com/nidlogin.login?mode=form&url=https://www.naver.com/") time.sleep(1) #아이디 입력 id = driver.find_element(By.CSS_SELECTOR, '#id') pyperclip.copy(userid) id.click() id.send_keys(Keys.CONTROL,'v') time.sleep(1) # 비밀번호 입력 pw = driver.find_element(By.CSS_SELECTOR, '#pw') pyperclip.copy(userpwd) pw.click() pw.send_keys(Keys.CONTROL,'v') time.sleep(1) # 로그인 버튼 클릭 driver.find_element(By.CSS_SELECTOR, '#log\\.login').click()
