66,000원
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 해결됨파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
웹사이트에서 크롤러의 행동을 규제하는 robots.txt에 관해 질문드립니다.
안녕하십니까 선생님. 강의에서 다뤄주신 크롤링 기법을 사용해 제 개인 프로젝트에 활용하려고 하는 통계학과 대학원생입니다. 강의 외적인 질문이라 죄송스러운 마음이 앞서지만, 선생님같은 식견을 가지신 분이시라면 답을 알고 계실 것 같아 양해를 부탁드리며 질문 올리겠습니다. 보다 구체적으로, Daum뉴스에서 크롤링한 기사들의 원문을 데이터로 사용하는 모델을 만들어 이를 적용하고 그 결과를 제 깃헙 페이지에 공개하려고 했습니다. 하지만 프로젝트를 진행하는 과정에서 robots.txt의 존재를 알게 되었고, 실제로 news.daum.net/robots.txt를 확인해 봤을 때 해당 사이트에서 모든 크롤링 시도를 금지하고 있음을 확인할 수 있었습니다(User-agent: * Disallow : /). 저는 악의나 영리 목적의 의도가 없고, 심지어는 request와 request 사이에 지연을 줘서 서버에 무리가 가지 않도록 할 의향도 있습니다. 그럼에도 불구하고 robots.txt에 저렇게 지정되어 있으면 어떤 방식으로든 크롤링을 금지하며 이를 어길 시 어떤 방식으로든 책임을 물을 수 있다는 의미인지 궁금합니다. 마지막으로, 좋은 강의 항상 너무 감사하다는 말씀 드리고 싶습니다. 파이썬 기초는 이미 알고 있어서 사실 크롤링 부분만을 위해 강의를 수강하긴 했습니다만, 모든 내용을 잘 이해할 수 있었습니다. 이에 더해 파이썬 중급 강의도 거의 마쳐가는데, decorator나 generator의 원리를 확실히 알게된 것 같아 너무 유익하고 좋았습니다. 둘 다 곧 마무리하고 수강평 남기도록 하겠습니다! 이상입니다. 감사합니다.
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
데이터 구조와 반복문에서 exercise 38번 관련입니다.
강의 감사히 잘 듣고 있습니다. 컨텐츠랑 강사님 전달방식 모두 훌륭하셔서 비전공자로서 많은 도움이 됩니다. 아래 질문 드립니다. Exercise 38. 데이터 구조와 반복문 (리스트) 다음 리스트 변수에서 음수 데이터를 삭제하고, 양수만 가진 리스트 변수로 만들고, 해당 변수를 출력하세요. num_list = [0, -11, 31, 22, -11, 33, -44, -55]이 예제에서 강사님 풀이와 달리, remove방식으로 num_list에서 직접 빼는것도 한번 해봤는데요.num_list = [0, -11, 31, 22,-11,33,-44,-55] for i in num_list : if i < 0: num_list.remove(i) print(num_list)이렇게 하면 마지막에 [0, 31, 22, 33, -55]로 실행되네요.어떻게 하면 결과가 잘 실행될까요..?
- 해결됨파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
request.get은 반복 성공한거 같은데 print하면 마지막페이지만 나오되네요..
print가 5번 반복범위가 출력이 안되고 마지막 5페이지만 출력이 되네요 ㅠㅠ 계속 고민해보다 결국 못찾아 질문드립니다.!!
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
문의드립니다..
강의명 : 크롤링을 위한 지식: 정부 제공 공공데이터 Open API 사용법 안녕하세요!! 강의 내용중 정부데이터 사이트에서 제공하는 파이썬 샘플코드에서는 queryParams* 변수에 여려가지 내용을 제공하고있는데 강의에서는 그 중 아래 네개만 선별적으로 사용하셨잖아요 &numOfRows=10 &pageNo=1 &stationName=서울 &dataTerm=DAILY 어떤 기준으로 선택하신걸까요?? * : queryParams = '?' + urlencode({ quote_plus('ServiceKey') : '서비스키', quote_plus('numOfRows') : '10', quote_plus('pageNo') : '1', quote_plus('stationName') : '종로구', quote_plus('dataTerm') : 'DAILY', quote_plus('ver') : '1.3' })
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
질문있습니다!
안녕하세요 강의 들으면서 쿠팡에서 상품정보 크롤링을 시도해봤는데 오류가 떠서 질문드립니다.! 크롤링이 잘 되다가 중간에 이런 오류가떠서 해결을 못하여 질문드립니다ㅠㅠ 어느 부분이 잘못되었는지 알 수 있을까요? --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-33-10ca8f3fd97f> in <module> 39 if not item.select_one('strong.price-value') : 40 pass ---> 41 print(i+1,item_name.get_text().strip(), item_price.get_text()) 42 # item_info = [item_name.get_text().strip(), item_price.get_text()] 43 # item_lists.append(item_info) AttributeError: 'NoneType' object has no attribute 'get_text'
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
페이지소스가 달라서 질문드립니다.
안녕하세요, 선생님. 좋은 수업 제공해주셔서 감사합니다. 프로그램 처음 시작해서 48강까지 온 제가 너무 신기하네요. 감사합니다. 다름이 아니라 기사가 업데이트 되었는지, 강의에서 보이는 기사의 페이지소스와 제 크롬에서 보이는 페이지소스가 달라 헷갈려서 질문 드립니다. 기사 입력날짜를 크롤링하려고 아래와 같이 했는데요. 출력이 기사입력날짜, 좋아요,댓글달기, 0,0 등이 나와서요. 어떤 부분을 수정해야할지 잘모르겠습니다. 제가 쓴 코드 import requests from bs4 import BeautifulSoup res = requests.get('https://www.hankookilbo.com/News/Read/201706152032519127') soup = BeautifulSoup(res.content, 'html.parser') mydata = soup.find_all ('div','info') for item in mydata : print (item.get_text()) 제 크롬에서 본 페이지소스 </div> <h2 class="title"> 잔금대출에도 DTI 규제 적용 검토</h2> <div class="info"> <dl> <dt>입력</dt> <dd>2017.06.15 20:09</dd> </dl> <div class="tool-bar"> <!-- .tooltip-box --> <div class="tooltip-box"> <button type="button" class="btn-like-all open-tip"> <span class="blind">좋아요</span> </button> <!-- .like-detail --> <div class="like-detail tooltip"> <ul> <li class="like" id="likeCntLi">0</li> <li class="unlike" id="dislikeCntLi">0</li> </ul> </div> <!-- // .like-detail --> </div> <!-- // .tooltip-box --> <span class="count" id="sympathyCntSpan">0</span> <button type="button" class="btn-comment"> <span class="blind">댓글달기</span> </button> <span class="count" id="commentCntSpan">0</span> </div> </div> </div>
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
안녕하세요 다름이아니라 궁금한 점이 있어서요!
res = requests.get('') soup = BeautifulSoup(res.content, 'html.parser') 이 부분에서 .content, html.parser부분을 제가 실전? 다른 강의에서는 text, 'lxml' 이라고 배웠었던 것이 기억이 납니다. parser부분은 여러가지가 있다고 하셨는데 어떤 것을 써도 상관은 없는건가요?? text와 content의 차이점이 있나요? 또 requests 라이브러리와 urllib 라이브러리는 똑같이 페이지를 불러오는 것으로 이해를 하면 될까요? 예전에 검색을 하다가 요즘은 requests 라이브러리를 많이 사용한다고 봤는데 그럼 그냥 둘 중 아무거나 사용을 하면 되는건지 용도가 다른것인지 궁금합니다..! 혹시 강의에서 설명을 하셨는데 제가 듣지 못해 질문을 드리는거면 죄송합니다ㅠㅠ
- 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
크롤링 관련 질문드립니다.
삭제된 글입니다
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
질문 있습니다~
안녕하세요, 라이브러리 설치하려하는데 이렇게 뜹니다. 어떻게 해야할까요? ㅠㅠ
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
Exercise 16. 조건문 질문드립니다.
data1 이나 data2 가 제일 작을때는 값이 출력이 되는데 data3 이 가장작을때는 출력이 되지 않는 이유를 모르겠습니다. 알려주세요!! data1 = 3 data2 = 2 data3 = 1 if data1 < data2: if data1 < data3: print (data1) elif data2 < data1: if data2 < data3: print (data2) elif data3 < data2: if data3 < data1: print (data3)
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
excercise 45 질문 있습니다~
안녕하세요, 강의 잘 듣고 있습니다:) 다름이 아니라 exercise 45에서 exchange[exchange_item]을 출력하면 어떻게 exchange 딕셔너리에서 value가 출력이 되는건가요?
- 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
입력칸이 뜨지 않습니다.
삭제된 글입니다
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
고급언어도 컴파일러나 인터프리터가 필요하지는 않나요 ?
안녕하세요 ^^ 이제 막 공부를 시작한 학생입니다. 오늘 강의의 가장 마지막에 '고급언어와 기계어를 제외한 저급언어는 결국 기계어로 변환되어 CPU에 전달되어 실행됨' 이라고 자료에 기재되어 있었는데요, 고급언어=사람의 언어에 가깝기 때문에, 기계어로 바꾸어주는 과정이 필요한 게 아닌지 궁금합니다. 강의 열심히 듣겠습니다. 감사합니다.
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
70번 문제 질문드립니다.
안녕하세요. 70번 문제를 풀다가 궁금한 점이 있어서요. def print_string(string, digit): data = list() for index in range(digit): data.append(string) return data 여기서는 digit이 3이라고 했을 때 그냥 그대로 index를 출력하면 0,1,2가 출력됩니다. fun이 3번 반복될 수 있는 건, 0,1,2 문자열이 3개이기 때문일까요? digit = input() for index in range(int(digit)): print (index) 비슷하게 해서 이렇게 코드를 출력했을 때 반복문 range안에 int를 추가하지 않으면 오류가 납니다. 이 역시 70번 문제에서는 digit이 숫자 3을 그대로 인식한 것이 아니라 0,1,2 이렇게 세 가지 문자가 있기 때문에 출력되었기 때문이라고 이해하면 되는 걸까요? 감사합니다!
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
17강의 수업자료 파이썬 예제파일이 안열립니다
(사진)
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
for문 질문있습니다!
for ii in range(~~): 구조에서 ii는 별도로 지정하지 않아도 숫자 1부터 시작하게 되는게맞나요?
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
문자열 숫자열로 바꾸는거 질문드립니다.
앞의 강의를 수강하면서 '변수' 이렇게 따옴표가 붙으면 문자열 1 : 이렇게 그냥 출력되면 숫자열이라고 이해했습니다. 그래서 숫자여도 '3' 이렇게 출력되면 문자열, 글자여도 출력 결과물이 따옴표 없이 변수 만 출력되면 숫자라고 이해했습니다. 그런데 small project1에서 age = input("나이는?") age_digit = int(age) 이렇게 해서 변수를 숫자로 바꾸는 코드를 넣는데, age_digit = int(age)를 작성하지 않아도 따옴표 없으 숫자 20만 출력되는데, 굳이 이 코드를 넣는 이유가 궁금합니다. 그리고 age_digit = str(age)라고 바꾼 다음에 20을 입력해도 '20'으로 출력되지 않는 이유도 궁금합니다.
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
강의자료는 어디서 받을 수 있나요?
강의자료는 어디서 받을 수 있나요? 강의소개에 전자책이 아닌 강의자료가 제공된다고 되어있는데, 어디서 받는지 궁금합니다. 감사합니다.
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
일반 파이썬 환경에서는 실행이되는데
주피터 노트북환경에서는 module 이 없다고 나오네요
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
CSS 셀렉터와 Copy엘러먼트 질문드려요!!
어떤기준으로 어떤카피방식을 어떤 태그위에서 해야할지 기준정립이 안되서요 ㅠㅠ