파이썬입문과 크롤링기초 부트캠프 (2020 업데이트) [쉽게! 견고한 자료까지!]
파이썬입문과 크롤링기초 부트캠프 (2020 업데이트) [쉽게! 견고한 자료까지!]
수강정보
(120개의 수강평)
1379명의 수강생
Tony Shin 프로필

여러 사이트에서 한번에 크롤링 Tony Shin 2일 전
안녕하세요 선생님, site_list =[ 'A사이트' , 'B사이트' ] 같이 여러 웹페이지를 한번에 불러오는 법을 가르쳐 주셧는데요, 문득 든 궁금점이 추가한 각각의 홈페이지에서 추출하려는 데이터가 각기 다른  CSS select 구문을 필요로 하면 어떻게 해야하는건가요?  일단 data = soup.select ('#productListArea > ul > li > p >a' , '#main > div > section > div > div') 이런식으로 콤마 뒤에 추가해보았는데 적용이 되지 않습니다.  질문이 정확하지 않은 것 같아 말씀드리자면 제가 시도했던 것은  A 일보 헤드라인, B 일보 헤드라인, C 일보  헤드라인을 추출해서 한번에 보여주는 기능을 만드는 것이었습니다. 감사합니다. 

2
니옹 프로필

아이들 환경 니옹 6일 전
강사님, 아이들 환경으로 수업을 들어도 될까요? 평소에 익숙해져있던 툴이라 아이들이 좀 더 편해서요.  혹시 주피터로 꼭 강의를 들어야 할 이유가 있다면, 더 편해서인가요? 강사님들은 주피터를 많이 사용하시더라고요. 

1
sang hyuk kim 프로필

Gmarket 크롤링 실습문제 sang hyuk kim 7일 전
안녕하세요, 강의를 잘 따라오면서 열심히 공부하고 있는 수강생입니다.  gmarket 베스트 상품 크롤링 실습을 따라하면서 아래와 같은 오류가 나서 질문드립니다.  크롤링한 데이터 다시 크롤링하기 강의 中 2020.09.23일 기준 20번째 title,price,provider_info를 불러올 때 None값이 나타납니다. 코드의 오류일까요 g마켓의 html구조의 문제일까요 답변부탁드립니다.  

1
즈슷 프로필

Exercise 17. 조건문 문제 질문이요 즈슷 8일 전
강사님 답과 비슷하게 하였으나 에러요소가 있는지 확인 받고 싶어서 질문 드려요.

1
sunsik kim 프로필

웹사이트에서 크롤러의 행동을 규제하는 robots.txt에 관해 질문드립니다. sunsik kim 10일 전
안녕하십니까 선생님. 강의에서 다뤄주신 크롤링 기법을 사용해 제 개인 프로젝트에 활용하려고 하는 통계학과 대학원생입니다. 강의 외적인 질문이라 죄송스러운 마음이 앞서지만, 선생님같은 식견을 가지신 분이시라면 답을 알고 계실 것 같아 양해를 부탁드리며 질문 올리겠습니다. 보다 구체적으로, Daum뉴스에서 크롤링한 기사들의 원문을 데이터로 사용하는 모델을 만들어 이를 적용하고 그 결과를 제 깃헙 페이지에 공개하려고 했습니다. 하지만 프로젝트를 진행하는 과정에서 robots.txt의 존재를 알게 되었고, 실제로 news.daum.net/robots.txt를 확인해 봤을 때 해당 사이트에서 모든 크롤링 시도를 금지하고 있음을 확인할 수 있었습니다(User-agent: * Disallow : /). 저는 악의나 영리 목적의 의도가 없고, 심지어는 request와 request 사이에 지연을 줘서 서버에 무리가 가지 않도록 할 의향도 있습니다. 그럼에도 불구하고 robots.txt에 저렇게 지정되어 있으면 어떤 방식으로든 크롤링을 금지하며 이를 어길 시 어떤 방식으로든 책임을 물을 수 있다는 의미인지 궁금합니다. 마지막으로, 좋은 강의 항상 너무 감사하다는 말씀 드리고 싶습니다. 파이썬 기초는 이미 알고 있어서 사실 크롤링 부분만을 위해 강의를 수강하긴 했습니다만, 모든 내용을 잘 이해할 수 있었습니다. 이에 더해 파이썬 중급 강의도 거의 마쳐가는데, decorator나 generator의 원리를 확실히 알게된 것 같아 너무 유익하고 좋았습니다. 둘 다 곧 마무리하고 수강평 남기도록 하겠습니다! 이상입니다. 감사합니다.

1
Sangwon Seo 프로필

데이터 구조와 반복문에서 exercise 38번 관련입니다. Sangwon Seo 12일 전
강의 감사히 잘 듣고 있습니다. 컨텐츠랑 강사님 전달방식 모두 훌륭하셔서 비전공자로서 많은 도움이 됩니다. 아래 질문 드립니다. Exercise 38. 데이터 구조와 반복문 (리스트) 다음 리스트 변수에서 음수 데이터를 삭제하고, 양수만 가진 리스트 변수로 만들고, 해당 변수를 출력하세요. num_list = [0, -11, 31, 22, -11, 33, -44, -55]이 예제에서 강사님 풀이와 달리, remove방식으로 num_list에서 직접 빼는것도 한번 해봤는데요.num_list = [0, -11, 31, 22,-11,33,-44,-55] for i in num_list : if i < 0: num_list.remove(i) print(num_list)이렇게 하면 마지막에 [0, 31, 22, 33, -55]로 실행되네요.어떻게 하면 결과가 잘 실행될까요..?

1
옥 프로필

request.get은 반복 성공한거 같은데 print하면 마지막페이지만 나오되네요.. 13일 전
print가 5번 반복범위가 출력이 안되고 마지막 5페이지만 출력이 되네요 ㅠㅠ 계속 고민해보다 결국 못찾아 질문드립니다.!!

1
lygmedi 프로필

문의드립니다.. lygmedi 13일 전
강의명 :  크롤링을 위한 지식: 정부 제공 공공데이터 Open API 사용법 안녕하세요!! 강의 내용중 정부데이터 사이트에서 제공하는 파이썬 샘플코드에서는 queryParams* 변수에 여려가지 내용을 제공하고있는데 강의에서는 그 중 아래 네개만 선별적으로 사용하셨잖아요 &numOfRows=10 &pageNo=1 &stationName=서울 &dataTerm=DAILY 어떤 기준으로 선택하신걸까요?? * : queryParams = '?' + urlencode({ quote_plus('ServiceKey') : '서비스키', quote_plus('numOfRows') : '10', quote_plus('pageNo') : '1', quote_plus('stationName') : '종로구', quote_plus('dataTerm') : 'DAILY', quote_plus('ver') : '1.3' })

1
김영광 프로필

질문있습니다! 김영광 13일 전
    안녕하세요 강의 들으면서 쿠팡에서 상품정보 크롤링을 시도해봤는데 오류가 떠서 질문드립니다.! 크롤링이 잘 되다가 중간에 이런 오류가떠서 해결을 못하여 질문드립니다ㅠㅠ 어느 부분이 잘못되었는지 알 수 있을까요?  --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-33-10ca8f3fd97f> in <module> 39 if not item.select_one('strong.price-value') : 40 pass ---> 41 print(i+1,item_name.get_text().strip(), item_price.get_text()) 42 # item_info = [item_name.get_text().strip(), item_price.get_text()] 43 # item_lists.append(item_info) AttributeError: 'NoneType' object has no attribute 'get_text'

1
hshhs0618 프로필

페이지소스가 달라서 질문드립니다. hshhs0618 14일 전
안녕하세요, 선생님. 좋은 수업 제공해주셔서 감사합니다. 프로그램 처음 시작해서 48강까지 온 제가 너무 신기하네요.  감사합니다. 다름이 아니라 기사가 업데이트 되었는지, 강의에서 보이는 기사의 페이지소스와 제 크롬에서 보이는 페이지소스가 달라 헷갈려서 질문 드립니다. 기사 입력날짜를 크롤링하려고 아래와 같이 했는데요. 출력이 기사입력날짜, 좋아요,댓글달기, 0,0 등이 나와서요. 어떤 부분을 수정해야할지 잘모르겠습니다. 제가 쓴 코드 import requests from bs4 import BeautifulSoup res = requests.get('https://www.hankookilbo.com/News/Read/201706152032519127') soup = BeautifulSoup(res.content, 'html.parser') mydata = soup.find_all ('div','info') for item in mydata :     print (item.get_text()) 제 크롬에서 본 페이지소스 </div> <h2 class="title"> 잔금대출에도 DTI 규제 적용 검토</h2> <div class="info"> <dl> <dt>입력</dt> <dd>2017.06.15 20:09</dd> </dl> <div class="tool-bar"> <!-- .tooltip-box --> <div class="tooltip-box"> <button type="button" class="btn-like-all open-tip"> <span class="blind">좋아요</span> </button> <!-- .like-detail --> <div class="like-detail tooltip"> <ul> <li class="like" id="likeCntLi">0</li> <li class="unlike" id="dislikeCntLi">0</li> </ul> </div> <!-- // .like-detail --> </div> <!-- // .tooltip-box --> <span class="count" id="sympathyCntSpan">0</span> <button type="button" class="btn-comment"> <span class="blind">댓글달기</span> </button> <span class="count" id="commentCntSpan">0</span> </div> </div> </div>

3
김영광 프로필

안녕하세요 다름이아니라 궁금한 점이 있어서요! 김영광 14일 전
 res = requests.get('') soup = BeautifulSoup(res.content, 'html.parser') 이 부분에서 .content, html.parser부분을 제가 실전? 다른 강의에서는  text, 'lxml' 이라고 배웠었던 것이 기억이 납니다. parser부분은 여러가지가 있다고 하셨는데 어떤 것을 써도 상관은 없는건가요?? text와 content의 차이점이 있나요? 또 requests 라이브러리와 urllib 라이브러리는 똑같이 페이지를 불러오는 것으로 이해를 하면 될까요? 예전에 검색을 하다가 요즘은 requests 라이브러리를 많이 사용한다고 봤는데   그럼 그냥 둘 중 아무거나 사용을 하면 되는건지 용도가 다른것인지 궁금합니다..!  혹시 강의에서 설명을 하셨는데 제가 듣지 못해 질문을 드리는거면 죄송합니다ㅠㅠ

1
hgy917 프로필

질문 있습니다~ hgy917 19일 전
안녕하세요, 라이브러리 설치하려하는데 이렇게 뜹니다. 어떻게 해야할까요? ㅠㅠ

1
장혁 프로필

Exercise 16. 조건문 질문드립니다. 장혁 22일 전
data1 이나 data2 가 제일 작을때는 값이 출력이 되는데 data3 이 가장작을때는 출력이 되지 않는 이유를 모르겠습니다. 알려주세요!! data1 = 3 data2 = 2 data3 = 1 if data1 < data2:     if data1 < data3:         print (data1) elif data2 < data1:     if data2 < data3:         print (data2) elif data3 < data2:     if data3 < data1:         print (data3)     

1
hgy917 프로필

excercise 45 질문 있습니다~ hgy917 22일 전
안녕하세요, 강의 잘 듣고 있습니다:) 다름이 아니라 exercise 45에서  exchange[exchange_item]을 출력하면 어떻게 exchange 딕셔너리에서 value가 출력이 되는건가요?

1
You Jeong Lee 프로필

고급언어도 컴파일러나 인터프리터가 필요하지는 않나요 ? You Jeong Lee 25일 전
안녕하세요 ^^ 이제 막 공부를 시작한 학생입니다. 오늘 강의의 가장 마지막에 '고급언어와 기계어를 제외한 저급언어는 결국 기계어로 변환되어 CPU에 전달되어 실행됨' 이라고 자료에 기재되어 있었는데요,  고급언어=사람의 언어에 가깝기 때문에, 기계어로 바꾸어주는 과정이 필요한 게 아닌지 궁금합니다.  강의 열심히 듣겠습니다. 감사합니다. 

2
지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스