25%
49,500원
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
내용
만약에 크롤링 하고싶은 단어가있는 페이지가 있는데 그 단어가 들어있는 페이지도 있고 안들어있는 페이지도 있어서 밑에 번호로 1, 2 , 3 , 4 등등으로 페이지가 이렇게 넘어가게 되는 경우는 어떻게 할수있을까요? 따로 한번에 크롤링 하는 방법이 있을까요 ? 아니면 하나하나 크롤링해서 정보를 모으는 건가요?
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
네이버 사이트 크롤링 (연습) 오류
안녕하세요... 뻔한 낮은 수준질문일 수 있지만 기 질의응답 내용을 보고도 제 문제와 연결지어 생각이 잘 안되서요... 네이버 GNB 메뉴 리스트를 크롤링해보고 싶었습니다. ■개발자모드에서 (노랑 바탕칠 부분)이 해당 영역을 뜻하는것을 확인하고 ■아래와 같이 작성해보았는데 import requests from bs4 import BeautifulSoup res = requests.get('https://www.naver.com/') soup = BeautifulSoup(res.content,'html.parser') titles = soup.find('div', id='gnb') for title in titles: print(title.get_text()) ■ 이런 오류문구가 뜨는데... GNB 영영을 텍스트로 가져올수 없다 라고 하는거같은데 왜 어떤 차이점 떄문에 못가져오는지 궁금합니다.. --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-24-15ace1329085> in <module> 7 titles = soup.find('div', id='gnb') 8 for title in titles: ----> 9 print(title.get_text()) ~\anaconda3\lib\site-packages\bs4\element.py in __getattr__(self, attr) 869 raise AttributeError( 870 "'%s' object has no attribute '%s'" % ( --> 871 self.__class__.__name__, attr)) 872 873 def output_ready(self, formatter="minimal"): AttributeError: 'NavigableString' object has no attribute 'get_text' 답변 부탁드려요 감사합니다.
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
33번문제 질문드립니다
data = input() var = data.split(',') for i in range(4): print(var[i]) 미리 풀어봤을떄 저는 이렇게 썻는데 이렇게 코딩하는것 보다 풀어주신거처럼 코딩하는게 더 좋은 코딩인가요?
- 해결됨파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
split() 함수 사용시 결과값이 잘못나오는 이유는 뭘까요?
.split('[') 함수 사용시 결과 값이 틀린 이유는 뭘까요?
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
선생님 수강기한이요.....
선생님 수강기한이요..... 제것은 기한이 있는데,,,, 지금 구매하는 사람들은 무제한이네요.... • 수강을 계속 듣고 싶은데요.... 또 결재를 해야 하나요?
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
크롤링 후 결과가 3줄씩 출력되는데요
선생님, 안녕하세요. 강의 정말 잘 듣고 있습니다. 그런데 Css selector 사용해서 크롤링하기2 / table 부분에서 코드를 강의와 동일하게 입력했는데 출력 결과물이 다르게 나와서요. 제가 무엇을 실수했는지 좀 알려주시겠어요? 감사합니다. 제가 작성한 코드 res=requests.get("https://davelee-fun.github.io/blog/crawl_html_css.html") soup=BeautifulSoup(res.content,'html.parser') items=soup.select('tr') for item in items: columns=item.select('td') row_str='' for column in columns: row_str +=column.get_text() print(row_str) 결과물 일정 일정커리큘럼 타이틀 일정커리큘럼 타이틀난이도 5.1 ~ 6.15 5.1 ~ 6.15나만의 엣지있는 블로그 사이트 만들기 (취미로 익히는 IT) 5.1 ~ 6.15나만의 엣지있는 블로그 사이트 만들기 (취미로 익히는 IT)초급 6.16 ~ 7.31 6.16 ~ 7.31파이썬과 데이터과학 첫걸음 (IT 기본기 익히기) 6.16 ~ 7.31파이썬과 데이터과학 첫걸음 (IT 기본기 익히기)중급
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
동일하게 코딩 작성을 한 것으로 보이는데, 왜 숫자만큼 문자열이 나오지 않는지 궁금합니다.
(사진)
- 해결됨파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
exercise 문제 file은 어디에 있습니까?
안녕하십니까? exercise file이 제공된 곳을 알려주십시요.
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
변수명
변수에 지정할떄 name 은 왜 ""을 쓰고 hobby 는 왜 ''를 쓰신건가요 무슨차이가 있는 건가요
- 해결됨파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
변수이름[n:n] 관련
변수이름[1:4] 라면 첫번째 글자에서 세번째 글자 까지 출력이 되는데, [-1:-3]이면 끝의 두글자가 출력되어야하는 것 아닌가요? 출력이 아무것도 안돼서 질문 드립니다.
- 해결됨파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
수업 자료 관련
안녕하세요. 8강 수강중인데요, 수업자료로 올려주신 python question1-web 은 아래 사진과 같이 답이 밑에 다 달려있는데 영상에서는 답이 다 안달려 있어서요. 혹시 답 안달려 있는 자료는 어디서 얻을 수 있을까요?
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
네이버 카페 크롤링 문의!
안녕하세요 드디어 첫 강의 완강 했습니다 :) 좋은 강의, 재밌게 이끌어 주셔서 감사합니다. 가끔씩 박수 쳐주실 때 (?) 은근 힘이 나더라구요 ㅎㅎ 다름이아니라, open api 에서 카페글 크롤링을 해보고자 했습니다. 키워드는 '제네시스'를 넣어서 진행을 해보았는데요, 우선 open api에 설명되어 있는 부분은 강사님이 네이버-쇼핑에서 알려준 것 활용하여 하다 보니, 다 얻어졌습니다. import requests import pprint client_id = "아이디" client_pw = "비번" naver_api = 'https://openapi.naver.com/v1/search/cafearticle.json?query=제네시스&display=100' header_params = {"X-Naver-Client-Id":client_id, "X-Naver-Client-Secret":client_pw} res = requests.get(naver_api, headers=header_params) data = res.json() for item in data['items']: print(item['title'], item['cafename'], item['description']) 이제 한 발 더 나가서, 지마켓 사례로 보여주신 크롤링 내 크롤링을 해보고자 했습니다. url 들어가서 판매업자 텍스트 가져오듯, 카페 Url 들어가서 요약된 description이 아닌, full article을 가져오고자 했어요. import requests import pprint client_id = "아이디" client_pw = "비번" naver_api = 'https://openapi.naver.com/v1/search/cafearticle.json?query=제네시스&display=100' header_params = {"X-Naver-Client-Id":client_id, "X-Naver-Client-Secret":client_pw} res = requests.get(naver_api, headers=header_params) data = res.json() for item in data['items']: res2 = requests.get(item['link']) soup2 = BeautifulSoup(res2.content, 'html.parser') article = soup2.find_all('div.article_container') print(item['title'], item['cafename'], article.get_text())) 문제는, 여기서 select를하든, find_all을 하든, 무엇을 하든 아무 내용을 가져오질 못합니다 ㅠㅠ article_container에 본문 전체 내용이 있지만, 별도로 진행을 해보아도 결과값은 '[]'로 뜨네요.. 그래서, 한 줄만 먼저 따와보기로 했습니다. import requests from bs4 import BeautifulSoup res = requests.get('https://cafe.naver.com/imyoona/1472807') soup = BeautifulSoup(res.content, 'html.parser') data = soup.find_all('div>p') print(data) >>> [] 출력 이렇게 한 줄 씩 해봐도 안되었구요, 댓글 가져오기도 시도해보았습니다만, 역시나 안됩니다 ㅠㅠ 네이버에서 막은 걸까요? 제 코드가 잘못된 걸까요? 저는 사실 최종적으로 '여러 페이지'의 '모든 텍스트/댓글'을 데이터 마이닝 하여서, '감성분석'을 하는 것이 목표입니다. 제네시스 키워드로 작성된 글에 가장 많이 나오는 단어가 '고급' '현대차' '흉기차' 등이 있다면,, 키 워드 비율별로 차트를 만들고, 시각화 하는 것이 목표인데 당장 네이버에서 막혔네요...ㅎ 강사님의 다른 강의들도 (최근 오픈하신거 제외하고^^;;) 신청 했는데, 혹시 'selenium' 강의를 들으면 이런 부분까지 진행할 수 있는 걸까요~? 질문이 길어졌는데 3가지로 요약하자면, 1. 제 코드가 잘못된 것인지, 네이버가 막은 것인지 궁금합니다. 2. 네이버가 막은 것이라면, 혹시 어떻게 해결해야 할까요? 방법은 없는 걸까요? 3. 제 최종 목표인 '모든 텍스트를 데이터마이닝 하여서 감성 분석'하는 내용은 혹시 다음 selenium에서 진행 되나요?!
- 해결됨파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
typeError 관련 질문입니당
아래 그림에서,, 이렇게 하면 에러가 나는데,, 왜 그럴까요 ㅠ
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
반복 크롤링 시 get_text() 결과 None인 경우를 건너뛰는 방법?
안녕하세요. 저는 학술연구에 활용하기 위해서 이 수업을 듣고 있습니다. 파이썬 관련해서 예전에 다른 인터넷 강의를 듣었는데 이해가 잘 안돼서 흥미를 잃고 있었는데, 선생님께서는 너무 쉽게 설명해주셔서 많은 도움이 되고 있습니다. 감사합니다. 저는 수업내용을 바탕으로 신문기사를 크롤링하는 실습을 해보았습니다. 해당 신문사에서 키워드로 기사를 검색한 후 제목을 크롤링하고, 각 기사에 들어가서 기사 내용을 크롤링하는 방식으로 여러 페이지에 걸쳐 진행하는 작업을 하였습니다. 그런데 다수의 기사의 제목과 내용을 크롤링하다보니까 대부분은 동일한 구조를 가지고 작성되어 있어서 원하는 데이터를 추출할 수 있었지만, 간혹 다른 구조로 작성된 기사가 있어서 제가 추출을 원하는 부분의 css 언어와 불일치하여 None으로 표기가 되며 크롤링을 멈추는 상황이 발생하였습니다. 이럴 경우에 None으로 표기되는 기사를 건너뛰고 후속작업을 계속 진행하게 하려면 어떻게 해야하나요? 제가 if 구문을 사용해서 작성을 해보려고 하였는데 데이터가 없다는 것을 어떻게 표현해야할지 모르겠습니다. 감사합니다.
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
강의중 제공하는 파일들 메일로 받아 볼 수 있을까요?
안녕하세요. 강의 잘 듣고 있습니다. 혹시 학습시에 제공하는 학습자료들을 한개의 압축파일로 받아 볼 수 있을까요? 매번 강의 볼때마다 자료다운받아서 보기하는데 받은 자료 정리가 사실 좀 힘들어서요. 가능하시다면 rbals7195@gmail.com 로 보내주시면 감사하겠습니다.
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
https://finance.naver.com/sise/sise_deal_rank.nhn
여기서 기관 순 매수 상위 7만 따로 뽑고 싶은데 자꾸 밑에 있는 인기검색어랑 같이 딸려오네요 태그 보니까 summary 빼곤 다 똑같은데 자꾸 포함되는데 summary로 구분하는건 어떻게 하나요?
- 해결됨파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
52번 53번 문제 실행오류 문의.
선생님...정말.. 다르게 입력한것이 없는디.. 왜 오류가 날까요 ㅠㅠ 어엉엉 52번 53번
- 해결됨파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
크롤링한 데이터에서 다시 크롤링할 때 발생하는 에러
안녕하세요! 혼자 해보는데 계속 안돼서 강의를 보고 그대로 코드를 따라 적었는데요, 그래도 계속 오류가 납니다ㅠㅠ 어디가 잘못된걸까요?
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
쥬피터 노트북 주기적인 에러
*표가 너무 자주 뜨네요 왜 뜨는지와 해결방법은 강의 들어서 알고 있습니다 하지만 저만 그런지 이게 떠도 너무 자주뜨네요 사용하긴 참 편리한데 좀 하다보면 *표 떠서 막히고 다 중지하고 그래도 안되면 아나콘다 앱 껐다 다시키고 또 하다가 막히고 계속 반복하는데 어디 근본적인 해결방법이 없을까요? 너무 답답합니다
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
증권 주식 크롤링 관련
네이버 증권 주식 크롤링 관련 강의를 듣고 혼자 연습 중 import requests from bs4 import BeautifulSoup res = requests.get('https://finance.naver.com/sise/sise_quant.nhn') soup = BeautifulSoup(res.content, 'html.parser') title = soup.select('div.contentarea div.box_type_l > table > tbody tr') for titlename in title: titlename_real = titlename.select_one('td a') print(titlename_real.get_text()) 출력이 계속 안되는데, 혹시 왜그런지 알 수 있을까요? table 에 들어간 것을 크롤링 하는건 처음이라 잘 안되는것 같습니다.