66,000원
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
감사 * 질문
너무 재밌게 잘보았습니다. 배운 내용 써보는게 너무 재밌어서 1주일간 잠을 제대로 못잤습니다. 헌데, 궁금한점이 하나 있습니다.클래스101의 데이터 강좌와 인프런 강좌중 어떤 것을 들어야할지 고민이네요. 시간이 많다면야 인프런의 데이터 강좌를 단계별로 천천히 듣고싶은데, 현실이 그렇지가 못해서 말입니다. 클래스 101 강좌를 우선 듣고 실무에 써야할 것은 일단 쓰고, 인프런 강좌는 천천히 보고싶은데 제가 잘못생각하는 부분이 있다면 알려주세요.
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
라이브러리 실행 오류 문제입니다ㅠㅠ
라이브러리 실습 중에서 'googletrans' 이용해서 하는 부분에서 오류가 납니다. 터미널에서 pip install googletrans 하고 설치 확인 후 import 했는데 모듈이 없다는 오류가 떠서 주피터셀에서 ! pip install googletrans 실행 후 오류없이 돌아가는걸 확인했는데 갑자기 다시 해보려니까 --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-49-936b1565202d> in <module> 1 from googletrans import Translator 2 a = Translator() ----> 3 word=a.translate('안녕.', dest='en') 4 word.text C:\ProgramData\Anaconda3\lib\site-packages\googletrans\client.py in translate(self, text, dest, src, **kwargs) 180 181 origin = text --> 182 data = self._translate(text, dest, src, kwargs) 183 184 # this code will be updated when the format is changed. C:\ProgramData\Anaconda3\lib\site-packages\googletrans\client.py in _translate(self, text, dest, src, override) 76 77 def _translate(self, text, dest, src, override): ---> 78 token = self.token_acquirer.do(text) 79 params = utils.build_params(query=text, src=src, dest=dest, 80 token=token, override=override) C:\ProgramData\Anaconda3\lib\site-packages\googletrans\gtoken.py in do(self, text) 192 193 def do(self, text): --> 194 self._update() 195 tk = self.acquire(text) 196 return tk C:\ProgramData\Anaconda3\lib\site-packages\googletrans\gtoken.py in _update(self) 60 61 # this will be the same as python code after stripping out a reserved word 'var' ---> 62 code = self.RE_TKK.search(r.text).group(1).replace('var ', '') 63 # unescape special ascii characters such like a \x3d(=) 64 code = code.encode().decode('unicode-escape') AttributeError: 'NoneType' object has no attribute 'group' 이런 알수도없는 오류창이 떠서ㅠㅠ 도저히 어떻게 해아할지 감이 안잡히네요 도와주세요ㅠㅠㅠ
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
strip()에서 공백을 포함할 때와 포함하지 않을 때 차이
(1) ' 000550\n# '.strip('\n#') : 이렇게('\n#') 코드를 실행하면 원래 문자열 그대로 출력되는 데요, (2) ' 000550\n# '.strip(' \n#') : 공백을 포함하면(' \n#') 의도한 데로 '000550' 이 출력됩니다. 왜 공백을 포함해야 특정 문자가 삭제되나요? 공백의 유무에 의해
- 해결됨파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
웹 크롤링
여기까지 매우 재밌게 보았습니다. 실습중에 궁금한건, bs4로는 '더보기'가 있는 웹페이지는 크롤링이 불가능한지요? 구글링해보니 selenium 이라는 라이브러리가 있던데, 이 다음단계 강의에서 이 부분도 추가로 다루는지 궁금합니다
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
nonetype object
안녕하세요 ! 패턴으로 실습하며 익히기 : HTML 이해를 바탕으로 크롤링하기 강좌 12:11 을 주피터 노트북에서 실행하던 중에 class_ 를 이용해서 데이터의 문자열만 추출하려고 string함수를 적용시켰더니 'NoneType' object has no attribute 'string' 이라는 오류가 떠서요. 혹시 이런 경우는 왜 발생하는걸까요..?
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
강좌 코드가 실행이 안됩니다.
파이썬버전 3.8.3이고요 import requests from bs4 import BeautifulSoup res = requests.get("https://davelee-fun.github.io/blog/crawl_test") soup = BeautifulSoup(res.content, "html.parser") section = soup.find("ul", id = "dev_cource_list") 여기까지는 실행됩니다. 그 후로 안됩니다. 버전문제일까요? titles = section.find_all("li","course") AttributeError Traceback (most recent call last) <ipython-input-46-b1221549ad55> in <module> ----> 1 titles = section.find_all("li","course") AttributeError: 'NoneType' object has no attribute 'find_all'
- 해결됨파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
안녕하세요 open api 데이터 관련해서 문의드립니다.
안녕하세요 !! import requests service_key = '인증키' params = '&numOfRows=10&pageNo=1&sidoName=서울&searchCondition=DAILY' open_api = 'http://openapi.airkorea.or.kr/openapi/services/rest/ArpltnInforInqireSvc/getCtprvnRltmMesureDnsty?ServiceKey=' + service_key + params res = requests.get(open_api) print(res.text) 해당 코드를 실행하면, 전체 데이터중 일부 데이터만 가져오게 되는데 , 전체 데이터를 한꺼번에 출력하는 방법은 없을까요??? 답변해주시면 감사하겠습니다ㅎㅎ
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
크롤링을 위한 지식: 정부 제공 공공데이터 Open API 사용법 수업 자료
안녕하세요. 수업 너무 잘 듣고 있어서 우선 감사한다고 말씀드리고 싶습니다,, 질문은 공공데이터 api 가져오는 부분인데요, 몇번이고 비교하면서 확인해봤는데, 다 맞게 쓴거 같구요. 일단 postman에서는 정상적으로 출력이 됩니다. 그런데 postman에서도 같은 url을 쓰는데도 몇 초 간격으로 데이터 오류가 나거나 정상적으로 출력이 되거나 하더라구요. 질문은,, 저 오류가 뜨는 이유와 postman에서 같은 url을 쓰는데도 어떤때는 데이터오류가 나고 어떤때는 또 정상적으로 출력되는 이유가 궁금합니다. 감사합니다
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
딕셔너리로는 크롤링 명령을 못내리나요?
안녕하세요. 바로 실전 크롤링해보기: 네이버 쇼핑 사이트 크롤링하기의 8분 48초에 대해 질문 있습니다. site list에 여러 사이트를 넣어두고 반복했는데, 이떄 헷갈리지 않게 위에 사이트명을 print(site)로 적으셨잖아요. 저는 사이트 명 대신 패션이나 인테리어같이 한글로 적고 싶은데요. 어떻게 반복문 와중에 각각의 사이트주소를 한글로 대치할 수 있을까 고민하다가 딕셔너리로는 되지 않을까 해서 해봤는데요. 키값인 한국어를 불러오기도전에 변수명.values에서부터 오류가 먹네요. site_list={'패션':'https://search.shopping.naver.com/best100v2/detail.nhn?catId=50000000'} from bs4 import BeautifulSoup import requests res = requests.get(site_list.values()) soup = BeautifulSoup(res.content,'html.parser') items = soup.select('#productListArea > ul > li > p > a') for item in items: print(item.get_text()) 아무래도 No connection adapters were found for "dict_values(['https://search.shopping.naver.com/best100v2/detail.nhn?catId=50000000'])" 로 뜬걸로 보아 안되는 것 같은데 앞서 말씀드린 것처럼 사이트주소를 한글로 바꾸려면 어떤 방법이 있을까요?
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
70번 문제 질문있습니다.
데이터 구조 리스트 학습할때 리스트를 반복하는 방법에 의하면 a = ['Fun'] b = 3 a * b 결과값 >['Fun', 'Fun', 'Fun'] 이런 결론이 나옵니다 문제를 풀며 가장 자연스럽게 익숙해지는 파이썬 기본: 함수 활용 13분10초 부터 시작되는 70번 문제에 아래와 같이 적용했더니 글자 하나하나 반복이 되네요 def print_string(data1, data2): return list(data1) * data2 print_string("Fun", 3) 결과값 > ['F', 'u', 'n', 'F', 'u', 'n', 'F', 'u', 'n'] 이렇게 나오는 원인을 알고 싶습니다~!
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
인기검색종목에서 금액과 상승 추출하는 방법이요!
안녕하세요. 선생님! 실전에서 크롤링하는 방법을 너무 쉽게 알려주셔서, 처음 배우는데도 정말 재미있게 배우고 있습니다..! 감사합니다. 2분 8초에서는 '인기검색종목'에서 종목 리스트 추출하는 법을 알려주셨는데, 이후에 7분 30초경 '주요해외지수' 설명처럼 '인기검색종목'도 금액과 상승/하락을 추출해보려고 했습니다. 그런데 아래 사진처럼 오류가 떴는데 이유를 잘 모르겠어서 질문드립니다. 왼쪽이 copy element 한 텍스트고, 오른쪽 위쪽이 '상위종목'만 리스트한 것, 그리고 아래쪽이 금액과 상승/하락 추출을 시도한건데요. 코드는.. import requests from bs4 import BeautifulSoup res=requests.get("https://finance.naver.com/sise/") soup=BeautifulSoup(res.content,'html.parser') data=soup.select('#popularItemList > li > a') for item in data: print(item.find('a').get_text()) 라고 했습니다. 확인 부탁드립니다. 감사합니다!
- 해결됨파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
아나콘다 네비게이터 실행 오류
아나콘다 네비게이터가 아래와 같이 에러 나면서 실행이 안되네요 ㅠ.ㅠ 기본 브라우저는 크롬입니다. github 에서 비슷해 보이는 이슈에 아래와 같이 내비게이터 업데이트 하라는 코멘트가 있어서 해봤는데 그래도 안되네요; This issue was fixed in a later build of Navigator 1.9.12 and should be also fixed in 1.10.0. Can you update Anaconda-Navigator to 1.10.0 and see if it fixes the issue for you? In a terminal, conda update anaconda-navigator ========================================================================
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
웹구조와 CSS 이해하기2 13분 ~
"유사한 구조를 가진 내용들은 디자인을 달리하는 경우가 많다는 겁니다." 이거 사실은 "디자인을 비슷하게 하는 경우가 많다는 겁니다" 가 맞는 거죠 교수님?
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
css 셀렉터 다른 셀렉터를 참조할 경우 사용법.
안녕하세요 강의 잘 듣고 있습니다. 이제 강의 다 끝나가서 다음강의도 준비 중에 있습니다. css selector을 활용하고 싶은데 수업 해 주신 내용만으로는 안되는 부분이 있어서 질문 드립니다. ------------------------------------------------------------------- <td> <em>11/06</em> <a href="javascript:date_check('20201106','0','')"> <span class="off">이부분을 가져와야 합니다.<br></span> </a> </td> -------------------------------------------------------------------- 이런 식의 코드가 있을때 제가 원하는 부분은 span태그 안의 부분입니다. 그런데 저 부분을 하기 위해서는 2가지 방법이 있을것 같은데 1. em테그안의 내용이 '11/06'인 부분을 찾고 거기 부모태그(td)로 다시 올라가고 그 안의 a태그 - span태그의 내용을 가져온다. 2. a코드 안의 내용중 '20201106'이 들어간걸 찾고 그 밑에 있는 span 태그안의 내용을 가져온다. 이런 방법들이 있을것 같은데 여기서 배운걸 활용해볼려고 하니 좀 막히는 부분이 있네요. 부모자식간 상위요소로 다시 가는 방법 및 태그 안의 요소가 아니라 내용(text) 자체로 셀렉터를 검색하는 방법을 알고 싶습니다.
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
여러 페이지 한번에 크롤링하는 기법 수업 중에서
강의 너무 재미있습니다. 궁금한 것은 여러 페이지 한번에 크롤링하는 코드에서 page_num 이 등장하는데, 이것이 임의로 설정한 변수인지 아니면 특별한 기능이 있어서 꼭 이것을 써야하는지 궁금합니다. 만약 임의 변수라면 for page_num in range(10) 에서 0부터 10까지 page_num에 적용될 때, url 'https://davelee-fun.github.io/page' 뒤에 어떻게 자동으로 숫자가 넣어지는지 궁금합니다.
- 해결됨파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
소수점 자리표시 및 줄바꿈
섹션1의 6번째 강의 2:57에서 1. interest = 0.897을 선언하고 소수 2자리수까지 출력하려 할 때 저는 format 함수를 사용하지 않고 다음과 같이 코드를 작성해서 사용해 왔었습니다. print("%.2f" % interest) 위 코드와 format함수를 사용했을 때의 차이, 그리고 위와 같이 사용하지 않고 format 함수를 사용하는(예를 들어 코드가 길어짐에 따라 따라올 수 있는 불편함이라든지 단순히 가독성이 떨어진다든지 등등) 이유가 있는지 궁금합니다. 1-1 추가적으로 0.897을 소수점 둘째 자리까지 출력할 때 반올림 하지 않고 그냥 0.89로 잘라서 출력할 수 있는 라이브러리 함수나 방법은 없는지도 궁금합니다. 2.섹션1의 6번째 강의 Exercise 10번 (강의 15:35)에서 저는 문제를 풀때 다음과 같이 코드를 작성했습니다. 그런데 print( a, "+", b ,"=", a+b, "\n", a, "*", b, "=", a*b) 와 같이 코드를 작성하면 출력 시 4 % 4 = 0 4 / 4 = 1 위과 같이 2번째 줄이 자동으로 들여쓰기가 되던데 이를 해결하는 방법은 print 함수를 따로 다음 줄에 작성하는 것 외에는 없는지 궁금합니다.
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
메인에 있는 탑100은 코드가 살짝 다른데 어떻게 해야 얻을 수 있을까요?
강의 듣던 중 네이버쇼핑의 다른 화면에서도 활용해보고싶어서 해보다가 혼란에 빠졌습니다 ㅠ 왜 출력물이 1,2,3,4,5등까지만 나오는 걸까요? import requests from bs4 import BeautifulSoup res = requests.get('https://search.shopping.naver.com/search/category?catId=50000003&frm=NVSHCAT&origQuery&pagingIndex=1&pagingSize=80&productSet=total&query&sort=rel×tamp=&viewType=list') soup = BeautifulSoup(res.content, 'html.parser') board_lists = soup.select('div.basicList_info_area__17Xyo') for index, board_list in enumerate(board_lists): title = board_list.select_one('div.basicList_title__3P9Q7>a') print(index+1, title.get_text()) 제 코드가 위의 내용이구요. 출력은 아래의 내용만 나옵니다. 1 LG전자 LG퓨리케어 WD502AW(렌탈) 2 SK매직 WPU-A1100C (렌탈) 3 쿠쿠전자 쿠쿠 CDW-A0611TW 4 빅쏘 아이폰 12 / 아이폰 12 프로용 레빅 투명 하드 케이스 5 삼성전자 삼성 갤럭시 핏2이 부분이 셀럭터 복사한 부분인데요.#__next > div > div.style_container__1YjHN > div > div.style_content_wrap__1PzEo > div.style_content__2T20F > ul > div > div:nth-child(1) > li > div > div.basicList_info_area__17Xyo > div.basicList_title__3P9Q7 > a "div:nth-child(1)" 여기서 숫자가 1부터 100까지 올라가야 탑100이 출력이 되는데,, 계속 5에서 멈추는 것 같습니다. 'div:nth-child(' + str(i) + ')' 이런식으로 저 안의 숫자를 100까지 올릴 수 있도록 포문을 다르게 구성해보고 해봐도 도무지 감이 안잡히네요,,
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
Response 403??
이런 저런 사이트를 크롤링해보려고 하는 중에, 특정 사이트(에브리타임)을 크롤링하려하자 잘 안되더군요. res = requests.get('https://everytime.kr/') print(res) 리턴 값으로 이게 나옵니다 "resresponse 403" 이 말은 셀레니움을 쓰지 않는 한 저 사이트를 크롤링하지 못한다는 의미일까요??? 검색해보니 headers={"User-Agent" : "Mozilla/5.0"} 이런 헤더를 추가하면 정상 작동 된다고 하여 적용해보니 되긴 되더라구요. 리스폰스 200으로 나왔습니다. 제가 한 가지 걱정되는건, 헤더에 저런걸 추가해줬을 경우 그 사이트에서 저를 알아볼 수 있는 방법은 없나요? 제가 저 헤더를 사용하면 저는 일반 사용자로 인식되기 때문에 제가 추후에 차단당할 가능성은 없는 것일까요??
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
안녕하세요 크롤링 오류 관련해서 질문 드립니다.
https://post.naver.com/viewer/postView.nhn?volumeNo=29825987 이 사이트의 위쪽에 있는 제목 부분을 긁어오고 싶은데 그럴수가 없어서 어쩔 수 없이 <title>태그를 사용해서 긁어왔습니다. h3로 긁어오고 싶었는데 자꾸 'object has no attribute 'get_text'' 이런 오류가 떠서 긁어올 때 에러 메세지가 나오더라구요 다른 질문답변에서 답변하신 내용을 보니 xml 값이 없다는 말씀을 하신것 같은데... 비전공자라 그런지 잘 모르겠습니다 ㅠㅜ 혹시 위 내용 관련해서 답변과, 제가 함께 공부할 수 있는 구글링 키워드, 또는 블로그 같은것 추천 해주시면 감사하겠습니다!
- 미해결파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
쥬피터 노트북 실행에러가 발생합니다.
아래와 같이 에러가 뜨는데, 검색해도 확인이 어려워 질문드립니다 ㅠ [W 15:36:27.995 NotebookApp] Permission to listen on port 8888 denied.Traceback (most recent call last):File "C:\ProgramData\Anaconda3\Scripts\jupyter-notebook-script.py", line 10, in sys.exit(main())File "C:\ProgramData\Anaconda3\lib\site-packages\jupyter_core\application.py", line 270, in launch_instancereturn super(JupyterApp, cls).launch_instance(argv=argv, **kwargs)File "C:\ProgramData\Anaconda3\lib\site-packages\traitlets\config\application.py", line 663, in launch_instanceapp.initialize(argv)File "", line 2, in initializeFile "C:\ProgramData\Anaconda3\lib\site-packages\traitlets\config\application.py", line 87, in catch_config_errorreturn method(app, *args, **kwargs)File "C:\ProgramData\Anaconda3\lib\site-packages\notebook\notebookapp.py", line 1769, in initializeself.init_webapp()File "C:\ProgramData\Anaconda3\lib\site-packages\notebook\notebookapp.py", line 1490, in init_webappself.http_server.listen(port, self.ip)File "C:\ProgramData\Anaconda3\lib\site-packages\tornado\tcpserver.py", line 151, in listensockets = bind_sockets(port, address=address)File "C:\ProgramData\Anaconda3\lib\site-packages\tornado\netutil.py", line 176, in bind_socketssock.listen(backlog)OSError: [WinError 10014] 호출에 대한 포인터 인수를 사용하려는 동안 시스템에서 잘못된 포인터 주소를 감지했습니다