묻고 답해요
164만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
scrapy shell 오류
안녕하세요 윈도우10 cmd 으로 사용중입니다 scrapy shell 'http://corners.gmarket.co.kr/Bestsellers' 이렇게 하니까 아래와 같은 오류가 나옵니다 ecommerce폴더 안에 ecommerce폴더 안에서 실행한겁니다 문과라서 이런 오류 나오면 당황스럽네요 ㅠㅠ 2020-05-05 17:44:17 [scrapy.utils.log] INFO: Scrapy 2.1.0 started (bot: ecommerce) 2020-05-05 17:44:17 [scrapy.utils.log] INFO: Versions: lxml 4.5.0.0, libxml2 2.9.5, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 20.3.0, Python 3.8.2 (tags/v3.8.2:7b3ab59, Feb 25 2020, 22:45:29) [MSC v.1916 32 bit (Intel)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1g 21 Apr 2020), cryptography 2.9.2, Platform Windows-10-10.0.18362-SP0 2020-05-05 17:44:17 [scrapy.utils.log] DEBUG: Using reactor: twisted.internet.selectreactor.SelectReactor 2020-05-05 17:44:17 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'ecommerce', 'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter', 'LOGSTATS_INTERVAL': 0, 'NEWSPIDER_MODULE': 'ecommerce.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['ecommerce.spiders']} 2020-05-05 17:44:17 [scrapy.extensions.telnet] INFO: Telnet Password: 1cdc2161cb05e638 2020-05-05 17:44:17 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.telnet.TelnetConsole'] 2020-05-05 17:44:18 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2020-05-05 17:44:18 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] 2020-05-05 17:44:18 [scrapy.middleware] INFO: Enabled item pipelines: [] 2020-05-05 17:44:18 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 2020-05-05 17:44:18 [scrapy.core.engine] INFO: Spider opened 2020-05-05 17:44:18 [scrapy.downloadermiddlewares.robotstxt] ERROR: Error downloading <GET http://'http/robots.txt>: invalid hostname: 'http Traceback (most recent call last): File "c:\python38\lib\site-packages\scrapy\core\downloader\middleware.py", line 44, in process_request return (yield download_func(request=request, spider=spider)) ValueError: invalid hostname: 'http Traceback (most recent call last): File "c:\python38\lib\runpy.py", line 193, in _run_module_as_main return _run_code(code, main_globals, None, File "c:\python38\lib\runpy.py", line 86, in _run_code exec(code, run_globals) File "C:\Python38\Scripts\scrapy.exe\__main__.py", line 7, in <module> File "c:\python38\lib\site-packages\scrapy\cmdline.py", line 143, in execute _run_print_help(parser, _run_command, cmd, args, opts) File "c:\python38\lib\site-packages\scrapy\cmdline.py", line 98, in _run_print_help func(*a, **kw) File "c:\python38\lib\site-packages\scrapy\cmdline.py", line 151, in _run_command cmd.run(args, opts) File "c:\python38\lib\site-packages\scrapy\commands\shell.py", line 74, in run shell.start(url=url, redirect=not opts.no_redirect) File "c:\python38\lib\site-packages\scrapy\shell.py", line 45, in start self.fetch(url, spider, redirect=redirect) File "c:\python38\lib\site-packages\scrapy\shell.py", line 112, in fetch response, spider = threads.blockingCallFromThread( File "c:\python38\lib\site-packages\twisted\internet\threads.py", line 122, in blockingCallFromThread result.raiseException() File "c:\python38\lib\site-packages\twisted\python\failure.py", line 488, in raiseException raise self.value.with_traceback(self.tb) ValueError: invalid hostname: 'http 오류 문구가 여기까지 입니다
-
미해결홍정모의 따라하며 배우는 C언어
버퍼 이해 안가는점
버퍼에 관해서 여러번 질문드렸었는데 많이 해결됬습니다 그런데 생각하다보니 한 가지 안풀리는게 있어서 질문드립니다 빌드를 하고 콘솔창이 나오면 * 3 3 이런식으로 할 수 도 있고 * 엔터(\0) 3 3(\0) 이렇게 입력할 수 있습니다 * 3 3 \0라면 버퍼에 \0를 없애주기 위해 while~continue 이해 됩니다 그런데 * \0 3 3 \0라면 뒤에 scanf 쪽에서 버퍼 없애주는 건 알겠는데 c=getchar쪽에의 \0의 버퍼는 없애줄 필요가 없는건가요?
-
미해결누구나 따라하면서 배우는 JSP 커뮤니티 게시판 만들기
해당 jsp 프로젝트의 구조가 어떻게 되죠?
해당 프로젝트는 .jsp 파일에서 프론트엔드와 백엔드 코드가 동시에 사용되기 떄문에 모델1 구조인가요?
-
해결됨[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part1: C# 기초 프로그래밍 입문
Convert에 Toint32가 정의되어 있지 않다고 하네요?
비주얼 스튜디오 2019에서 위와 같은 경고문구를 받았는데 어떻게 해야하나요?
-
미해결남박사의 파이썬 기초부터 실전 100% 활용
코드 소스 파일
코드만 쭉 보면서 따라해보고 싶은데 혹시 파일을 받을 수있을까요?
-
미해결페이스북 클론 - full stack 웹 개발
질문있습니다 :)
페이스북 로그인 창에서 -> post url로 post url에서 다시 로그아웃 누르면 로그인 창으로 가기 위해서 설정해주신 부분인데요.(config에 urls.py에 쓰신 내용입니다) lambda가 뭐에 쓰는지는 아는데, 어떤 원리로 앞서 말한 기능이 구현된건지 설명해주시면 감사하겠습니다.
-
미해결Python을 이용한 주가 백테스팅 시스템 구축하기
강의 자료/소스는 어디서 받을 수 있을까요?
삭제된 글입니다
-
미해결C 프로그래밍 - 입문부터 게임 개발까지
%[^\n]s 질문
죄명에 띄어쓰기를 포함하고 싶어서 %[^\n]s를 써봤는데, 입력 자체가 안됩니다 ㅠㅠ 어디가 잘못된걸까요? 아래 코드는 s 없이 %[^\n]으로 바꾼건데, 그래도 결과는 같습니다. ㅠㅠ int main(void) { char name[256]; printf("당신의 이름은 무엇입니까? : "); scanf_s("%s", name, sizeof(name)); int age; printf("당신의 나이는 몇살입니까? : "); scanf_s("%d", &age); float weight; printf("당신의 몸무게는 몇 kg입니까? : "); scanf_s("%f", &weight); float height; printf("당신의 키는 몇 cm입니까? : "); scanf_s("%f", &height); char what[256]; printf("무슨 잘못으로 오셨나요? : "); scanf_s("%[^\n]", what, sizeof(what)); printf("\n\n\n----- 취조 결과 -----"); printf("이름 : %s\n", name); printf("나이 : %d\n", age); printf("몸무게 : %.1f\n", weight); printf("키 : %.1f\n", height); printf("범죄명 : %s\n", what); return 0; }
-
미해결홍정모의 따라하며 배우는 C언어
6강 while 루프 사용에서 질문이 있습니다.
안녕하세요 선생님의 강의와 c 기초 플러스 6판 교재를 함께 이용해가면서 공부하고 있습니다. c 기초 플러스 6판 교재 중 여기서 while ( status == 1) 의 의미는 status 의 값이 1이면 while문을 무한 반복하게 될것인데 왜 처음 scanf 입력에 1의 값을 대입해도 무한 반복이 되지 않는지 궁금합니다.
-
미해결스프링 시큐리티
logout 요청이 강의내용처럼 GetMapping을 타지 않는것 같네요
/logout 요청이 GetMapping을 안타고 시큐리티 기본?을 타는거 같습니다. SecuritConfig.java에서 http.logout() 주석처리 되어있고 로그아웃시 /login?logout으로 이동하는데 어떤부분이 문제인가요??
-
미해결Vue.js 완벽 가이드 - 실습과 리팩토링으로 배우는 실전 개념
eslint 문법 검사
선생님 강의 들으면서 쭈욱 다 설치하고, eslint도 설치되어 있는데 , 따라하면서 저는 오류가 나오지 않습니다. vue.config.js 파일에 lintOnSave도 true로 해도 오류를 잡아주지 않는데 이건 왜그런건가요 ??? ㅜ
-
미해결프로그래밍 시작하기 : 파이썬 입문 (Inflearn Original)
**kwargs 관련 질문입니다.
**kwargs식의 함수를 호출할 떄, parameter 값을 이렇게, ------------------------------------------- kwargs_func(name1 = 'Lee', name2 = 'Park', name3 = 'Cho') ------------------------------------------- 주게 되는데, name2라는 key 값을 숫자로 (예를들어 2)로 입력하게 되면 오류가 발생합니다. 원래 key 값을 숫자로 못주는건지요?? def kwargs_func(**kwargs): #매개변수명 자유 for v in kwargs.keys(): print("{}".format(v), kwargs[v]) print('--------') kwargs_func(name1 = 'Lee', name2 = 'Park', name3 = 'Cho') print('>>>>>')
-
해결됨따라하며 배우는 노드, 리액트 시리즈 - 기본 강의
process.env.NODE_ENV
강의 너무나 잘보고 있습니다.궁금한 게 있는데 process.env는 제가 설정을 따로 안했는데도 쓸 수 있는걸 보니,노드를 설치하면 따라오는 process객체를 통해 접근하는 거로 이해가 가는데요.그렇다면 1.NODE_ENV도 노드설치시 process.env객체 안에 자동으로 있는 key이기에 사용가능한가요? 2. process.env.NODE_ENV === 'production'은 헤로쿠 통해 배포시에 사용하는 것은 알겠는데 npm start 실행시 production일지 / dev일지는 제가 따로 안 준것 같은데 별 말 없으면 노드는 자동으로 dev모드로 실행하는 건가요???
-
미해결Vue.js 중급 강좌 - 웹앱 제작으로 배워보는 Vue.js, ES6, Vuex
질문드립니다.
vue.js 관련 메뉴얼을 보는데, 강좌하고 다소 관련은 없으나 궁금해서 여쭤봅니다. https://vuejs.org/v2/style-guide/ 에 접속하면 오른쪽 상단에 +버튼이 있고, "앱을 설치하시겠습니까?"라는게 있는데 따로 API를 사용해서 구현하나요? 자세한 설명 부탁드립니다.
-
미해결프로그래밍 시작하기 : 파이썬 입문 (Inflearn Original)
*args 관련 질문입니다.
안녕하세요. *args 관련하여 질문 드립니다. 아래와 같이 제가 직접 코드를 짜봤습니다. test_func를 호출할 때 parameter를 list나 tuple type의 변수를 넣었을 때 아래와 같이 index가 1개밖에 없는것으로 나오는데요....수업시간에 했던 것 처럼, test_func('Lee', 'Park', 'Kim') 이런식으로 풀어서 parameter 값을 넣어야 하는건가요? <<<코드>>> def test_func(*args): for i, v in enumerate(args): print('index :', i, '\nvalue :', v) print('function 실행 완료') l1 = ['haneol', 'taekon', 'Yoon'] t1 = ('Apple', 'Pear', 'Strawberry') test_func(t1) <<<실행결과>>> index : 0 value : ('Apple', 'Pear', 'Strawberry') function 실행 완료
-
해결됨남박사의 파이썬 기초부터 실전 100% 활용
검색어 랭킹과 비슷하게 다른 문제를 만들어 보았습니다.
다음에서 날씨 정보를 크롤링 해와서 프린트 해주는 예제 입니다. import requests from bs4 import BeautifulSoup import time def time_function(f): def wrapper(*args,**kwargs): start_time = time.time() result = f(*args,**kwargs) end_time = time.time() -start_time print("{} {} time {}".format(f.__name__,args[1],end_time)) return wrapper @time_function def r_find_all(url , parser): r = requests.get(url) if r.ok : bs = BeautifulSoup(r.text,parser) #print(bs) lists = bs.select(".list_weather > li") for li in lists : areaName = li.find("span" ,{"class": "txt_part"}).get_text() temper = li.find("span" ,{"class": "txt_temper"}).get_text() status = li.find("strong").get_text() print("지역 : {} | 날씨 : {} | 온도 : {}".format(areaName,status,temper)) @time_function def r_select(url,parser): r = requests.get(url) if r.ok : bs = BeautifulSoup(r.text,parser) lists = bs.select(".list_weather > li") for li in lists : areaName = li.find("span" ,{"class": "txt_part"}).get_text() temper = li.find("span" ,{"class": "txt_temper"}).get_text() status = li.find("strong").get_text() print("지역 : {} | 날씨 : {} | 온도 : {}".format(areaName,status,temper)) #naver가 이제 바뀌었기 때문에 다음의 날씨 정보로 가져오자 print("다음에서 가져온 날씨 정보") r_find_all("https://www.daum.net","html.parser") r_select("https://www.daum.net" , "lxml")
-
미해결자바 ORM 표준 JPA 프로그래밍 - 기본편
인텔리제이 jpql 작성시 색깔구분, 자동완성 기능 문의..입니다!
안녕하세요 강사님 수업에 관련된 내용은 아니지만 질문을 드릴게 있습니다! 현재 인텔리 제이 커뮤니티 버전을 사용하여 수업을 진행하고 있는데 jpql작성 시 강사님 영상처럼 색깔구분과 자동완성이 지원되지않고 텍스트로만 작성이 되어서요.. 혹시 따로 플러그인을 설치하거나 셋팅해야되는 부분이 있는지 문의 드립니다!! ㅜ
-
미해결누구나 따라하면서 배우는 JSP 커뮤니티 게시판 만들기
jre설치여부
jre도 설치하고 환경변수도 설정해줘야 하는건가요?
-
미해결[개정판] 파이썬 머신러닝 완벽 가이드
graphviz 모듈이 설치 관련 문의드립니다.
안녕하세요. 섹션 4에서 graphviz 모듈 설치와 환경변수 설정에 대해 알려주셨는데요. 강사님께서 한대로 수행했으나, 주피터에서 실행해보니 No module named 'graphviz' 이라는 에러가 뜨네요. 명령 프롬프트 창에서 conda install -c graphviz 로 설치했고, 환경변수 편집에서 Path를 동영상에서 알려주신대로 했는데 뭐가 문제일까요? 구글링 해보니, 명령 프롬프트 창에서 conda로 설치했을 때와 pip로 설치했을 때의 경로가 다르다고 하여, 환경변수 path 편집을 각각 맞춰서 수정도 해봤는데 안되네요... 이것 때문에...다음 강의를 못듣고 있네요 ㅠㅠ 빠른 답변 부탁드립니다..
-
해결됨파이썬 알고리즘 문제풀이 입문(코딩테스트 대비)
섹션 6-6 중복순열 구하기, 전역변수 관련
main의 변수명과 함수의 변수명이 겹칠 경우 에러가 나는 이유는 어떤 변수가 지역이고 전역인지 구분할 수 없는 상태에서 변수 값을 변경할 수 없기 때문입니다. 따라서 전역변수 값을 함수 내에서 변경하기 위해서는 해당 변수 앞에 global로 표기하고 사용해야 하는 것으로 이해합니다. 제가 궁금한 것은 리스트의 경우, global 표기를 하지 않음에도 불구하고 main에서 선언된 'res' 리스트가 DFS 함수 내에서 에러 없이 어떻게 값을 변경할 수 있는지입니다. 첫문단에서 말씀 드린 제 이해가 잘못된 것인지, 추가적인 이해가 더 필요한 것인지 알고 싶습니다.