묻고 답해요
169만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]
[REST API] data의 교환방식 질문
- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다)- 이외의 문의등은 평생강의이므로 양해를 부탁드립니다- 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.<동적 웹사이트와 크롤링> - REST API 안녕하세요. 강의 잘 듣고 있습니다.REST API라고 하는 것이 데이터를 주고 받는 방법인 것은 알겠는데요. 이것이 프론트엔드와 백엔드의 데이터를 주고받는 방식이라고 이해하는게 좀 어려워서 부가설명을 부탁드립니다. 회사를 기준으로 이해하다보니 더 와닿지 않습니다. 제가 가끔씩 보는 사내의 IT개발은 JSP로된 2000줄 정도 되는 코드에 어떤 데이터가 필요하면, 데이터를 뽑는 쿼리를 데이터 베이스 담당하시는분한테 묻고 그 해당 쿼리를 집어넣고??하는 방식으로 하는 것 같은데, 제가 집에서하는 템플릿 코드 작성방식과와 다르지 않다고 이해해오고 있는데요. 규모가 큰 회사에서는 OPEN API 설명서처럼 백엔드에서DATA를 전달하는 방식을 구현해 놓는건가요? 그리고 한가지만 더 질문을 드리면, 제가 Flask 강의도 듣고 있는데요. 사실 백엔드와 프론트엔드의 차이를 잘 느끼지 못했습니다. 하나의 템플릿에 데이터를 넣어주는 역할까지를 백엔드가 하고 단지 프론트는 그 템플릿을 예쁘게 하는 역할을 하는것인가요? 만약 그렇다면 템플릿 상속도 있고, HTML CODE도 계속해서 변하는데 구분없이 혼자하는게 더 수월하겠다는 생각이 들어서요. 어떤 식으로 역할을 분배하고 일하는지 궁금합니다.정말 좋은 강의 잘듣고 있습니다. 감사합니다!
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
에러??
import os import openai openai.api_key = "내꺼 api key 가림" completion = openai.ChatCompletion.create( model = "gpt-3.5-turbo", messages=[{"role": "user", "connect": "Hello"}]) print(completion.choices[0].message) Traceback (most recent call last): File "C:\Users\82109\PycharmProjects\10.selenium_option\venv\openai_test.py", line 5, in <module> completion = openai.ChatCompletion.create( model = "gpt-3.5-turbo", messages=[{"role": "user", "connect": "Hello"}]) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\82109\PycharmProjects\10.selenium_option\venv\Lib\site-packages\openai\api_resources\chat_completion.py", line 25, in create return super().create(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\82109\PycharmProjects\10.selenium_option\venv\Lib\site-packages\openai\api_resources\abstract\engine_api_resource.py", line 153, in create response, _, api_key = requestor.request( ^^^^^^^^^^^^^^^^^^ File "C:\Users\82109\PycharmProjects\10.selenium_option\venv\Lib\site-packages\openai\api_requestor.py", line 226, in request resp, got_stream = self._interpret_response(result, stream) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\82109\PycharmProjects\10.selenium_option\venv\Lib\site-packages\openai\api_requestor.py", line 620, in _interpret_response self._interpret_response_line( File "C:\Users\82109\PycharmProjects\10.selenium_option\venv\Lib\site-packages\openai\api_requestor.py", line 683, in _interpret_response_line raise self.handle_error_response( openai.error.InvalidRequestError: Additional properties are not allowed ('connect' was unexpected) - 'messages.0' Process finished with exit code 1 위는 에러 메시지 입니다.
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
selenium 명령어 자동완성 안됨
vscode 사용하고 있습니다.코딩과 실행 모두 문제는 없으나selenium 관련 명령 입력할때는 김플님 강의화면과 달리 자동완성 기능이 작동하지 않습니다.예를 들어, options = Options()options.까지 입력하면 여러가지가 나오고 그 중 add_experimental_option 이 떠야되는데 그렇지 않아 매번 직접 타이핑하고 있습니다.해결방법이 있을까요?
-
미해결파이썬으로 마케팅 자동화하기
크롬이 자동으로 닫힙니다 _ 23년 4월
안녕하세요.강의 잘 듣고 있습니다.셀레니움과 웹드라이버 매니저 패키지를 설치하고 크롬 페이지 여는 부분에서 크롬이 열렸다가 빠르게 닫힙니다.(Process finished with exit code 0 라고 터미널 내 노출)현재 다운받은 셀레니움 패키지는 selenium-4.8.3웹드라이버 매니저 패키지는 webdriver_manager-3.8.5 입니다.이전 질문에 공유주신 방법대로 크롬도 최신 버전으로 업데이트하고, 아래 코드도 실행해보았으나 여전히 크롬이 자동으로 닫힙니다.from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom webdriver_manager.chrome import ChromeDriverManagerdef set_chrome_driver(): chrome_options = webdriver.ChromeOptions() driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options) return driver 답변 부탁드립니다.감사합니다.
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
다음 카페 크롤링
다음 카페 크롤링을 이 강의를 통해 하고 있습니다.다음 카페 로그인 및 해당 게시판 까지는 이동이 되는 데, 해당 글 내용에 대한 크롤링이 되지 않습니다(Xpath나 class를 이용해도 게시글이 클릭도 안되는데 그 이유가 궁급합니다.ㅠㅠ / )<a href="/_c21_/bbs_read?grpid=5RFF&fldid=Acvb&contentval=002Lizzzzzzzzzzzzzzzzzzzzzzzzz&datanum=9034&page=1&prev_page=0&firstbbsdepth=&lastbbsdepth=zzzzzzzzzzzzzzzzzzzzzzzzzzzzzz&listnum=20" class="txt_item">심한 자폐아이 </a>여기 안에 있는 내용을 가지고 오고 그 아래 부분의 글로 가지고 오려고 합니다...
-
해결됨실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
손흥민 키워드를 입력하여도, 링크 생성안되는 현상
이전 질문에 대해서 너무나도 빠른 답변 감사합니다.해결되었습니다.어떻게 해결책을 찾으셨나요?쿠팡 part빼고 완강했는데, 다 들어보겠습니다.다른 질문이 있습니다.손흥민을 input값을 받아도 단순하게 더해서는 하이퍼링크된 url이 형성되지 않습니다.저는 quote_plus를 사용해서 해결했는데,강사님은 어떻게 해서 단순하게 더해서 하이퍼링크된 url이 완성될까요?
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
쿠팡 크롤링
강사님의 훌륭한 강의력에 감탄하며 쿠팡 크롤링을 제외한 부분은 다 들었습니다. 감사합니다.쿠팡 크롤링 파트에 질문이 있습니다.3월27일 기준으로 위 방법이 막힌것같습니다.다른 방법을 찾으려고 했지만, 셀레니움 밖에 찾지 못했습니다.뷰티풀숩을 이용한 해결책은 없나요?
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
실습내용 소스
타이핑해가면서 강의를 들어야 한다는건 알고있지만다리를 심하게 다쳐서 붓기 때문에 계속 누워있어야만해서.. 휴대폰으로 간신히 강의만 듣고있습니다.퇴원후에 바로 연습해보고싶은데혹시 실습내용 소스는 따로 제공하고 있지 않으신지요?
-
미해결파이썬 셀레니움 고급편 (python selenium - 크롤링, 크롤러)
undetected_chromedriver 사용시 widow-size 가 적용이 안됩니다.
5. bot detection 피하기 고급편에 나온 소스를 그대로 적용하였습니다.다른 부분은 문제가 없고, 에러 또한 없습니다.그런데 window-size 관련된 argument 값이 적용이 안됩니다.항상 큰 사이즈의 윈도우만 오픈되고 있습니다.python 버젼은 3.11.0 입니다.버젼을 다운그레이드 해야 할까요?
-
미해결실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
네이버뷰탭검색결과크롤링2 파트에서 질문입니다.
우선 강의대로 블랙핑크, 손흥민 검색했을때 강의처럼 결과가 잘 나옵니다.제가 다른 키워드인 '제휴마케팅'으로 검색하니 첨부한 사진과 같은 결과가 나왔습니다. 혹시나 중간에 네이버 파워컨텐츠 광고가 있어서 그런건가해서 개발자도구로 코드를 비교해봤는데 그건 아닌거같고, 원인을 아직 모르겠어서 질문남깁니다.(수업처럼 크롤링 결과는 잘 나오고 맨 마지막에 아래와 같은 문구가 나왔습니다). 그리고 print(len(areas))부분도 '제휴마케팅'으로 검색했을땐 나오지 않았구요.
-
미해결[신규 개정판] 이것이 진짜 엑셀자동화다 - 기본편
엑셀 다루기 강의 질문
1. 요기서 row 가 튜플형태라고 하셨는데 어떻게 튜플형태인지 어떻게 아는지 궁금합니당데이터 바꾸는건 list 라서 바꿀수있는게 아닌가 해서용2. 아래 것이 너무 이해가 안갑니다 ㅠㅠ 순번 [A1] 부분은 어떻게 구분해서 [A2]부터 1,2,3,...입력되는 것인지 궁금합니다.i =0 으로 시작 > i 가 0이 아닌경우 cell.value = i ?i = 0 for cell in wns['A']: if i !=0: cell.value = i i = i + 1
-
해결됨[신규 개정판] 이것이 진짜 엑셀자동화다 - 기본편
쿠팡 list 생성 중
엑셀 파일관리 예제 _쿠팡 건에서 딕셔너리를 활용하려고 했는데 자꾸 오류가 나서 혹시 아래 딕셔너리 사용하는 방법으론 할 수 있는 방법이 없을까요?? import openpyxl import random wb = openpyxl.Workbook() ws= wb.active ws.title = 'data' \data 입력 item_list = {'기계식 키보드' : 120000, '게이밍 마우스' : 40000, '32인치 모니터' : 350000, '마우스 패드' : 20000 } \랜덤 추출 data = random.randint(5,10) qty = random.randint(1,5) item = random.randint(1,4) \첫행 입력 ws['A1'] = '순번'; ws['B1'] = '제품명'; ws['C1'] = '가격' ws['D1'] = '수량'; ws['E1'] = '합계' for i in range(data): name = random.choice(item_list) ws.append([i+1, name, item_list.values, qty, f'=C{i+2}*D{i+2}']) ws = wb.save('11번가')
-
해결됨[신규 개정판] 이것이 진짜 엑셀자동화다 - 기본편
Pip install AUTOGUI 설치관련 문의
Pip install AUTOGUI 설치관련 문의 드립니다.아래 설치가 안됩니다.
-
미해결[신규 개정판] 이것이 진짜 엑셀자동화다 - 기본편
pip 설치 불가
>>> 형태가 아니라서 ctrl+z 로 해결되지 않아 그게 문제는 아닌거같아 문의 드립니다.
-
미해결[자동화 완전 정복] 인스타그램 휴대폰, 웹 자동화 프로그램 개발
MVWAER 질문 있습니다
안녕하세요 MVwaer를 사용는 처음이라 막히는 부분이 있어 질문남깁니다.MVware 실행후 윈도우ISO까지 설치까지 완료 해야하나요??그리고 모든 교육은 MVwaer (가상컴퓨터)에서 하신거죠??? 파이썬 라이브러리도 가상컴퓨터 안에 설치하신거구요??
-
해결됨[신규 개정판] 이것이 진짜 엑셀자동화다 - 기본편
시스템에 부착된 장치가 작동하지 않습니다.
안녕하세요, 셀레니움 활용 - 네이버 메일 자동화하기를 보면서 따라하고 있는데 실행시 터미널에 [18264:6540:0311/233731.555:ERROR:device_event_log_impl.cc(218)] [23:37:31.555] USB: usb_device_handle_win.cc:1046 Failed to read descriptor from node connection: 시스템에 부착된 장치가 작동하지 않습니다. (0x1F) 라는 문구가 뜹니다. 해당 문구를 무시해도 되나요?
-
미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
웹툰 사이트 body 안에가 안불러져옵니다.
<body> 태그 하위<div id="root"> 태그 하위에 실제 사이트 html이비어져서 옵니다.
-
미해결파이썬 셀레니움 고급편 (python selenium - 크롤링, 크롤러)
Chrome Network로 연결후 Packet 을 분석하는 방법
1.Chrome Network로 연결후에 Packet Network 분석하는 방법은 없을까요?Packet 툴로 잡히지 않는 것 같아서 다른 방법이 있나 문의드립니다. 2.문의사항이 있어 다른글에 남겨놓으신 카톡으로 연락을 드렸는데, 확인부탁드립니다.
-
미해결파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간)
네이버 웹툰을 활용한 BeautifulSoup 강좌에서 인터페이스가 달라졌습나다.
웹 크롤링을 하려 하니까 인터페이스가 완전히 갈아엎어져서 이거 뭐 어떻게 해야할지를 모르겠네요
-
해결됨파이썬 셀레니움 고급편 (python selenium - 크롤링, 크롤러)
몇가지 문의사항이 있어서 올립니다
서두에 얘기하신 것처럼 찾기어려운 정보가 포함되어 있고, 도움이 많이 되었습니다.몇가지 문의사항이 있어서 올립니다.1.selenium 으로 정상작동했는데, undetected_chromedriver 로 바꾸면 사이즈가 굉장히 넓게 나오네요options.add_argument(f'--window-size=360,640')다른 소스는 동일하고 --window-size 도 동일하게 넣었는데, 이상하네요.강의 영상으로 봐도 소스는 동일한 걸로 보이는데, 무슨 차이가 있을까요?=> 확인된 내용 추가로 적습니다.https://github.com/ultrafunkamsterdam/undetected-chromedriver/issues/1100현재 최신버젼은 3.4.6 버젼인데 위 내용으로 보면 3.4.5 버젼부터 작동되지 않는다고 하네요.3.4.4 버젼으로 다운시키니 정상작동됩니다.안되시는 분들은 참고하시기 바랍니다. 최신버젼으로 사용가능한 방법이 있으면 알려주시기 바랍니다.아래 답변 참고하세요2.네이버의 경우 --headless나 --incognito 를 사용해도 영향이 있을까요?