안녕하세요크롤링 연습사이트 접속이 되질 않는데 사이트 주소가 변경된건가요~?

requirements.txt 설치하는 파일 다시 좀 업데이트 해주셨으면 좋겠습니다. 

fdr.StockListing('KRX') JSONDecodeError: Expecting value: line 1 column 1 (char 0)

VS수업 따라가고 있는 수강생입니다. "여러 페이지로 구성된 사이트 수집"강의 2분 30초 경 ad를 추출하셨는데, 추출한 데이터가 어떻게 바로 title에 적용되었는지 의문이 들어 질문 남깁니다. 현재 카카오맵에 광고라는 글자가 없어서 확인이 불가하네요..

위와 같이 입력했는데 soup 출력값이 전혀 안나와서 len 으로 확인해보니 0로 나오네요. 혹시나 해서 언론사 사이트 주소로 바꿔봤는데 html 정보 정상적으로 받아오는건 확인 했어요 강의 시점이랑 멜론 사이트가 뭐가 바뀐건지앞 강의에서 네이버 부터 막혀서 해결되기전에 먼저 보려고 했는데 또 바로 막히네요...

네이버 뷰탭 실습부터 막혔는데요 지금은 뷰탭이 없어서 블로그 탭으로 대체해서 보고 있습니다.네이버 사이트가 전체적으로 강의 시점이랑 html 구조가 많이 다른것 같아요그리고 어떤 선택자를 선택해도 결과 출력이 되지 않길래 html를 출력해봤는데 검색 결과 자체가 안나오는 것 같더라구요 이 결과는 User Agent 를 지정하지 않았을 때 결과구요  위와 같이 User Agent를 적용하면 결과가 400 Bad Request로 떠요 url 프린트 해서 나오는 링크로는 검색결과로 제대로 접속되고 있어요왜 이런건지 알 수가 없어서 질문드립니다.시작부터 막히니 막막하네요 ㅠㅠ  

1단계-크롤링한 링크 올바르게 동작하게 만들기강의 내용 중에a 태그가 있는데 클래스나 아이디 같은 별명이 없어서 부모 태그에서 내려온다고 하셨는데,크롤링할때는 꼭 class나 ID를 먼저 찾아야 하나요?아니면 단순히 a 태그가 너무 많아서 부모 태그를 먼저 찾은 다음에 내려오는건지 궁금합니다.

가장 마지막에 element를 찍어서 확인하는 부분까지는 일치하게 나오는데 element.text를 하니까 아래와 같은 에러가 나옵니다.AttributeError: 'list' object has no attribute 'text'아무래도 리스트 형태로 인식하는 것 같아 아래처럼 수정 후에 찍어보면 제대로 나오는데요. element[0].text혹시 패키지 버전 때문에 발생하는 문제인지가 궁금합니다.

네이버 로그인 자동화 프로그램 제작하기 코드에서used_id, user_pw 의 값은 어디서 받아오는 건가요?

이 파일 못찾겠어요

리퀘스트 다운로드 하려고 시키는대로 pip install retqsts 했더니 아래문구가 뜨면서 안돼요[notice] A new release of pip is available: 25.2 -> 25.3[notice] To update, run: python.exe -m pip install --upgrade pip

문제에 답이 다 달려있는건 정말 치명적인 상황인 듯 한데요, 답이 있는줄 알았다면 교육 수강을 안했을 정도입니다. 부디 정답 없는 문제만 있는 버전도 공유를 해주실수 있을까요? 예전에 관련 답변은 달아 두셨던데 이용자가 취사선택 할 수 있는 부분이 강제되니 불편하네요

38강에 = 연산자 빼고 더하는 부분이 있는데 그 코드랑 # string_list.append(user_input[-1].strip()) 이 코드랑 의도가 다른걸까요? 혼자 해보다가 이 방법만 떠올라서요 ㅠㅠ

안녀하세요.홈페이지가 구조가 바뀌어서 강의랑 화면구조가 일치하지 않는데 어떻게 코드를 작성해야 제목과 링크가 나올까요?  어떻게 수정해야 될지 문의드립니다.

안녕하세요 강의 잘 수강하고 있습니다.현재 subject, link, content, press, date를 추출하는데 만약 해당 값들 중 하나가 없다면 검증은 어떤 식으로 하시나요??제가 생각한 방법은 pydantic으로 검증하여 해결할 수 있지 않을까 생각하는데 너무 오버엔지니어링인지 강사님은 어떻게 유연하게 처리하는지 궁금합니다. 예시를 들기 위해 pydantic으로 한 코드 첨부합니다.  from typing import Annotated import requests from bs4 import BeautifulSoup from urllib.parse import urljoin, urlencode from datetime import datetime from pydantic import AfterValidator, BaseModel, HttpUrl, field_validator def non_empty_str(v: str) -> str: s = (v or "").strip() if not s: raise ValueError("빈 문자열입니다.") return s def valid_url(url: str) -> str: try: response = requests.get(url) # throw error if status 4xx, 5xx response.raise_for_status() return url except Exception as _: raise ValueError("유효하지 않은 URL입니다.") def valid_date(date: str) -> str: v = (date or "").strip() if not v: raise ValueError("빈 문자열입니다.") try: datetime.strptime(v, "%Y-%m-%d %H:%M:%S") return date except ValueError: raise ValueError("유효하지 않은 날짜 형식입니다.") class NewsItem(BaseModel): subject: Annotated[str, AfterValidator(non_empty_str)] detail_article_url: Annotated[str, AfterValidator(valid_url)] content: Annotated[str, AfterValidator(non_empty_str)] press: Annotated[str, AfterValidator(non_empty_str)] article_date: Annotated[str, AfterValidator(valid_date)] ROOT = "https://finance.naver.com/" PATH = "news/mainnews.naver" def get_news_page_url(page: int, date: str): base_url = urljoin(ROOT, PATH) query_string = urlencode({"date": date, "page": page}) return f"{base_url}?{query_string}" def get_detail_news_url(path): return urljoin(ROOT, path) def get_current_date(format: str ="%Y-%m-%d") -> str: now = datetime.now() return now.strftime(format) def crawl_news_per_page(soup: BeautifulSoup): result = [] news_per_page = soup.select(".block1") for article_card in news_per_page: # subject subject = article_card.select_one(".articleSubject > a").text # detail article link detail_article_url = get_detail_news_url(article_card.select_one(".articleSubject > a").get("href")) # content content_tag = article_card.select_one(".articleSummary") content = content_tag.contents[0].strip() press = content_tag.select_one(".press").text.strip() article_date = content_tag.select_one(".wdate").text.strip() new_item = NewsItem(subject=subject, detail_article_url=detail_article_url, content=content, press=press, article_date=article_date) result.append( new_item.model_dump() ) return result def crawl_all_news(page_total_count: int, date: str): result = [] for page in range(1, page_total_count + 1): request_url = get_news_page_url(page, date) response = requests.get(request_url) soup = BeautifulSoup(response.text, "html.parser") result.extend(crawl_news_per_page(soup)) # 마지막 페이지 검증 if (not soup.select_one(".pgRR")): break return result all_news = crawl_all_news(20, get_current_date()) print(all_news)

그리고 등업 좀 해주세요..

안녕하세요, Dave 선생님! 강의 잘 듣고 있습니다. [질문 내용]크롤링을 위해 requests, BeautifulSoup을 임포트할 때 가르쳐주신 바와 같이 아래처럼 실행했습니다.import requests from bs4 import BeautifulSoup위와 아래가 같은 임포트 방식이나 아래는 관용구처럼 쓰이는 방식이라고 보면 될까요?bs4도, BeautifulSoup도 같은 것을 지칭하는 게 아닐까 싶어 조심스레 여쭙습니다. [추가 내용]보통 검색하거나 챗GPT로 찾아보곤 하는데인프런 추석 연휴 챌린지에 강의 질문 미션이 포함되어 있어 질문 남겼습니다.간단한 질문임에도 불구하고 확인해주셔서 감사합니다. 😭

안녕하세요.좋은 강의 감사합니다.아직 강의를 완전히 제 것으로 만들기에는 시간이 부족해서 강의 외 질문드립니다.강의 주제와 관련은 있으나 강의 관련 질문은 아니니 가볍게 답변해 주시면 됩니다.  증권데이터 수집, 분석 강의를 수강한 이유가 주식 자동매매 프로그램을 만들고 싶어서입니다.가족 중 한 분이 투자한 많이 물려 있는 주식을 정리해야 하는데, 항상 주식 그래프를 보고 있을 수가 없어서 자동매매 프로그램 제작에 관심을 갖게 되었습니다. 한국투자증권, 키움증권이 REST API를 지원해서 이 두 회사용으로 만들어 보려고 합니다.처음에는 조건을 주고 자동매매하고, 추후에는 강화학습을 활용해서 완전 자동화를 해보고 싶습니다.프로그램이 계속 돌면서 Discord로 알림 메시지를 보내는 걸로 하려고 합니다. 혹 유사한 사례나 참고할 자료, 프로그램 개발 방향에 대한 조언 등이 있으면 알려 주시면 감사하겠습니다.    

안녕하세요제 40강의 '카카오 톡딜 크롤링'과제에 대하여정확히 코드를 입력해서원하는 정보는 다 크롤링이 되었습니다. 그런데 엑셀로 저장해서 열어보면 아래와 같은 문제가 잇습니다. 엑셀을 열었을때 링크의 하이퍼링크가 활성화가 안됩니다. 이 문제는 모든 엑셀파일에서 나타납니다. 설정에서 웹형태의 문자는 하이퍼링크로 되게끔하였지만 파란색으로 활성화가 안되고 셀을 한번 클릭해야만 활성화가 됩니다.그런데, 톡딜 과제에서만 이 두번째 문제가 발생하는데, 파란색으로 하이퍼링크 활성화가 되어 클릭해봐도 아무런 창이 열리지가 않습니다. 어떤문제인지 모르겠어요. vs code에서는 단순히 크롤링한 링크를 출력하면 창이 잘 열립니다(수업에서 선생님이 하신것과 동일하게). 그런데 datafram 만들고 엑셀로 저장해서 열면 하이퍼링크 활성화도 안되어 있고, 셀을 클릭해서 파란색으로 변해도 브라우저가 열리지 않습니다. 이렇게 되면 최종 output을 고객이 받아도 문제가 생길것 같은데... 어떤문제일까요? 엑셀에 문제가 있는걸까요.. 부탁 드립니다.

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 강의 내용중에 셀레니움 PDF자료를 보면서 하시던데, 받을 수 있는 곳이 있나요?