inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

묻고 답해요

172만명의 커뮤니티!! 함께 토론해봐요.

뉴스기사 크롤링 css선택자 선정의 어려움......도와주세요....

미해결

[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요! 쌤 인프런, 유튜브 강의 보면서 잘 만들어 가고 있었는데 현재 코드에서 아무리 수정을 해도 css를 잘못 가져오는건지 오류가 생겨서 답답해서 질문 들고 왔습니다 현재 css 코드 찾기 좀 부탁드릴게요ㅠㅠ 안되는 항목 ✔ 연예뉴스 -> 내용을 못 가져옴 ✔ 스포츠뉴스 -> 제목, 날짜, 내용 다 못 가져옴 css를 여러개 바꿔서 넣어봐도 저는 자꾸 찾을 수 없다고 크롤링 됩니다 도와주세요,,,,,,, #네이버기사 크롤링 엑셀저장 import requests from bs4 import BeautifulSoup import time import pyautogui from openpyxl import Workbook #사용자입력 keyword = pyautogui.prompt("검색어를 입력하세요") lastpage = int(pyautogui.prompt("몇 페이지까지 크롤링 할까요?")) #엑셀 생성 wb = Workbook() #엑셀시트 생성 ws = wb.create_sheet(keyword) #열 너비 조절 ws.column_dimensions['A'].width = 60 ws.column_dimensions['B'].width = 30 ws.column_dimensions['C'].width = 60 ws.column_dimensions['D'].width = 150 #행 번호 row = 1 #페이지 번호 pageNum = 1 for i in range(1, lastpage*10, 10) : print(f"{pageNum}페이지 크롤링중입니다 =================") response = requests.get(f"https://search.naver.com/search.naver?where=news&query={keyword}&sm=tab_opt&sort=1&photo=0&field=0&pd=3&ds=2024.04.11&de=2024.15.20&news&query={keyword}&start={i}") html = response.text soup = BeautifulSoup(html, 'html.parser') articles = soup.select("div.info_group") #뉴스기사 div 10개 추출 for article in articles: links = article.select("a.info") #리스트 time.sleep(0.7) if len(links) >= 2: #링크가 2개 이상이면 url = links[1].attrs['href'] #두번째 링크의 href를 추출 response = requests.get(url, headers={'User-agent': 'Mozilla/5.0'}) html = response.text soup_sub = BeautifulSoup(html, 'html.parser') content = soup_sub.select_one("#newsct_article") if content: content_text = content.get_text(separator="\n") else: content_text = "내용을 찾을 수 없습니다." title = None date = None #만약 연예 뉴스라면 if "entertain" in response.url: title = soup_sub.select_one(".end_tit") date = soup_sub.select_one("div.article_info > span > em") content = soup.select_one("#articeBody") #만약 스포츠 뉴스라면 elif "sports" in response.url: title = soup_sub.select_one(".Main_article_title") content = soup.select_one("._article_content") else: title = soup_sub.select_one(".media_end_head_headline") date = soup_sub.select_one("span.media_end_head_info_datestamp_time._ARTICLE_DATE_TIME") #본문 내용안에 불필요한 div, p제거 divs = content.select("div") for div in divs: div.decompose() paragraphs = content.select("p") for p in paragraphs: p.decompose() print("=======제목======= \n", title.text.strip() if title else "제목을 찾을 수 없습니다.") print("=======날짜======= \n", date.text if date else "날짜를 찾을 수 없습니다.") print("=======URL======= \n", url) print("=======내용======= \n", content.text.strip() if content else "내용을 찾을 수 없습니다") # 'else' 블록에서 'date' 변수 정의는 여기서 끝나도록 수정 ws['A1'] = '제목' ws['B1'] = '날짜' ws['C1'] = 'URL' ws['D1'] = '내용' ws[f'A{row}'] = title.text.strip() if title else "제목을 찾을 수 없습니다." ws[f'B{row}'] = date.text.strip() if date else "날짜를 찾을 수 없습니다." ws[f'C{row}'] = url ws[f'D{row}'] = content_text.strip() if content else "내용을 찾을 수 없습니다." row=row+1 #마지막 페이지 여부 확인하기 next_button = soup.select_one("a.btn_next") if next_button: isLastPage = next_button.attrs.get('aria-disabled', None) if isLastPage == 'true': print("마지막 페이지 입니다.") break pageNum = pageNum+1 wb.save(f"{keyword}_4월_뉴스기사_크롤링(4)_내용까지_0411~0415(3).xlsx")

  • python
  • 웹-크롤링
댓글 3 좋아요 0 조회수 441

실습 자료에 명시된 쿼리문들이 짤려있습니다.

미해결

MySQL 성능 최적화

Index_Dive_Optimization_.pdf 파일을 참고하여 쿼리를 확인중인데 짤려있다보니 확인이 힘듭니다. 그 밖에 Multiple-Column Indexes관련 내용도 그렇고 자료 검토좀 부탁드립니다.

  • sql
  • mysql
  • dbms/rdbms
  • optimizing
이한솔 댓글 1 좋아요 0 조회수 234

my.cnf에 설정이 오타로 인해 잘못 들어가서 구동이 안될때는 어떻게 해야할까요?

미해결

MySQL 성능 최적화

안녕하세요. my.cnf 설정에 local_infile=ON 설정을 넣어야하는데 오타로 local_infole=ON이 들어가게 되었어요. 그 다음 컨테이너 재시작을 하니 unknown variable 'local_info=ON'라고 하며 종료되어 컨테이너 구동이 안되는데, 어떻게 고쳐야 할까요?

  • sql
  • mysql
  • dbms/rdbms
  • optimizing
이한솔 댓글 1 좋아요 0 조회수 315

내장함수로 감싸진 칼럼의 order by 최적화는 불가능할까요?

미해결

MySQL 성능 최적화

내장 함수를 사용한 경우에도 Order By 최적화가 가능할까요? 예를 들어 아래와 같이 쿼리를 작성했는데, MONTH로 감싸진 칼럼에는 인덱스 적용이 안되서, using temporary와 using filsort가 나왔는데요. 내장함수를 사용해서 그루핑 및 정렬하는 경우에는 어쩔수 없는지 궁금합니다. select Month(tb1.id) as MONTH, count(tb1.id), SUM(tb1.price), count(tb2.id) from tb1 tb1 left join tb2 tb2 on tb1.id = tb2.tb1_id where tb1.created_at BETWEEN '2024-01-01' and '2024-05-01' group by MONTH order by MONTH; 실제 운영상황에서도 이런 쿼리 요구사항이 있다고 할때에는 쿼리를 분리해서 여러번 처리하고 애플리케이션 단에서 처리해야할까요?

  • sql
  • mysql
  • dbms/rdbms
  • optimizing
세진:) 댓글 2 좋아요 0 조회수 242

client encoding 관련 질문 드립니다

미해결

데이터 분석 SQL Fundamentals

맥으로 강의 수강 중 아래와 동일한 문제를 겪고 있습니다. https://www.inflearn.com/questions/533059/%EC%8B%A4%EC%8A%B5-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%85%8B%ED%8C%85-%EA%B4%80%EB%A0%A8-%EB%AC%B8%EC%9D%98-mac-%ED%99%98%EA%B2%BD 현재 상태는 아래와 같으며, show client_encoding; 실행시 UTF8 SELECT pg_encoding_to_char(encoding) FROM pg_database WHERE datname = 'postgres'; 실행시 EUC_KR 이전에 수행하신 psql에서 postgresql client encoding을 다시 EUC-KR로 변경하시고, 마찬가지로 DBeaver에서 Client encoding 을 다시 EUC-KR로 변경하시고 테스트 해보시기 바랍니다. >> 위에서 DBeaver에서 Client encoding 을 다시 EUC-KR로 변경해보라고 하셔서 set client_encoding = 'EUC_KR' ; 실행시 아래와 같은 에러 문구가 나오고 있습니다. 혹시 해결 방법이 있을까요? SQL Error [22021]: ERROR: invalid byte sequence for encoding "EUC_KR": 0xec0x9d

  • sql
  • postgresql
  • dbms/rdbms
이미란 댓글 3 좋아요 0 조회수 838

Hot reload 오류 문의 드립니다.

해결됨

기초부터 배우는 Next YTMusic 클론 코딩 (with next.js 14, UI 마스터)

안녕하세요 강사님은 코드 수정 후 브라우저에서 바로바로 확인이 되는 것 같은데 저는 코드를 수정할 때 마다 아래의 오류가 발생해서 매번 다시 yarn dev를 해줘야 수정한 내역이 확인이 되다 보니 강의를 따라 진행 하는대 집중이 되질 않네요. 혹시 아래의 에러가 발생 되지 않게 하는 방법이 있는 것인지 문의 드립니다. 감사합니다. 수고하세요. =================================================================== ⨯ [Error: UNKNOWN: unknown error, open 'D:\study\react\workspace\yt-music-clone-next\.next\static\chunks\app\layout.js'] { errno: -4094, code: 'UNKNOWN', syscall: 'open', path: 'D:\\study\\react\\workspace\\yt-music-clone-next\\.next\\static\\chunks\\app\\layout.js' ===================================================================

  • react
  • 인터랙티브-웹
  • 클론코딩
  • next.js
  • tailwind-css
  • zustand
itdeveloper 댓글 2 좋아요 1 조회수 696

안녕하세요 선생님

미해결

모두의 한국어 텍스트 분석과 자연어처리 with 파이썬

안녕하세요 선생님 대학교에서 캡스톤디자인을 수행하고 있는 학생입니다. 판결문에서 사건의 원인,판결 결과,가중·감소 처벌 요소,키워드를 추출하고 싶은데 어떤 기술을 사용해야할지 막막하여 질문올리게 되었습니다. 거대언어모델은 지양하라고 교수님께서 말씀하셨습니다..ㅜ 조언을 주신다면 감사하겠습니다.

  • python
  • 머신러닝
  • 빅데이터
  • NLP
  • 텍스트마이닝
  • data-clustering
  • 데이터-리터러시
큐펀치 댓글 1 좋아요 0 조회수 332

show_templates() 함수의 키워드 아규먼트 질문

해결됨

Airflow 마스터 클래스

안녕하세요 강사님! dags_python_with_ templates.py 파일에서 show_templates 함수를 아무 인자도 넣지 않고 실행을 시키는데요, dag 실행시 출력되는 키워드 인자들은 에어플로우 태스크 객체에 기본으로 입력되는 값들인가요? 정확한 원리가 궁금하여 여쭤봅니다

  • python
  • 데이터-엔지니어링
  • airflow
방효석 댓글 2 좋아요 0 조회수 335

인덱스? 파티셔닝? 관련 문의 드립니다

해결됨

갖고노는 MySQL 데이터베이스 by 얄코

안녕하세요 얄코님 좋은 강의 덕분에 하루 하루 성장해가는 1인 입니다 혹시 인덱스, 파티셔닝 이런 용어들이 있어 찾아봐도 이해가 잘 되지 않더라구요 추 후에 샤딩?, 레플리케이션?, 파티셔닝, 인덱스등 DB 튜닝? 관련하여 강의를 출시할 예정이 있으신가요?

  • sql
  • mysql
  • dbms/rdbms
  • 데이터-엔지니어링
홍태경 댓글 1 좋아요 0 조회수 308

11gR2 에서 REAL_ORD 테이블 생성시 DEFAULT 시퀀스 문제

미해결

Oracle PL/SQL 딱 이만큼.. [개념+실전]

안녕하세요. 오라클 버전 상관 없다고 하셨던 것 같은데.. 제가 지금 11gR2 로 테스트 중인데요. REAL_ORD 테이블을 생성하는데 DEFAULT 로 시퀀스를 지정 했더니 테이블 생성이 안 되고 있는데요. 이거 버전이 낮아서 그런걸까요?

  • sql
  • oracle
  • PL/SQL
hmryu 댓글 2 좋아요 0 조회수 555

5-6 JOIN 연습문제 6번

해결됨

초보자를 위한 BigQuery(SQL) 입문

수업을 들으며 항상 감사한 마음으로 강의 잘 듣고 있습니다. 5-6번 JOIN 연습문제 5번까지 풀이가 있고, 6번은 없었습니다ㅠㅠ 어디서 확인 할 수 있을까요? 답변 부탁드립니다! (문제) 각 배틀에서 참가한 두 플레이어의 이름과 승자의 이름을 출력해 주세요.

  • sql
  • bigquery
  • 데이터-리터러시
apple9633 댓글 1 좋아요 1 조회수 170

관련 책이 언제 나올까요?

미해결

파이썬/장고 웹서비스 개발 완벽 가이드 with 리액트 (장고 4.2 기준)

관련 도서 출간은 언제쯤 예상하시나요? 건강하시길 바라요~

  • react
  • python
  • django
  • web-api
  • htmx
bigseoul 댓글 1 좋아요 0 조회수 220

강의자료 부탁드립니다

미해결

프로그래밍 시작하기 : 파이썬 입문 (Inflearn Original)

안녕하세요 강의 자료 부탁드립니다 감사합니다

  • python
jiho 댓글 1 좋아요 0 조회수 162

SQL 설치 오류

미해결

Do it! SQL 입문

아래 화면이 뜨면서 설치 완료가 안됩니다. 강의 내용대로 기본 c드라이브 경로로 저장했고 컴퓨터 용량도 충분합니다. 삭제/재설치를 해도 동일하게 발생합니다. Exit code(Decimal):-2061893606Error description: 데이터베이스 엔진 복구 핸들을 기다리지 못했습니다. SQL Server 오류 로그를 참조하여 가능한 원인을 확인하십시오.

  • sql
댓글 1 좋아요 1 조회수 1305

멀티 선택 단축키

해결됨

기초부터 배우는 Next YTMusic 클론 코딩 (with next.js 14, UI 마스터)

2분 50초쯤에서 멀티선택 하는 방법 알려주시면 감사하겠습니다!!

  • react
  • 인터랙티브-웹
  • 클론코딩
  • next.js
  • tailwind-css
  • zustand
강민혜 댓글 2 좋아요 1 조회수 360

원핫 인코딩에서 0,1이 아니고 False,True가 나옴

해결됨

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 원핫 인코딩에서 0,1이 아니고 False,True가 나옴

  • python
  • 머신러닝
  • 빅데이터
  • pandas
  • 빅데이터분석기사
조영희 댓글 2 좋아요 0 조회수 1585

ubuntu 응답없음

해결됨

Airflow 마스터 클래스

powershell에서 wsl --install을 입력한 후에 ubuntu 시작하는중... 이 출력되고 그 다음에 응답이 없는데 이런 경우 어떻게 해야할까요?

  • python
  • 데이터-엔지니어링
  • airflow
rosy 댓글 1 좋아요 0 조회수 420

테이블 이름에 "t_" 프리픽스를 붙이는 이유가 있나요?

미해결

[7일완성]생각하는 데이터베이스모델링

제목 그대로, 테이블 명에 customer 가 아닌 t_customer라고 사용한 이유가 있나요? 또한 t_customer 가 테이블 명인것을 보고 추측해봤을 때 일반적으로 테이블 명은 스네이크 명명법을 이용하는지 궁금합니다.

  • sql
  • dbms/rdbms
  • ERD
  • backend
김동현 댓글 1 좋아요 0 조회수 567

order_items에 주문번호가 없는 order_id를 가진 orders데이터 찾기

미해결

데이터 분석 SQL Fundamentals

안녕하세요. 수업에 나온 예제 중 다음 쿼리가 이해가 가지않아 질문드립니다. orders_items에 주문번호(order_id)가 없는 order_id를 가진 orders 데이터 찾기 select * from nw.orders a left join nw.order_items b on a.order_id = b.order_id where b.order_id is null; order_id로 left join했으니 b.order_id가 null인 데이터는 join절에서 탈락할텐데 어떻게 조건절로 정합성을 검사할 수 있는건가요??

  • sql
  • postgresql
  • dbms/rdbms
Tommy wasp 댓글 2 좋아요 0 조회수 228

쿼리 생산성 도구 에러

해결됨

초보자를 위한 BigQuery(SQL) 입문

안녕하세요! 덕분에 강의 잘 듣고 있습니다. 감사합니다. espanso까지 설치하고, 윈도우라 메모장으로 열어서 템플릿을 입력하고 저장을 하면 첨부된 이미지와 같이 에러가 뜹니다. 이럴 경우, 뭐가 문제인가요? 답변 부탁드립니다!

  • sql
  • bigquery
  • 데이터-리터러시
apple9633 댓글 2 좋아요 1 조회수 470

인기 태그

인프런 TOP Writers

주간 인기글