구글 rss 신문기사 요약 이슈

Question

https://news.google.com/rss/articles/CBMiTkFVX3lxTE05TmVwMVJIdUhwY0F4eGEwbXNhNmhtWGdqN1k2SHF6bzdscmVWcFhOczcwQV94UTR4V2VVQl9nRGZPQnUxbFNodVZpTzVtUQ?oc=5 '''''''''' 위와 같은 link 주소를 얻어오는것까지는 성공했는데 예전에 작성하신 https://wikidocs.net/310112 와 비교해봐도 제대로 된 기사 제목, 본문을 얻지 못하네요 구글 헤더가 아니라 실제 페이지로 넘어가는 과정이 누락되는듯한데 어떻게 해결할 수 있을까요?

datapopcorn · Answer

안녕하세요! 확인해보니 가이드(wikidocs.net/310112) 그대로 따라해도 본문이 안 나오고 있네요ㅜㅜ 가이드 작성 시점 이후 Google이 뉴스 리다이렉트 방식을 바꿔서, 현재는 그 흐름으로 본문을 가져올 수 없는 상태입니다. news.google.com/rss/articles/CBMi... URL은 실제 기사가 아니라 Google의 중간 리다이렉트 페이지예요. 이걸 HTTP Request로 GET 하면 본문 대신 "기사로 이동 중" 인터스티셜 HTML이 돌아옵니다. 그래서 HTML Extract의 p 셀렉터로 뽑아도 빈 배열만 나오는 거고요. 셀렉터를 다른 걸로 바꿔도 결과는 같습니다 — 받아온 HTML 자체에 기사 본문이 안 들어있어서요. 해결 방법 두 가지 안내드려요. [방법 1] 영상처럼 게시사 RSS를 사용 Google News 대신 언론사가 직접 제공하는 RSS를 쓰면 <link> 가 진짜 기사 URL이라 기존 흐름(HTTP Request → HTML Extract) 그대로 동작합니다. 주식 뉴스 주제에 맞는 RSS 추천드려요. 한경 증권: https://www.hankyung.com/feed/finance 한경 경제: https://www.hankyung.com/feed/economy 매경 경제: https://www.mk.co.kr/rss/30100041/ 연합뉴스 경제: https://www.yna.co.kr/rss/economy.xml 단, 사이트마다 HTML 구조가 달라서 CSS Selector p )는 사이트별로 한 번씩 확인해서 맞춰주셔야 해요. 한경/매경/연합 모두 본문 컨테이너 클래스가 다릅니다. [방법 2] (간단) 구글뉴스 RSS의 요약 내용만 활용 RSS 응답에 이미 title 과 contentSnippet (또는 description )이 들어있어요. HTTP Request와 HTML Extract 단계를 제거하고, RSS Read의 결과를 바로 Gemini에 넘기세요. Schedule Trigger → RSS Feed Read → Loop Over Items → Set Node(프롬프트 구성) → Gemini → Slack 프롬프트에서 {{ json.title }} 과 {{ json.contentSnippet }} 만 사용. "주식 뉴스 요약봇" 정도면 이 정보만으로도 충분히 브리핑이 만들어집니다. 참고로 이 방법은 구글뉴스 RSS뿐 아니라 매경·연합 RSS에도 적용 가능합니다 (두 매체는 RSS에 요약문이 포함돼 있음). 다만 한경 RSS는 제목만 있고 요약문이 없어서, 한경을 쓰실 거면 방법 1로 진행하셔야 합니다. 영상과 동일하게 방법 1로 먼저 완성해보시고, 본문 크롤링 단계가 번거롭게 느껴지시면 방법 2로 단순화하시는 것도 좋은 방법입니다. 가이드 글도 빠른 시일 내에 업데이트하겠습니다.

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. 채종훈님. Google 뉴스 RSS 피드에서 링크를 얻어오셨으나, 실제 기사 제목이나 본문을 제대로 추출하지 못하고 계신 것 같군요. 이는 종종 RSS 피드가 제공하는 링크가 기사 자체가 아니라 중개 페이지를 가리킬 때 발생할 수 있습니다. 이런 경우 중개 페이지를 통해 실제 기사 페이지로 이동해야 합니다. 이를 해결하는 방법을 안내드리겠습니다. URL 리디렉션 따르기 : RSS 피드에서 얻은 링크는 종종 중개 페이지로 이어지며, 해당 페이지에서는 실제 기사로 링크를 리디렉션합니다. n8n에서 HTTP Request 노드를 사용하여 링크에 접근할 때, 리디렉션을 허용하는 옵션을 활성화하세요. 이는 n8n이 최종 목적지 URL까지 자동으로 따라갈 수 있도록 도와줍니다. 페이지 콘텐츠 추출 : 리디렉션을 통해 실제 기사 페이지에 도달했다면, HTML Extract 노드를 통해 필요한 내용(제목, 본문 등)을 추출하세요. CSS 선택자(예: h1 은 제목, p 는 본문)를 설정하여 필요한 내용을 선택할 수 있습니다. 관련 문제가 언급된 기존 게시물들을 참고하여 더 많은 정보를 얻을 수도 있습니다: n8n 워크플로우 구축 관련 문의 (ArXiv RSS 피드 논문 요약 및 알림 자동화) : RSS 피드를 활용한 자동화 아이디어를 얻을 수 있는 예시입니다. 추가 참고 : 구글 뉴스 링크의 리디렉션 문제는 종종 구글이 클릭 추적을 위해 링크를 변경하면서 발생할 수 있습니다. 이 경우, 추가적인 URL 추적 도구나 광범위한 HTML 파싱 전략이 필요할 수 있습니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.