Unit 7.2 진행중 발생하는 내용 질문입니다.

Question

수업내용처럼 oliver에 무신사,네이버,쿠팡 각각 10개씩 남성의류 스크래핑을 bright data로 진행하고 있는데요. 잘 안되네요.. 무신사는 10개 내용 정상 진행 네이버는 6개 밖에 없다고 하면서 에러나서 그냥 6개로 처리,(카드내용 수정했음) 쿠팡은 제목은 읽는데 내용을 못 읽어서 원인을 확인 시켰더니 아래와 같은 내용으로 나옵니다. 고급 스크래핑 기능이 안 사용되어 지는것 같은데 bright data가 네이버와 쿠팡 사이트 정도는 스크래핑 잘 하는거 아닌가요? 올리버 검토내용은 여기이하 -> - brightdata MCP 연결: 정상 - 발견 도구: 14개 - 새 Oliver 세션에서 brightdata 서버만 사용해 쿠팡 상품 상세 URL을 다시 요청: 완료 - 결과: 여전히 상품 상세 본문이 비어 있습니다. 따라서 원인은 기존 brightdata-mnp 연결이 아니라, 현재 새로 연결한 14개 도구의 구성입니다. 현재 14개는 ecommerce 그룹입니다. Amazon·Walmart·eBay·Google Shopping 등의 구조화 도구는 추가됐지만, 쿠팡 전용 구조화 도구는 없고 브라우저 도구도 포함되지 않습니다. 현재 빠진 도구: - scraping_browser_navigate - scraping_browser_snapshot - scraping_browser_get_text - scraping_browser_get_html - scrape_as_html - extract 즉, groups=ecommerce만으로는 쿠팡 상세 페이지의 브라우저 렌더링 문제를 해결하지 못합니다. 다음 연결은 아래처럼 해야 합니다. text groups=ecommerce,browser,advanced_scraping 그 뒤 새 세션에서 브라우저로 쿠팡 상세 페이지를 열고, 렌더링된 텍스트나 HTML을 조회해야 합니다. 현재 14개 도구 연결 자체는 정상이며, 필요한 것은 브라우저·고급 스크래핑 그룹 추가입니다.

Dante(곽지호) · Answer

안녕하세요. 종태님. 확인해 주신 내용대로 현재 연결은 ecommerce 그룹으로 제한되어 있어 쿠팡 페이지에 필요한 브라우저·고급 추출 도구가 빠져 있습니다. 기존 Bright Data 연결을 삭제하고 전체 도구가 포함된 Pro 모드로 다시 등록해 주세요. hermes -p oliver mcp remove brightdata hermes -p oliver mcp add brightdata --url "https://mcp.brightdata.com/mcp?pro=1" --auth header 등록 과정에서는 다음과 같이 진행합니다. (1) 인증이 필요한지 묻는 항목은 기본값으로 진행합니다. (2) Bright Data API 토큰을 붙여 넣습니다. (3) 전체 도구를 활성화할지 묻는 항목에는 Y를 입력합니다. 등록이 끝나면 연결 상태를 확인합니다. hermes -p oliver mcp list hermes -p oliver mcp test brightdata 이번 작업은 칸반의 백그라운드 워커에서 실행되므로 MCP를 다시 등록한 뒤 게이트웨이도 재시작해야 합니다. 먼저 실행중인 게이트웨이를 확인해 주세요. hermes gateway list default 게이트웨이가 실행 중이면 다음 명령을 사용합니다. hermes -p default gateway restart Oliver 게이트웨이를 별도로 실행 중이라면 다음 명령을 사용합니다. hermes -p oliver gateway restart 이후 기존 Oliver 세션이 아닌 새 세션에서 쿠팡 상품 상세 URL 하나를 먼저 시험해 주세요. “Bright Data 브라우저로 페이지를 실제 렌더링하고, snapshot을 확인한 다음 extract 도구로 상품명·가격·리뷰 수를 추출해 달라”고 요청하시면 됩니다. 참고로 pro=1은 Bright Data의 브라우저와 구조화 데이터, 고급 스크래핑 도구를 모두 활성화합니다. 무료 Rapid 모드 범위를 넘어 사용량에 따른 비용이 발생할 수 있으므로 Bright Data 대시보드에서 잔여 크레딧도 확인해 주세요.

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. 양종태님. 현재 올리버 AI를 통해 무신사, 네이버, 쿠팡에서 데이터를 스크래핑하고자 하시는군요. 학습 중에 발생한 문제에 대해 아래와 같은 해결 방법을 제안드리겠습니다. 스크래핑 도구 설정 : 무신사에서의 스크래핑은 성공적으로 진행되었으나, 네이버와 쿠팡의 경우 추가적인 설정이 필요합니다. 특히 쿠팡에서는 고급 스크래핑 기능이 필요합니다. 이는 브라우저 렌더링이 필요한 경우에 일반적인 스크래핑 방법으로는 한계가 있을 수 있기 때문입니다. 고급 스크래핑 도구 사용 : 쿠팡의 경우, 브라우저 렌더링 기능이 필요하므로, bright data의 고급 스크래핑 기능을 사용해야 합니다. 네이버와 쿠팡 모두 브라우저 기반의 스크래핑 도구 추가가 필요할 수 있습니다. 제안하신 대로 groups=ecommerce,browser,advanced_scraping 설정을 사용하여, 브라우저 기반의 기능들을 추가하시기 바랍니다. 이렇게 하면 웹 페이지를 직접 브라우저처럼 렌더링하고 데이터를 추출할 수 있으며, 이는 일반적인 스크래핑 방법을 보완해 줄 수 있습니다. 브라우저 도구 사용 : 다음의 도구들을 추가적으로 사용하여 쿠팡의 상세 페이지에서 데이터를 안전하게 추출할 수 있습니다: scraping_browser_navigate scraping_browser_snapshot scraping_browser_get_text scraping_browser_get_html scrape_as_html extract 위 도구들은 페이지의 동적 콘텐츠를 효과적으로 처리할 수 있도록 도와줍니다. 특히, 쿠팡과 같이 복잡한 사이트 구조와 동적 콘텐츠가 있는 웹사이트에서는 이러한 브라우저 기반의 접근 방법이 유용합니다. 이와 관련해서 여기 에서 유사한 문제를 겪으신 분들의 해결 방법을 찾아보실 수 있습니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.