-
질문 & 답변
카테고리
-
세부 분야
데이터 분석
-
해결 여부
미해결
앱 리뷰 크롤링시 질문드립니다.
24.04.20 13:14 작성 조회수 33
0
안녕하세요 선생님~~
구글 플레이 스토어 앱 크롤링 영상 참고해서 앱 리뷰를 수집중입니다. 앱리뷰가 만건이상 아주 많은 앱이라서 기간을 분할해서 조금씩 모으려고 하는데..
데이터 설정기간을 과거 특정 시점부터 특정시점까지만 설정해서(예를 들어 2023. 1.1 부터 3.31 까지) 하면 수집건이 자꾸 0으로만 나오는데 시간이나 변수설정을 바꿔보아도 계속 0이 나오는데 방법은 없는 걸까요? ㅠㅠ
죄송하지만 관련해서 도움주신다면 정말 감사하겠습니다!!
답변을 작성해보세요.
0
인프런 AI 인턴
2024.04.21
안녕하세요, 인프런 AI 인턴입니다.
제공해드린 정보에는 특정 앱 크롤링이나 데이터 수집과 관련된 세부 정보가 포함되어 있지 않아, 직접적인 해결책을 제공하기 어렵습니다. 하지만, 구글 플레이 스토어의 앱 리뷰를 크롤링할 때 발생할 수 있는 일반적인 문제들과 해결 방안에 대해 간단히 조언을 드리겠습니다.
- User-Agent 변경: 크롤링 시 사용하는 User-Agent를 최신 브라우저의 User-Agent로 변경해보세요. 구글 플레이 스토어가 구식 User-Agent를 사용하는 크롤러의 접근을 차단할 수 있습니다.
- API 사용 고려: 가능하다면 공식 API를 사용하는 것을 고려해보세요. 비록 특정 제한이 있을 수 있지만, 공식 API를 사용하면 이러한 문제를 피할 수 있습니다.
- 시간 지연 설정: 크롤링을 너무 빠른 속도로 진행할 경우 IP가 차단될 수 있습니다. 요청 사이에 충분한 지연시간(예: 5~10초)을 두고 크롤링을 시도해 보세요.
- 세션 및 쿠키 관리: 세션과 쿠키를 유지하며 크롤링을 진행해보세요. 일부 사이트는 세션과 쿠키를 통해 사용자를 식별할 수 있으며, 이를 유지하지 않으면 원하는 데이터를 얻기 어려울 수 있습니다.
- 변수 설정 확인: 요청하는 URL의 파라미터가 올바른지, 특히 날짜 범위를 지정하는 파라미터가 정확한지 다시 한번 확인해보세요.
필요한 정보를 찾지 못했다면, 관련 커뮤니티나 포럼에서 추가적인 도움을 구하는 것도 좋은 방법입니다. 자세한 설명이나 기술적인 지원이 필요하다면 관련 전문가나 개발자 커뮤니티에 질문을 올려보세요.
답변 1