• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 분석

  • 해결 여부

    미해결

네이버 쇼핑 100 로직변경

21.10.26 15:57 작성 조회수 136

0

안녕하세요 교수님.
네이버 쇼핑 100 크롤링 연습하다가
막혀서 문의드립니다 ㅠ
 
이전에는 잘 되었다가 지금 네이버 로직이 변경되서 그런지
되지 않네요.
 
혼자 응용하면서 해 보았지만 상품명 자체가 이미지화 되어서
글자만 뽑아내기가 어려운거 같습니다ㅠ
 
번외 질문
현재 교수님 강의 7개 듣고 있습니다.
혹시 사진 크롤링도 강연하시는 강의가 있을까용??
유튜브도 보면서 따라해봤지만 교수님께서 알려주시는게
세상에서 젤 이해하기가 쉽더라구요 ㅎㅎ
 

답변 1

답변을 작성해보세요.

1

안녕하세요. 우선 제 강의를 좋게 봐주셔서 정말 감사합니다. 또 해당 영상에 대해 이야기해주셔서 감사합니다. 해당 사이트가 크롤링을 막기 위해, 아예 페이지를 변경하였더라고요. 역시 네이버는 ㅎㅎ 

심지어 CSS class 등이 동적으로 생성되도록 하여, CSS selector 로는 아예 크롤링이 어렵도록 막아놓았습니다.

따라서, 해당 영상의 코드는 동작되지 않지만, 해당 영상 화면에서 보여지는 예제 웹페이지와 이를 크롤링하는 기법 자체는 꼭 이해하면 좋기 때문에, 이 부분을 참고 영상으로 봐주시면 정말 도움이 되실 것입니다.

다만, 동작이 안되면, 어쨌든 아쉬움을 가지시는 분들도 있어서, 해당 영상은 추후에, 아쉽지만, 다른 예제로 변경하도록 하겠습니다.

 

사진 크롤링은 상세하게 해당 기능을 설명한 강의는 없어요. 일부 강의에서 간략히 설명한 부분이 있긴 한데... 그 부분때문에 전체 강의를 들으시는건 조금 효과가 그러할 것 같아서, 좀 추천드리기는 모호하네요. 또 파일이 나오면 입문자분들의 PC 환경에 따라 천차만별의 이슈가 생기긴 할 수 있어요. ㅎㅎ

조금 무리가 있긴 한데, clue 만 간략히 말씀드리면, item 에 img 태그를 넣은 후, src 속성의 이미지 링크를 가져와서, 다음과 같이 파일이름 만들고, urlib.request.urlretrieve() 로 저장하면 되긴 하는데, 상세히 설명을 드리지 않으면, 한번에 쓰기는 좀 어렵지만,  가볍게만 참고만해보시면 어떨까해요

-----------

        src = item.get_attribute('src')

        filename = vendoritemid + '-' + str(num) + ".png"  # ventoritemid-이미지번호.png 파일을 생성

        full_filename = img_path + "/" + filename

        urllib.request.urlretrieve(src, full_filename) # 해당 이미지 파일을 지정 폴더에 다운로드

 

감사합니다.

 

 

리쿤님의 프로필

리쿤

질문자

2021.11.05

답글 정말 감사합니다 ㅎㅎ 교수님 덕분에 프로그래밍 자체가 너무 재밌어서 혼자 이것 저것 해보게 되더라구요. ㅎ 집에서 쉬는 날 쥬피터 노트북을 키고 선생님 강의를 보면서 실제 업무에 적용하려고 노력합니다 ㅎ 프로그래머는 구글링을 잘해야한다 말씀하시던게 이해가 이제야 조금씩 가더라구요. 항상 재밌게 강의 찍어주셔서 감사합니다. 제 직무는 온라인MD라 크롤링 기술이 많이 필요한데 정말 천금같은 강의를 알게 되어 데이터 관련 강의도 듣고 있답니다~!

추후에도 많은 강의 올려주시면 감사하겠습니다.