• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ

21.11.05 22:39 작성 조회수 162

0

- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다)
- 이외의 문의등은 평생강의이므로 양해를 부탁드립니다
- 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.

답변 3

·

답변을 작성해보세요.

0

네 잘 이해했습니다. 충분히 좋게 이해해 주셔서 감사합니다. 다만, 수강평으로도 이미 큰 불편이 있으셨음을 느낄 수 있어서요. 수강자님께는 제가 최대한 환불조치를 진행해드리는 것이 맞을 것 같습니다. 지금까지 들으신 것만으로도 어느 정도 대략적인 기술은 이해하실 수 있으실 것 같고요. 이후에 새롭게 업데이트되는 부분에 대해서는 동일한 기술에 대해 설명을 드리는 것이기 때문에, 새롭게 들으실 정도까지는 아닐 것 같아서요.

그래서, 괜찮으시다면, 제가 금주중에 직접 환불 처리를 진행하겠습니다. 혹시라도, 그래도 꼭 계속 수강상태가 되어야 한다면,  금까지라도 dream@fun-coding.org 로 연락주시면 감사하겠습니다. 별도 연락이 없으시면, 동의하시는 것으로 이해하고, 바로 처리해보겠습니다. 감사합니다.

0

shkimzebra님의 프로필

shkimzebra

질문자

2021.11.08

안녕하세요..답변에 감사드립니다.

몇가지 안돌아 가는거 빼고, 저도 많이 배웠기 때문에 수강을 취소하거나 그러고 싶지는 않습니다.

또 이번처럼 빠른시간내에 교정을 해주신거 정말 감사드립니다.

11월말 안에 테스트 해보시고 교정해주신다니,,,, 기쁜마음으로 기다리겠습니다.

혹, 제가 올린 글에 맘 상하셨다면 , 양해 부탁드립니다.

크롤링 관련 강의는 최신강의를 들어야 하는데, 제가 4년전에 open된 것을 강의 듣는 도중에 알게 되었습니다.

제 불찰입니다.

그래도 이렇게 대응해 주시니 감사드립니다.

강의가 좋아서,  많은 수강자들이 있을 거 같은데, 이렇게 최신으로 updating 시켜 주시니, 다른 수강자들에게 많은 도움이 될 거라 사료됩니다.

그럼 수고하세요 

0

안녕하세요.

어느 강의의 어느 부분을 말씀하시는 것인지, 봐보았는데요. 제가 맞을지는 모르겠지만, 아마도 pipeline.py 를 설정하는 다음 부분을 말씀하신 것 같습니다.

- 강력/최신 크롤링 기술: scrapy pipeline 사용법 익히기1  

- 강력/최신 크롤링 기술: scrapy pipeline 사용법 익히기2

우선 해당 강의의 자료는 본래는 해당 기본 코드에, 수강자님께서, 영상과 자료를 보시면서, 해당 코드를 넣어보시고, 그 후에 동작하는 모습을 보여드린 것인데요. 그래서, 테스트를 해보시면 가장 좋을 것 같은데요. 해당 부분을 이번 참에, 기본 코드에 아예 넣어서, 해당 강의 자료를 업데이트하였습니다.

변경된 부분은 각각 다음과 같으며, 해당 부분은 영상에서 설명드린 부분과 동일합니다. 또한 새소식과 이후 강의자료를 통해서, 지마켓의 특정 아이템을 선택하는 CSS selector 가 수정된 부분까지 업데이트 하였습니다. 

이와 같이 제가 테스트를 해보았을 때, pipelines.py 에서 정상적으로 각 item 이 출력되는 것을 확인하였습니다.

수강자님의 수강평을 보았어요. 말씀하신대로, 강의에서 일부 동작하지 않는 코드가 있었습니다. 실전 사이트를 대상으로 다양한 테스트를 보여드려야, 효과적일 것 같아서, 그렇게 수년전 작업한 강의인데, 이후 실전 사이트가 바뀌면서, 관련 부분을 새소식으로 공유를 드리고 업데이트도 하였습니다. 금번에, 11월까지 본 강의에서 또 동작하지 않는 부분에 대해 업데이트할 계획입니다. (새소식으로 공유드렸습니다.)

다만, shkimzebra 수강자님께서는 본 질문과 수강평에서 느껴지듯이, 이미 강의에 대해 아쉬움이 크신 것 같아서, 이후 제가 진행하는 인프런 강의는 듣지 않는 것을 조건으로, 바로 환불해드리겠습니다. 이미 어느 정도 신뢰가 떨어진 상태에서 더 강의를 수강하시는 것 보다는, dream@fun-coding.org 로  인프런 계정 이메일 주소등만 알려주시면 감사하겠습니다.  강의를 빨리 업데이트했어야 했는데, 죄송합니다.

settings.py

----

ITEM_PIPELINES = {

     'ecommerce.pipelines.EcommercePipeline': 300,

}

 

 

gmarket_best.py 

----

        # 2021.05.03 해당 사이트의 li 태그가 변경되어, 기존 li[id] 를 li 로 변경하였습니다. 참고부탁드립니

        #titles = response.css('div.best-list > ul > li[id] > a::text').getall()

        #prices = response.css('div.best-list > ul > li[id] > div.item_price > div.s-price > strong > span > span::text').getall()

 

        titles = response.css('div.best-list > ul > li > a::text').getall()

        prices = response.css('div.best-list > ul > li > div.item_price > div.s-price > strong > span > span::text').getall()

 

pipelines.py

----

class EcommercePipeline(object):

    def process_item(self, item, spider):

        print (item)

        if item['price'] > 10000:

            return item

        else:

            raise DropItem("drop item having lower price than 10000")

        return item