크롤링 관련 질문

Question

안녕하세요  먼저 좋은 강의 잘 듣고 있습니다 ! 강의 들으면서 예제로 진행하는 크롤링을 제가 필요한 사이트를 활용해서 하고 있는데 한 가지 막히는 사항이 있어서 문의 드렸습니다. 크롤링 하는 아이템을 5개 가량 잡아서 크롤링을 하는데 (예를 들어서 100개 글에서 5개씩 타이틀, 등록 시간, 등록자 등등) 어떤 글은 5개 중 1-2개가 빠져 있는 게 있더라구요. 일단 try-except 를 써서 넘기면서 크롤링을 하고 있습니다. 근데 여기서 1-2개 항목이 없으면 Error! Code: AttributeError, Message, 'NoneType' object has no attribute 'text' 가 뜨면서 3-4개 항목이 있더라도 해당 글 데이터가 몽고db에 저장이 안되고 그냥 넘겨지거든요.  항목이 없으면 없는대로 남은 3-4개라도 위와 같은 error가 뜨지 않고 크롤링을 할 수 있는 방법이 없을까 해서 여쭤봤습니다. 감사합니다

잔재미코딩 DaveLee · Answer

안녕하세요. 이 부분은 강의 내용과는 관련이 없는, 각자 원하시는 크롤링과 관련된 문의라서 다음 공지사항과 함께 다음부터는 양해를 부탁드립니다. 말씀하신 부분은 보통 선택하신 css selector 에 맞는 태그가 없을 경우 일어나는 현상으로 보여요. 태그가 없으면, 해당 객체가 없고, 객체.get_text() 와 같이 하면, 객체 자체가 없기 때문에, 관련된 메서드나 속성(변수)가 없어서 에러가 난 것으로 보입니다. 감사합니다. --------------- 안녕하세요. 잔재미코딩 Dave Lee 입니다. 오늘은 한가지 공지를 드려요~~ 그동안 정말 다양하고 많은 분들께서 수강을 해주고 계시는데요. 그러다보니,  질문/답변 란에 동일한 이야기를 드릴 때가 많아서  공유를 드려요. 질문/답변 란에, 각자 원하시는 크롤링 코드 관련 문의를 해주시는 경우가 꽤 있었는데요. 그 때마다, 가급적 배려를 드리는 차원으로, 가볍게 볼 수 있는 부분에 대해서만 답변을 드리기는 했습니다.  하지만, 해당 질문/답변 란은 본 강의 영상과 관련한 질문이 있을 때를 답변해드리는 것이 기본 취지인 것 같아요.  온라인 수학 강의를 수강하면서, 강의에 나온 수학공식을 사용하는 강의 외에 각자 풀고 있는 수학 문제를 질문하고, 이를 풀어드리는 강의는 본 적이 없는데요.  마찬가지로 본 강의를 수강하시면서, 각자의 코드나, 각자 원하시는 크롤링 코드를 작성해드리거나, 함께 풀어나가는 것은 현실적으로 큰 무리가 있습니다. 더군다나 본 강의가 평생 수강이 가능하기 때문에, 이를 지원해드릴 경우, 본 강의를 들으면 내가 원하는 크롤링 코드는 모두 해결해드려야 하는 오해 아닌 오해도 생길 수 있고요.  심지어, 저도 실제 코드를 작성해봐야 해서, 코드를 작성하느라 답변이 늦어지면, 다른 답변이 늦어질 수도 있어서, 다른 수강생분들께도 문제가 될 수 있을 것 같습니다. 그래서,  질문/답변란에 문의를 주실 때에는 각자의 원하시는 크롤링 코드 관련 문의는 안해주시면  감사하겠습니다.  이 부분 꼭 양해를 부탁드립니다. 또한 가능하다면, 1) 어느 챕터의 몇분(:몇초)정도에서 이 부분이 이해가 안간다 와 같은 식으로 질문을 해주시면, 2) 강의에서 나온 코드는 이미지 캡쳐보다, 코드 자체를 텍스트로 질문에 붙여주시면, 훨씬 저도 이해가 빨라서, 빠르게 지금과 같이 상세하게 답변 드릴 수 있을 것 같습니다.