• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 분석

  • 해결 여부

    해결됨

regularexpression 주피터 노트북 자료 오류

20.12.01 17:54 작성 조회수 142

0

강의 잘 듣고 있습니다. 거의 다 듣고 마지막쪽에 나오는 정규표현식의 코딩 자료중에서 

'''

from urllib.request import urlopen

from bs4 import BeautifulSoup

import re

for index in range(1, 2):

    res = urlopen('https://www.seeko.kr/zboard4/zboard.php?id=mainnews&page=' + str(index) + '&select_arrange=headnum&desc=asc&category=&sn=off&ss=on&sc=off&keyword=&sn1=&divpage=10')

    soup = BeautifulSoup(res, "html.parser")

    data = soup.find_all('td', 'article_subject')

    for item in data:

        print (item.get_text())

'''

위의 코드가 실행시 크롤링 오류가 납니다.

웹사이트 접근이 안된다고 하는데, 확인 바랍니다. 강의따라서 코딩하면서 학습하는데 오류가 나오니 진도가 잘 안나가네요..

답변 2

·

답변을 작성해보세요.

1

안녕하세요. 이 부분은 공지를 드린 상태인데요.

seeko 라는 사이트 자체가 종료되어서, 관련 부분도 대체를 하였고, 관련 코드를 삭제했는데, 혹시 어느 자료인지 알 수 있을까요? 

본래는 다양한 실전 예를 보여드리기 위해, 실전 사이트로 크롤링 기술을 어떻게 적용하는지, 해당 사이트 HTML 코드로 설명을 드렸는데, 각 사이트가 조금씩 변경되거나, 심지어 폐쇄 되면서, 관련 코드가 정상 동작 안하는 경우가 있었습니다.

물론 실전 사이트이고, 사이트 HTML 코드를 영상으로 보여드리고 그런 경우, 어떻게 크롤링 코드를 작성하는지 설명드려서, 이런 예를 보여드리는 것 자체로 큰 도움이 되실텐데, 

일부 분들께서 이런 부분보다는 제공해드린 크롤링 코드 자체가 실행이 안됨에만 걱정을 하셔서,

도움이 되실 것 같지만, 아쉽게도 관련 부분들은 대체를 한 부분이 있습니다. 아예 제가 사이트를 만들어서, 진행을 하고 있고요.

위 사이트는 아예 폐쇄되어, 공지도 드리고, 관련 부분도 대체를 했는데, 코드가 남아있는 것 같습니다.

이 부분 양해를 부탁드립니다. 

0

어떤 부분인지 찾았습니다.

영상과 자료를 업데이트하였으니, 공지 사항도 한번 확인해보신다면, 진행하시는데 무리가 없을 것 같습니다. 

---------------

안녕하세요 잔재미코딩 Dave Lee 입니다.

크롤링 부트캠프 강의 영상과 자료를 금일 또 업데이트한 부분이 있어서 공유드립니다.

금번 영상 업데이트는 기존의 실전 사이트 크롤링 예 중에, seeko 사이트가 아예 폐쇄(--;) 되는 바람에, 이를 대체한 것입니다.

정규표현식 강의에서, 정규표현식 기술이 왜 필요한지를 효과적으로 설명드리고자,

seeko 사이트에서 게시판을 크롤링해서, 게시판의 제목에 댓글 수를 삭제하는 예를 보여드렸는데요.

seeko 사이트 폐쇄로 이 부분은 제가 자체적으로 만든 사이트의 예로 변경하였습니다.

관련 영상 일부와 자료 일부를 업데이트하였으니, 이 부분이 또 도움이 되실 수 있을 것 같아서, 공유드립니다.

- 크롤링을 위한 지식: 크롤링과 프로그래밍 고급 문자열 기술 - 정규표현식1 (2020 업데이트, 2020.12 자료 업데이트!)

- 크롤링을 위한 지식: 크롤링과 프로그래밍 고급 문자열 기술 - 정규표현식2 (2020 업데이트, 2020.12 자료 업데이트!)

- 크롤링을 위한 지식: 크롤링과 프로그래밍 고급 문자열 기술 - 정규표현식3 (2020 업데이트, 2020.12 자료 업데이트!)

다만, 저희의 목표는 크롤링 기술을 익히는 것이기 때문에, 영상에서 사이트의 HTML 코드와 이를 어떻게 크롤링했는지에 집중하시는 것을 추천드리고, 그렇게 해야만, 관련 기술을 익히실 수 있습니다. 이 부분도 참고해주시면 좋을 것 같습니다.

마지막으로, 많은 분들께서 좋은 수강평을 남겨주셔서, 본 강의로 저도 매우 큰 힘을 얻었습니다. 공지를 빌어서, 수강생분들께 감사의 말씀을 전합니다. 

저는 최근에는 풀스택 강의 Part2 (풀스택을 위한 탄탄한 프론트엔드 기본: javascript (Vanilla JS 와 ES6+) 와 최신 웹기술) 영상을 만들고 있고, 곧 오픈할 예정입니다. 이후에는 머신러닝쪽과 최신 풀스택 기술인 Svelte 와 기존에 제가 많이 사용했던 Vue 기술을 비교해서 보다 빠른 풀스택 기술을 익히는 부분에 대해 검토할 예정입니다. 하나라도 좋은 강의를 만들기 위해 꾸준히 작업을 하는데 있어서, 수강생분들의 좋은 피드백이 매우 큰 힘이 되고 있습니다. 감사합니다.

인프런에 오픈 중 또는 오픈 예정인 강의 코스

풀스택 코스: 최신 웹/앱 서비스를 A to Z 로 혼자서도 만들 수 있는 테크트리

익히는 순서에 따라 번호를 붙여 놓았습니다.1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본) 
2. SQL과 데이터 저장/분석 기본 (SQL 데이터베이스 기본) 
3. NoSQL(mongodb) 빅데이터 기본 (NoSQL 데이터베이스 기본) 
4. 가장 빠른 풀스택: 파이썬 백엔드와 웹기술 기본 [풀스택 Part1]
5. 풀스택을 위한 탄탄한 프론트엔드 기본: javascript (Vanilla JS 와 ES6+) 와 최신 웹기술  (풀스택 Part2, 12월 오픈 예정)
6. 풀스택을 위한 Vue 프레임워크 기본 (풀스택 Part3, 21' 3월 오픈 예정)
7. 풀스택을 위한 AWS 와 docker 기반 배포 기술 기본 (풀스택 Part4, 21' 5월 오픈 예정)
8. 풀스택 앱 개발을 위한 flutter 기본 (풀스택 Part5, 21' 7월 오픈 예정)

* 현재까지의 풀스택 코스 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)
[입문~중급] 가장 쉽고, 빠른 풀스택 로드맵

데이터 분석/과학 코스: 원하는 데이터를 가져와서 분석하고, 예측까지 할 수 있는 최신 테크트리

익히는 순서에 따라 번호를 붙여 놓았습니다.

1. 파이썬 입문과 크롤링 기초 부트캠프 (파이썬과 데이터 수집 기본) 
2. Scrapy와 Selenium 정복 (현존 최강 크롤링 중급 기술 및 관련 IT 지식) 
3. SQL과 데이터 저장/분석 기본 (데이터 저장/분석) 
4. NoSQL(mongodb) 빅데이터 기본 (빅데이터 저장/분석) 
5. 파이썬 데이터 분석 기본 (데이터 분석) 
6. 머신러닝/인공지능 기본 (데이터 예측, 열심히 준비하고 있습니다) 

* 현재까지의 데이터 과학 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)
[입문~초급] 취업을 위한 데이터 분석 기본 기술 쉽게! 꼼꼼하게 익히기