인프런 커뮤니티 질문&답변

안녕하세요 선생님~~

크롤링 기초까지 다 듣고 강의목차 정보 중, '강의명-강의시간' 만 가져오는 연습 중입니다.

해결하지 못한 3가지 문제점이 있는데 해결방법 좀 부탁드립니다.

1. 실패한 코드(1)

    import requests

    from bs4 import BeautifulSoup

    res = requests.get('https://www.inflearn.com/course/Python-crawling-basic/dashboard')

    soup = BeautifulSoup(res.content,'html.parser')

    data_name = soup.find_all('a', class_='unit_item level')

    for item4 in data_name:

        print(item4.get_text())

 1) 첫 번째, '페이지 소스보기' 나 '개발자 모드'에서 제가 원하는 정보를 조회하려면

    속성이 'a' 이고, 클래스가 'unit_item level' 인 data를 크롤링해야 하는거 같은데,

    강의 목차 중 미리보기가 되는 5개 강좌만 조회되네요. 왜 그런건지 모르겠습니다.

 

2.  실패한 코드(2)

    import requests

    from bs4 import BeautifulSoup

    res = requests.get('https://www.inflearn.com/course/Python-crawling-basic/dashboard')

    soup = BeautifulSoup(res.content,'html.parser')

    a_tag = soup.find_all('div','unit_title level-item')

    b_tag = soup.find_all('div','unit_time level-item')

    for index in range(1,100):

       print(a_tag[index].get_text(), '-', b_tag[index].get_text())

강좌명과 강의시간을 따로 가져왔으나, 강의 시간이 없는 '강의준비, 파이썬 기초' 같은 항목들이 같이 조회되네요

 

    2) 'a' 속성의 'unit_item level' 클래스 이면서, 'div' 속성의 'unit_title section level'을 가져오면 될거 같은데

       우선 'a' 속성의 'unit_item level' 클래스 를 조회할 때, 미리보기 강의만 보이는게 해결되지 않았고

       특정 속성의 하위 속성만을 정의하는 방법 또한 모르겠습니다.

    3) 마지막으로 range의 범위를 현재는 1~99까지 지정해서 원하는 정보를 모두 가져올 수 있게 했지만

     결국엔 'list index out of range' 라는 에러메세지도 같이 나왔습니다.

     범위를 정할때, 1부터 존재하는 최종 번호(77)까지만 볼 수 있게 할수는 없을까요?

 

4시간동안 했는데 해결을 못했어요 ㅠ 도움 부탁드려요

 

(추가)

추가로 첫번째 실패한 코드에서 보면,

    import requests

    from bs4 import BeautifulSoup

    res = requests.get('https://www.inflearn.com/course/Python-crawling-basic/dashboard')

    soup = BeautifulSoup(res.content,'html.parser')

    data_name = soup.find_all(       'a'          , class_='unit_item level')

    for item4 in data_name:

        print(item4.get_text())

 

data_name 을 'a' 가 아닌 'div'로 조회하면 (굵은글씨 부분입니다.),

미리보기가 되는 강의들을 제외한 모든 '강의+시간' 정보를 확인할 수 있습니다.

페이지 소스엔 모든 unit_item level 로 정의된 클래스는 오직 'a' 속성에만 존재하는데

왜 '강의+시간'의 조합된 정보가 div 속성의 unit_item level 클래스로 조회할 수 있는건가요???