inflearn logo
강의

講義

知識共有

実践でマスターするWebクロールとWebページ自動化&実戦活用

Melon TOP100 Webクロールアーティスト、アルバム、曲のタイトルを取得

lst = lst50 + lst100 이거 대신에

318

cdi2201

投稿した質問数 2

0

import requests
from bs4 import BeautifulSoup

headers = {
    "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
}

url = "https://www.melon.com/chart/index.htm"


req = requests.get(url, headers=headers)

html = req.text

soup = BeautifulSoup(html, "html.parser")

lst50 = soup.select(".lst50")
lst100 = soup.select(".lst100")
# lst = lst50 + lst100

if lst50:
    lst = lst50
elif lst100:
    lst = lst100
else:
    print("!!!!!!!!!!!!!") 


# 자식선택자 > 는 바로 밑에 있을 때만 가능. 바로 밑에 있는게 아닐 때는 그냥 한칸 띄고 입력!

for i in lst:
    title = i.select_one(".ellipsis.rank01 a")
    singer = i.select_one(".ellipsis.rank02 > a")
    album = i.select_one(".ellipsis.rank03 > a")
    print(title.text)
    print(singer.text)
    print(album.text)
    print()

# for rank, i in enumerate(lst50, 1):
#     title = i.select_one(".ellipsis.rank01 a")
#     print(f"{rank} : {title.text}")
#     print()

print(len(lst))

lst = lst50 + lst100 대신에 앞 시간에 설명해주셨던 if, elif, else 를 사용해봤는데 데이터가 50개만 나오는데, 왜 100개가 다 안나오는 건가요? 
무슨 차이가 있는건지 궁금합니다. 

python 웹-크롤링 selenium beautifulsoup

回答 2

0

kimfl

멜론은 1위부터 50위까지가 클래스 lst50, 51위부터 100위까지가 lst100입니다.
위 코드는 if 구간에서 lst를 1위~50위로 지정하고 elif 구간에서 lst를 51위~100위로 교체하게 됩니다.
그러니까 50개만 나오게 되는거죠.
lst = lst50 + lst100 이게 중요한 겁니다.
두개를 합치쳐서 100개로 만드는거죠.

0

cdi2201

답변 감사합니다! ^^

0

cdi2201

lst = lst50 + lst100 대신에 앞 시간에 설명해주셨던 if, elif, else 를 사용해봤는데 데이터가 50개만 나오는데, 왜 100개가 다 안나오는 건가요? 무슨 차이가 있는건지 궁금합니다.

멜론 사이트 수집부터 안됩니다

0

55

1

강의 시점이랑 현재랑 네이버 사이트 변화가 많은거 같아서 질문드립니다.

0

53

1

-href 가져오기

0

88

2

수업내용 프로젝트의 완성된 코드는 제공이 안돼나요?

0

154

1

안녕하세요 쿠팡 크롤링 막힌거 같아요 3번돌리니깐 막았어요 해결방법없을까요?

0

3576

1

쿠팡 BeautifullSoup 헤더넣어도 막히네요

0

441

1

네이버 쇼핑 크롤링 1 코드 사용 시, 접속 제한됐을 때의 해결 방법이 궁금합니다.

0

3158

1

추가 강의 업데이트 있나요?

0

244

1

lambda 중에 문의가 있습니다.

0

269

1

텔레그램 sendMessage 시 400에러가 뜹니다.

0

896

2

ftp 로긴 문제입니다. ㅜ

0

399

2

네이버 쇼핑 크롤링 질문입니다.

0

366

1

XPATH 네이버에서 카페 찾는 과정 문의입니다.

1

311

1

셀레니움 By.XPATH 를 이용한 키워드 입력 작성 질문입니다.

0

662

2

쿠팡 이미지 파일 다운받기에서 동일하게 코드 작성 후 요청하였지만 파일 다운로드가 안됩니다.

0

803

2

파이썬에 키워드를 치는게 아닌...

0

274

2

50프로 수강중입니다~

0

217

1

제품 링크를 타고 들어가야 원하는 정보가 나오는 사이트

0

377

2

증권, 메일 등 서비스 목록을 못가져와요 ㅠㅠ

1

279

1

네이버에 view탭이 업데이트가 됐는지 없어졌네요... ㅠㅠ

1

243

1

선생님이랑 똑같이 적었는데 저는 왜 오류가 날까요?ㅠ

0

352

2

네이버쇼핑 크롤링 문의

0

425

2

asyncio.run() cannot be called from a running event loop 에러 질문 드립니다

0

3880

4

멜론 유저에이전트 값 입력했음에도 창접속이안되여 ㅜㅜ

0

245

1