[Hadoop 실행] 명령어

[환경변수 설정 후] Warning Message

파일을 jupyter notebook에서 열지 마시고, 생성된 폴더에 가셔서 열면 됩니다.

엑셀파일로 저장시 오류 문제

@강호성님&nbsp;
<p style="box-sizing: inherit; margin: 0px 0px 1em; padding: 0px; line-height: 1.6; font-size: 16px; color: #000a12; font-family: 'Noto Sans KR', -apple-system, system-ui, BlinkMacSystemFont, 'Apple SD Gothic Neo', 'Segoe UI', Roboto, 'Helvetica Neue', Arial, sans-serif, Oxygen, Ubuntu, Cantarell, 'Fira Sans', 'Droid Sans', Helvetica; background-color: #ffffff;">추출조건이 특정 keyword가 들어간 문자열이 아니라 정해진 위치라면..
<p style="box-sizing: inherit; margin: 0px 0px 1em; padding: 0px; line-height: 1.6; font-size: 16px; color: #000a12; font-family: 'Noto Sans KR', -apple-system, system-ui, BlinkMacSystemFont, 'Apple SD Gothic Neo', 'Segoe UI', Roboto, 'Helvetica Neue', Arial, sans-serif, Oxygen, Ubuntu, Cantarell, 'Fira Sans', 'Droid Sans', Helvetica; background-color: #ffffff;">인터넷을 뒤져보니 처음 질문하셨던 방법대로 리스트의 몇 번째로 바로 접근하시는 것이 좋지 싶네요.<span style="color: #000a12; font-family: Noto Sans KR, -apple-system, system-ui, BlinkMacSystemFont, Apple SD Gothic Neo, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif, Oxygen, Ubuntu, Cantarell, Fira Sans, Droid Sans, Helvetica;">
<span style="color: #000a12; font-family: Noto Sans KR, -apple-system, system-ui, BlinkMacSystemFont, Apple SD Gothic Neo, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif, Oxygen, Ubuntu, Cantarell, Fira Sans, Droid Sans, Helvetica;">
<span style="color: #000a12; font-family: Noto Sans KR, -apple-system, system-ui, BlinkMacSystemFont, Apple SD Gothic Neo, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif, Oxygen, Ubuntu, Cantarell, Fira Sans, Droid Sans, Helvetica;">구글링하다보니 몇 번째 요소에 접근하는 nth-of-type이란 것도 있네요. 덕분에 많이 공부했네요.
<span style="color: #000a12; font-family: Noto Sans KR, -apple-system, system-ui, BlinkMacSystemFont, Apple SD Gothic Neo, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif, Oxygen, Ubuntu, Cantarell, Fira Sans, Droid Sans, Helvetica;">
<span style="color: #000a12; font-family: Noto Sans KR, -apple-system, system-ui, BlinkMacSystemFont, Apple SD Gothic Neo, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif, Oxygen, Ubuntu, Cantarell, Fira Sans, Droid Sans, Helvetica;">import requests&nbsp;
<span style="color: #000a12; font-family: Noto Sans KR, -apple-system, system-ui, BlinkMacSystemFont, Apple SD Gothic Neo, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif, Oxygen, Ubuntu, Cantarell, Fira Sans, Droid Sans, Helvetica;">from bs4 import BeautifulSoup<span style="color: #000a12; font-family: Noto Sans KR, -apple-system, system-ui, BlinkMacSystemFont, Apple SD Gothic Neo, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif, Oxygen, Ubuntu, Cantarell, Fira Sans, Droid Sans, Helvetica;">
<span style="color: #000a12; font-family: Noto Sans KR, -apple-system, system-ui, BlinkMacSystemFont, Apple SD Gothic Neo, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif, Oxygen, Ubuntu, Cantarell, Fira Sans, Droid Sans, Helvetica;">res = requests.get('https://davelee-fun.github.io/blog/crawl_test')
<span style="color: #000a12; font-family: Noto Sans KR, -apple-system, system-ui, BlinkMacSystemFont, Apple SD Gothic Neo, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif, Oxygen, Ubuntu, Cantarell, Fira Sans, Droid Sans, Helvetica;">soup = BeautifulSoup(res.content, 'html.parser')<span style="color: #000a12; font-family: Noto Sans KR, -apple-system, system-ui, BlinkMacSystemFont, Apple SD Gothic Neo, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif, Oxygen, Ubuntu, Cantarell, Fira Sans, Droid Sans, Helvetica;">
<span style="color: #000a12; font-family: Noto Sans KR, -apple-system, system-ui, BlinkMacSystemFont, Apple SD Gothic Neo, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif, Oxygen, Ubuntu, Cantarell, Fira Sans, Droid Sans, Helvetica;">item = (soup.select_one('ul#hobby_course_list li:nth-of-type(4)'))
<span style="color: #000a12; font-family: Noto Sans KR, -apple-system, system-ui, BlinkMacSystemFont, Apple SD Gothic Neo, Segoe UI, Roboto, Helvetica Neue, Arial, sans-serif, Oxygen, Ubuntu, Cantarell, Fira Sans, Droid Sans, Helvetica;">print(item.get_text())

50강 / 7분 14초 / selector

아 지금 강의 들으니 select()로 추출하면 좀 더 깔끔하네요.
1. index로 검색
import requests&nbsp;
from bs4 import BeautifulSoup

res = requests.get('https://davelee-fun.github.io/blog/crawl_test')
soup = BeautifulSoup(res.content, 'html.parser')
items = soup.select('ul#hobby_course_list li')
for index, item in enumerate(items):
&nbsp; &nbsp; if index == 0: # 원하는 index를 주면 됨.
&nbsp; &nbsp; &nbsp; &nbsp; print(item.get_text())

2. 원하는 단어로 검색
import requests&nbsp;
from bs4 import BeautifulSoup

res = requests.get('https://davelee-fun.github.io/blog/crawl_test')
soup = BeautifulSoup(res.content, 'html.parser')
items = soup.select('ul#hobby_course_list li')
for item in items:
&nbsp; &nbsp; words = item.get_text().split('-')[1].split()
&nbsp; &nbsp; for word in words:
&nbsp; &nbsp; &nbsp; &nbsp; if word == "클래스": # 원하는 문자를 주면 됨.
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; print(item.get_text())

그리고, 그냥 첫번째를 원하시는 거면, 다음 강의에 나오는 select_one 을 사용하시면 되네요. ^^

강사님 이 글 보실지 모르지만,&nbsp; 강의 감사합니다. 꾸벅

저도 공부삼아 두 가지 방법으로 접근해 봤는데요.&nbsp;
1.&nbsp; 몇 번째 것을 뽑고 싶다. index 번호가 일치하는 것 추출
import requests&nbsp;
from bs4 import BeautifulSoup

res = requests.get('https://davelee-fun.github.io/blog/crawl_test')
soup = BeautifulSoup(res.content, 'html.parser')

ulSoup = soup.find('ul', id='hobby_course_list')
titles = ulSoup.find_all('li', 'course')
for index, title in enumerate(titles):
&nbsp; &nbsp; if index == 0: # 원하는 index를 주면 됨.
&nbsp; &nbsp; &nbsp; &nbsp; print(title.get_text())

2. 원하는 단어를 추출&nbsp;
첫번째 for문에서 단어를 분리하고, 단어리스트를 가지고 for문을 한번 더 돌려서 내가 원하는 단어가 있는지 비교
import requests&nbsp;
from bs4 import BeautifulSoup

res = requests.get('https://davelee-fun.github.io/blog/crawl_test')
soup = BeautifulSoup(res.content, 'html.parser')

ulSoup = soup.find('ul', id='hobby_course_list')
titles = ulSoup.find_all('li', 'course')

for title in titles:
&nbsp; &nbsp; words = title.get_text().split('-')[1].split()
&nbsp; &nbsp; for word in words:
&nbsp; &nbsp; &nbsp; &nbsp; if word == "클래스": # 원하는 문자를 주면 됨.
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; print(title.get_text())
아직 배우는 중이라 더 좋은 방법이 있을 것 같은데...&nbsp;
일단, 지금까지 강사님께 배운 내용을 토대로 제가 아는 범위내에서 풀어봤습니다.

빠른 답변 갑사합니다. ^^&nbsp;

Jupyter notebook 관련 질문입니다.

강의 잘 듣고 있습니다. 감사합니다.
설명해 주신 것&nbsp; 들은 기억이 나네요.&nbsp;
버전 되돌리는 방법을 몰라서 그냥 진행하고 있습니다. 강의 너무 재밌습니다. 나중에 나올 crawling 등의 강의도 기대되네요.

AttributeError: 'DataFrame' object has no attribute '_get_dtype_counts'

친절한 정리까지 정말 최고네요.
다른 강의에서 또 배움을 얻게 되길 기대하겠습니다.
감사합니다. ^^

심화학습을 위해

안녕하세요. 강의 감사히 잘 보고 있습니다.
for문을 stream으로 변경하는 것이라서 for라는 글자나 for 문의 괄호 안에 커스를 두고 Alt + Enter 누르시면 됩니다.
혹시 누군가에게 도움이 될지 몰라 늦었지만 댓글 달아봅니다.

Cho

Posts