📱인프런 모바일 App 😆
파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기

파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기

(33개의 수강평)

912명의 수강생

55,000원

평생
초급
수료증
55개 수업, 총 26시간 42분
위시리스트 추가
rome 프로필

python 3.7아나콘다 설치 후 python 3.6으로 바꾸기 rome 48분 전

안녕하세요 이미 제 PC에 파이썬 3.6이 설치된 상태이고 이를 유지하고 싶습니다. 

아나콘다 현재 배포중인 것을 설치해서 3.7이 또 설치되었는데 환경변수는 새로 생기지 않았습니다.

conda install python==3.6.8

위같은 명령어를 cmd창이 입력하면  파이썬 버전을 아예 바꾸는 거라는데  맞을까요?

 아나콘다 프롬프트에서python 사용시에도 버전 3.6.8을 사용하고 싶습다~!

헉 그런데 환경변수 설정이 안돼서 그런제 cmd창에서 conda 명령어도 안되네요ㅠ

 

아나콘다 삭제하고 다시 설치하더라도 버전3.6.8을 유지하는 방법이 있을까요?

0
김상길 프로필

뷰티풀숩 모듈 임포트 관련 문의 김상길 10시간 전

pip install로 beautifulsoup을 설치했고,

from bs4 import beautifulsoup을 했는데 빌드가 안되는 것 같습니다.

(ModuleNotFoundError: No module named 'bs4')

참고로 저는 아나콘다 가상환경 설정하지 않았고,

root(base)로 사용중입니다.

conda list 하면 beautifulsoup4가 보이긴 합니다.

꼭 가상환경을 구성해서 해야하는걸까요?

0
김상길 프로필

pytube 에러 문의 김상길 16시간 전

강좌 따라하던 중 아래와 같은 에러가 발생하는데

해결책 조언 부탁 드립니다.

모듈 재설치하면 해결되는 문제일까요?

참고로 삭제 후 아나콘다 프롬프트에서

  • pip install git+git://github.com/nficano/pytube

를 실행하면 설치가 안되고 에러가 납니다.

 

 filename = filename or self.default_filename
  File "C:\Users\Local\Programs\Python\Python37\lib\site-packages\pytube\streams.py", line 176, in default_filename
    title = self.player_config_args['title']
KeyError: 'title'

1
YeonCheol Jang 프로필

강의 외 질문입니다. YeonCheol Jang 18시간 전

저번에 질문드렸던 학교홈페지이의 새 글이 올라오면 가져오는 것을 해보고 있습니다. 

사이트의 posts[4]가 무조건 최신글이 됩니다.

그렇다면 만약에 다음에 또 실행을 했을 때,  새글이 있을 때만 가져오고, 없을 때는 안가지고 오는 것을 어떻게 만들 수 있을까요?

 

일단 지금 생각하고 있는게, 가져온 글들을 .txt에 저장 후 같은 제목이 있으면 그만하고, 일치하는게 없다면 가져오는 것을 생각 중 입니다.

아니면 아얘 셀레니움으로 가야 방법이 있을까요?

 

힌트라도 부탁드립니다ㅠㅠ물어 볼 사람이 없어서 좀 답답합니다.

 

 

첫번째 코드가 최신코드입니다. 어디로 가는지 모르겠습니다ㅠㅠ

import requests
from bs4 import BeautifulSoup
import os

req = requests.get("https://www.daegu.ac.kr/article/DG159/list")
html = req.text
soup = BeautifulSoup(html, 'lxml')
posts = soup.select("table.board_tbl_list > tbody:nth-child(4) > tr > td.list_left > a")

for post in posts:
    title = post.get_text()
    print(title, end='')
    link = post.get('href')
    url = "https://www.daegu.ac.kr/article/DG159/list" + link
    print(url)

print(post)

 

 

import requests
from bs4 import BeautifulSoup
import os

BASE_DIR = os.path.dirname("/Users/yeon/Desktop/인프런/untitled folder")
req = requests.get("https://www.daegu.ac.kr/article/DG159/list")
html = req.text
soup = BeautifulSoup(html, 'lxml')
posts = soup.select("table.board_tbl_list > tbody:nth-child(4) > tr > td.list_left > a")
latest = posts[4].text

1
YeonCheol Jang 프로필

강의내용 관련 질문입니다! YeonCheol Jang 4일 전

크롤링으로 학교홈페이지에 새글이 올라오면, 자동으로 긁어서 새 글의 링크 + 제목만 긁어와서, 

텔레그램이나 카카오톡봇을 만들어서 전송하고 싶습니다.

 

혹시 강의내용에 크롤러가 자동으로 돌아가게 하는 내용이 있나요?

지금은 단순히  Run해서 손수 클릭해야 전체내용을 다 긁어오고 있어서, 조금 답답하더라구요. 

인터넷 찾아봐도 내용이 좀 있긴 한데, 각자 다른 스타일로 만들어서 그런가 저는 조금 어렵게 느껴지더라구요.

1
YeonCheol Jang 프로필

시가총액 긁어오기 YeonCheol Jang 4일 전

아무리 해도 결과값은 []만 뜨고 끝입니다..

뭐가 문제일까요?ㅠㅠ

다른 것은 또 잘 되는 것 같은뎅...

 

파이참 ide 사용 중 입니다.

 

 

from bs4 import BeautifulSoup
import re
import urllib.request as e

url = "https://www.inflearn.com/roadmaps"
res = e.urlopen(url).read()
bs = BeautifulSoup(res, 'lxml')

List = bs.find_all("label", {"class":"left"})

i = 1
for a in List:
print(i, a.string)
i += 1

 

from bs4 import BeautifulSoup
import re
import urllib.request as e

url = "http://finance.daum.net/"
res = e.urlopen(url).read()
bs = BeautifulSoup(res, 'lxml')

money = bs.find_all('a', class_ = "list boxKospi")
print(money)




 

from bs4 import BeautifulSoup
import re
import urllib.request as e

url = "http://finance.daum.net/"
res = e.urlopen(url).read()
bs = BeautifulSoup(res, 'lxml')

money = bs.select("#boxMarketTrend > div.box_contents > div:nth-child(6) > div:nth-child(1)")
print(money)







1
YeonCheol Jang 프로필

정규표현식, 질문 YeonCheol Jang 5일 전

정규표현식 매칭해주는 사이트 이용해서 https와 http를 다 포함하는 것을 만들어 볼려고 별 짓을 다 해도, 두개가 동시에 포함되는 표현식은 어려운 것 같습니다..

'''

(http)\w\:\/\/

'''

제가 만든건 이게 최선이네요ㅠㅠ

 

 

혹시 select와 select_one의 차이점이 뭔가요?

여기서 여차피 하나만 찾으시는데, 왜 select_one이 아니라 Select를 사용하신지 궁금합니다.

1
YeonCheol Jang 프로필

질문 YeonCheol Jang 6일 전

제가 잘 이해를 한건지 모르겠습니다.

 

with open(savePath2, 'wb') as saveFile2:

는 저장하는 경로와 파일이름을 지정해줬고, 

saveFile2.write(f2)는 

f2에 html파일을 써서 입력 시키고, 

다시 f2함수로 돌아가서 컴퓨터에 저장을 시키는 것 인가요?

 

 

1
YeonCheol Jang 프로필

tkinter 에러 질문입니다! YeonCheol Jang 6일 전

tkinter 에러 질문입니다!
 
현재 멕북에어 2017년ver 128gb과 Pycharm IDE사용하고 있습니다.
 
tkinter로 간단한 예제를 그냥 돌려봤는데, Run만 시키면 컴퓨터가 다운되면서 창이 다꺼지고, 다시 켜지면서 Adguard for Safari가 뜹니다.
 
컴퓨터 사양의 문제인건가요? 아니면 Adguard와 무슨 충돌이 일어나는건가요? 또한 현재 Safari가 아닌 chrome을 사용하고 있습니다!

1
YeonCheol Jang 프로필

파이참(Pycharm)도 사용에 문제 없나요? YeonCheol Jang 8일 전

제가 계속 파이참을 사용하고 있어서 그런데, 강의 진행에 파이참도 문제가 없을까요?

1
권혁진 프로필

decode() 가 어떤 의미인지 알고싶습니다 권혁진 10일 전

import sys
import io
import urllib.request as req
from urllib.parse import urlencode

sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding = 'utf-8')
sys.stderr = io.TextIOWrapper(sys.stderr.detach(), encoding = 'utf-8')

api = "https://api.ipify.org"

values = {
    'format' : 'json'
}
print('before', values)
params = urlencode(values)
print('after', params)

url = api + "?" + params
print("요청 url", url)


reqData = req.urlopen(url).read().decode('utf-8')
print("출력", reqData)

질문 1. reqData에서 왜 decode(utf-8) 을쓰는 이유가 뭐져? 저 함수를 지워도 출력은 똑같은데 어떤 의미가 있는지 궁금해서 질문합니다!

질문 2. 왜 urlencode를 쓰는지 궁금합니다. 인코드를 하지않고 'format' : 'json' 형태로 요청해도 아이피가 출력되는데 굳이 인코드를해서 format=json으로 요청하셨는지 궁금합니다.

1
권혁진 프로필

에러가 뜨네요 권혁진 11일 전

Traceback (most recent call last):
  File "C:\section\youtube_dowloader.py", line 16, in <module>
    videos[1].download(down_dir)
  File "C:\Users\lexky\Anaconda3\envs\section\lib\site-packages\pytube\streams.py", line 206, in download
    filename = filename or self.default_filename
  File "C:\Users\lexky\Anaconda3\envs\section\lib\site-packages\pytube\streams.py", line 176, in default_filename
    title = self.player_config_args['title']
KeyError: 'title'


코드를 여러번 바꾸면서 입력해도 똑같네요

1
DeepDeep 프로필

[WinError 10053] 에러가 납니다 DeepDeep 12일 전

 

저 에러가 나면서 이미지 다운로드가 안 되는데, 혹시 어떻게 해야하는지 여쭙고 싶습니다....

구글링을 해보니까 공용컴퓨터 사용시 문제가 된다는데 제가 군복무로 인해서 어쩔 수 없이 공용 컴퓨터를 활용해서 강의를 듣고 실행을 하고 있는 상황에 있습니다...

그 문제가 아니라면 어떻게 해야되나요? ...

2
YeonCheol Jang 프로필

전체화면시 피피티 글자크기 YeonCheol Jang 12일 전

전체화면시 피피티 글자크기가 너무 작아서 하나도 안보입니다. 전체화면 해제하고 마우스로 화면자체를 확대해서 보는게 불편합니다.

1
계만석 프로필

ection2. 파이썬 기초 스크래핑하기가 수업내용이 없는데요? 계만석 16일 전

ection2. 파이썬 기초 스크래핑하기가  수업내용이 없는데요?

1