SQL/DB(MySQL) 기본부터 파이썬/데이터분석 활용까지!

SQL/DB(MySQL) 기본부터 파이썬/데이터분석 활용까지!

(20개의 수강평)

301명의 수강생
Yeji Lee 프로필

파이썬에서 최종 크롤링 코드 돌리고 mysql로 데이터 트랜스퍼 Yeji Lee 2시간 전

안녕하세요, 강의 잘듣고있습니다! 현재 지마켓 크롤링 최종 코드까지 돌린상태구요, 데이터 분석으로 들어가려구 하는데, 우선 최종 코드 돌리는데 시간이 너무 오래걸려서 5000 rows 밖에 추출못했구요 그걸 파이썬에서 csv로 옮겼습니다.. 그뒤에 제가 그것만이라도 my sql에 옮기려고하는데, 저의 질문은 1.원래 파이썬에서 최종코드 돌리면서 그 데이터들이 mysql로 바로 옮겨지는것 아닌가요? 2. mysql에서 csv import 를 여러번 시도해보았지만 안되었습니다. 혹시 도움을 주실 수 있을까요? 

0
lper11 프로필

크롤링 관련 질문있습니다. lper11 7일 전

크롤링 관련 강의에서 최종코드란을 실행시키면 아래와 같이 트랜잭션 Timeout Lock이 걸립니다.

DB를 지우고 다시 생성해도 동일하게 발생하는데, 어떤 이유로 인해서 발생하는지 알 수 있나요?

<추가질문> 

아래 해당 코드가 정상 실행됐을때 DB를 확인해보니 데이터가 없는 경우도 있었는데

왜 그런지 알수 있을까요?..

2
juhy0987 프로필

set password error 1372 juhy0987 10일 전

sql dcl 파트에서 set password 명령어를 실행하니까 비밀번호 해시값은 41-hexadecimal 이어야한다고 하네요 기존처럼 키보드 문자 배열로 바꿀 수 있는 방법이 있나요

2
나르샤 프로필

CSV저장할때 다른점 나르샤 11일 전

저는 현재 맥북프로 2018에서 공부중인데요.

선생님은 텍스트편집기에 데이터 작성하실때 

이름(dave) 성별(man) 생일등에

따옴표를 데이터 앞뒤로 넣어주셨는데 처음엔 똑같이 따라해서

진행하는데 워크벤치에서 임포트가 계속 안되는데

몇번보다보니 워크벤츠 끝자락부근에 입력될 데이터가

보여질때 따옴표가 그대로 보여지길래

csv 작성할때 데이터에 따옴표를 제거하고 저장후에

진행하니 임포트가 제대로 진행되었습니다.

이건 어떤 차이인지 혹시 알수있을까요?

인코딩이나 이런부분은 모두 동일하게 적용했는데..

차후에도 이렇게 해야되는지 설정을 바꿔야하는지

궁금합니다.

1
SY Lee 프로필

크롤링 도중 에러가 나면 어떻게 이어서 진행할 수 있을까요? SY Lee 12일 전

안녕하세요. 재밌게 수강하고 있습니다. 

크롤링 도중에 아래와 같이 [WinError 10060]이 뜨면서 크롤링이 멈추게 되었습니다. 구글링해보니 서버와 응답이 오래걸려서 나는 에러라고 하던데, 두 가지 질문 드릴라고 합니다.

1. 아래와 같은 서버 응답에러를 최소화 할 수 있는 방법이 있을까요? (아마도 좋은 네트워크 환경과 좋은 장비겠죠? 혹시 또다른 팁이 있을까 질문드립니다.)

2. [WinError 10060]에러가 서버와 응답으로 인한 일시적인 에러라면, 다시 크롤링을 자동으로 시도하도록 할 수 있을까요? 아니면 나중에라도 다시 이어서 할 수 있도록 크롤링한 홈페이지 주소를 로깅하는 방법밖에 없을까요? 

1
­임나영(인문과학대학 국어국문학과) 프로필

안녕하세요 pymysql 설치에 관해서 질문있습니다 ­임나영(인문과학대학 국어국문학과) 14일 전

안녕하세요 선생님 강의 재밌게 잘 보고 공부하고 있습니다. pymysql설치하려고 터미널에 그대로 쳤는데 저렇게 뜨고 주피터노트북가서 실행하면 계속 에러가 뜹니다ㅜㅜ어떻게 해야하나요??

1
조영훈 프로필

존재하는 csv파일을 MySQL Workbench로 import할 때 Error 조영훈 28일 전

안녕하세요! 우선 강의 정말 잘 보고 있습니다! 저도 비전공자여서(컴퓨터계열 과로 복수전공은 하고 있습니다만) 선생님의 수업 방식이 정말 좋고 맘에 드는 것 같습니다! Selenium과 Scrapy 강좌도 완강하고 정말 잘써먹고 있습니다! 

본론으로, 제가 예전에 웹크롤링을 통해서 csv파일로 만들어 놓은 데이터가 있는데 이를 MySQL Workbench를 통해서 DB에 데이터를 넣어보려고 했는데요! encoding문제로 자꾸 에러가 뜨더라구요! 그래서 구글링해서 찾아보고 추측하건데 제csv파일 속 데이터의 '가격' 칼럼에 대한 레코드들이 "(큰따옴표)가 붙어있는 채로 있더라구요.. 그래서 그걸 제거해보려고 replace함수를 썼는데 제거가 되어 출력이 안되네요 ㅜㅜ 다른 커뮤니티에도 질문은 해놓았는데 아직 답변이 오지 않아 여기도 남겨드립니다...! 크롤링 코드를 어떻게 수정해야 할까요 아니면 크롤링 코드를 수정하는 것 말고 다른 측면에서 디버깅할 수 있는 방법이 있을까요!?

*추신) 질문이 많아서 죄송합니다 ㅜㅜ 혹시 질문 공간에 공부 내용 이외에 진로에 관해서는 질문드리면 좀 실례일까요? 데이터 엔지니어/분석가에 신입으로 들어가거 싶어하는 학생입니다....!

#크롤링 코드 전문과 에러 사진 첨부할께요! 

<CSV파일 결과 화면>

1
leo41572 프로필

패턴으로 익히는 파이썬과 MySQL - 데이터 입력과 검색 중... leo41572 1달 전

위의 구문중 for문에서 질문이 있습니다.

 '""" + str(product_code) + """', 이 부분에서 

+ str(product_code) + 앞뒤로 """ 이 붙는 이유는 무엇인가요? ㅠㅠ

1
JIAN KIM 프로필

데이터 삽입에 관한 질문 JIAN KIM 1달 전

데이터를 10개로 늘리는 과정에서 다음과 같이 입력을 하면

------------------------------------------------------

for index in range (10):

    product_code= 637172361661816756 + index + 1

    sql="""insert into product values(

         '""" + str(product_code) + """','요즘에/단독봄신상10%할인/청바지/슬랙스/빅사이즈',32900,69,9900,'F');"""

#cursor.execute(sql)

print(sql)    

#db.commit()

#db.close()

-------------------------------------------------

강의 해 주신대로 product_code가 10개로 늘어나 있지 않고 

결과 값이 이렇게 나와요. 

insert into product values(
         '637172361661816766','요즘에/단독봄신상10%할인/청바지/슬랙스/빅사이즈',32900,69,9900,'F');

mysql에서도 전혀 변함이 없습니다. 무엇이 잘못 된 것일까요?

2
Brandon.Lee 프로필

PyMySql를 import하려는데, 강의 화면에서처럼 에러 메시지가 나오기에, 터미널에서 pip install PyMySql을 실행하여 설치했지만, import오류가 계속해서 나옵니다. 어떻게 해야 할까요? Brandon.Lee 2달 전

PyMySql를 import하려는데, 강의 화면에서처럼 에러 메시지가 나오기에, 터미널에서 pip install PyMySql을 실행하여 설치했지만, import오류가 계속해서 나옵니다. 어떻게 해야 할까요?

MAC에서 연습하고 있구요~

에러 메시지 내용은, 

Requirement already satisfied: pymysql in /Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages (0.9.3)

이렇게 나옵니다.

1
ju hee lee 프로필

product_link에 대해서요 ju hee lee 2달 전

강의에서 item_code = product_link.attrs['href'].split('=')[1] 

라고 하셨을때의 지마켓 링크와는 다르게 현재는 

href="http://item.gmarket.co.kr/Item?goodscode = 1730369684&ver

의 형태로 바뀌었더라구요 = 와 같이 &ver은 split으로 어떻게 나눌수 있나요.. 

1
김나영 프로필

오타제보 김나영 2달 전

별건아니지만.. 주피터 노트북 공유해주신 자료에 아래 쿼리에서 필드명이 아니라 테이블명이어야할꺼같습니다.

  • SELECT * FROM 필드명 LIMIT 10;

1
ju hee lee 프로필

주피터노트북 파일다운 ju hee lee 3달 전

파일 다운로드한것 주피터 노트북에서 어떻게 열수 있을까요... 여는 방법을 모르겠어요

1
kcj3054@naver.com 프로필

제글 질문 확인부탁드릴게요 kcj3054@naver.com 4달 전

질문에 댓글 달았습니다 확인 부탁드리겠습니다 .

1
kcj3054@naver.com 프로필

정말 이상하네요 유ㅠㅠㅠ kcj3054@naver.com 4달 전

제가 학교에서는 ,apmsetup으로 했는데 거기서도 비밀번호 맞는데도 제대로 쳤는데도 커맨드창이 꺼지고 

여기서도 설치하는과정에서 비밀번호 설정해서 check까지했는데도 work bench들어가서 connection할려고하니 

연결이 안되네요 .... 진짜 왜이런거죠? 교수님께서는 지우고 다시 삭제하라했는데 apm setup도 mysql도 다 지우고해도 둘다 똑같은 현상이 반복되니 정말 답답하네요 ㅠㅠ

그리고 다시 설치할때 경로가 이미있는데 설치하시겠습니까 나오길래  예스했습니다 

다음날인 지금도 아침부터 계속하는데 mysql은 삭제하려면 구글에 쳐보니 레스트리편집기에서 관련된걸 다 삭제해야한다해서 다 삭제후 재설치하는과정에서 오류뜹니다 여기 사진을 어떻게올리는지 ..ㅠㅠ 

4
지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스