파이썬에서 최종 크롤링 코드 돌리고 mysql로 데이터 트랜스퍼

Question

안녕하세요, 강의 잘듣고있습니다! 현재 지마켓 크롤링 최종 코드까지 돌린상태구요, 데이터 분석으로 들어가려구 하는데, 우선 최종 코드 돌리는데 시간이 너무 오래걸려서 5000 rows 밖에 추출못했구요 그걸 파이썬에서 csv로 옮겼습니다.. 그뒤에 제가 그것만이라도 my sql에 옮기려고하는데, 저의 질문은 1.원래 파이썬에서 최종코드 돌리면서 그 데이터들이 mysql로 바로 옮겨지는것 아닌가요? 2. mysql에서 csv import 를 여러번 시도해보았지만 안되었습니다. 혹시 도움을 주실 수 있을까요?

Yeji Lee · Answer

선생님!! 답변 너무 감사해요 ㅠㅠ !!! 저도 save_data() 함수까지 다 따라했는데.. mysql에 연동되어 입력되지않아 너무 답답해서 csv로 export해서 다시 워크밴치에서 임포트 하잔생각해 시도했습니다 ㅠㅠ (혹시 코드에는 에러가 하나도 나지않았고 제대로 연동시켰는데 왜 mysql에 뜨지않는지 알수있을까요?) 임포트는 알려주신대로 다시 시도해볼게요! 설명과 답변 감사합니다..!!

잔재미코딩 DaveLee · Answer

안녕하세요. 코드에서 mysql에 데이터를 입력하도록 되어있어요.  코드레벨로 이해를 하셔야 하는데, 이런 코드를 못보셔서인지, 걱정이 되네요. 강의에서도 save_data() 함수를 작성하면서, 설명을 드린 부분인데요. 아무래도 저희가 프로그램을 실행하는 것 자체가 목적은 아니니까요. csv 파일은 포멧이 정확히 mysql 스키마와 맞아 떨어져야 하는데요. 그러다보니, 지금은 코드레벨이 이해가 안가시면, 터미널 명령으로 하는 것은 더 안되실 것 같아서요. 차라리 워크벤치로 임포트해보시는 것이 좋을 것 같고, 그렇게 하려면 다음 블로그를 참고해서 그대로 따라해보시면 좋을 것 같습니다. https://developer88.tistory.com/21 또 당연한 이야기이지만, 그 전에 해당 테이블이 정확히 만들어져 있어야 합니다.