묻고 답해요
156만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결파이썬(Python)으로 데이터 기반 주식 퀀트 투자하기 Part1
pandas.errors.ParserError: Error tokenizing data. C error: out of memory
pandas.errors.ParserError: Error tokenizing data. C error: out of memory 안녕하세요. 주식종목의 틱봉 거래 데이터를 불러오는데, 저런 알람이 뜨는데 ,, 어떤식으로 처리를 할수가 있을까요? 구글링을 하니깐 chunkisize 인가를 사용하라고 하는데, chunkisize = 10000 이렇게 하니깐 textreader 라는 알람이뜨더라구여 ,,, 제가 생각하고 있는 한가지 방안은 일정로우가 되면 그냥 잘라서 넘기는거는 생각하고 있는데,, 그외에 어떻게 할수 있을지,,, 고민이 되어 질문 드립니다. 감사합니다.
-
미해결공공데이터로 파이썬 데이터 분석 시작하기
선생님, 질문이 있습니다.
선생님, 강의 잘 듣고 있습니다. 강의를 듣다가 궁금증이 생기는데 9/20 부터 15/20 즈음까지의 강의는 모두 결국 seaborn 라이브러리 안에는 여러 개의 xxplot이 있다는걸 소개하는거고 곧 활용할 수 있는 api에는 이러이러한 것이 있다 고 설명하는 셈이잖아요? 헌데 이런걸 전부 외우는 현업 개발자는 없고 그분들도 필요나 설계에 따라 맞게 쓰는 정도로 활용하는 걸루 알고 있는데 그래도 강의를 들으면서 최소한 숙지해야 하는 정도 라는게 있다면 어느 정도가 적절할는지 궁금합니다. 참고로 저는 원래 자바랑 c++ 위주로 쓰는 주니어이고 파이썬으로는 알고리즘까지는 낯설어서 잘 쓰진 않지만 자료구조 구현은 할 줄 아는 정도입니다. 그리고 최근에 머신러닝 배우면서 이 강의는 캐주얼한 용도로 듣고 있습니다. 감사합니다!
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
FinanceDataReader - ModuleNotFoundError
input 파일로 실습중입니다. !pip install -U finance-datareader(주석처리 지움)로 FinanceDataReader를 설치후 import FinanceDataReader as fdr fdr.__version__ 를 했는데 다음과 같은 오류가 나옵니다. --------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) <ipython-input-3-e3a60539cbc3> in <module> 1 # FinanceDataReader 를 fdr 별칭으로 불러옵니다. 2 # 라이브러리의 version을 확인하고 싶을 때는 .__version__ 으로 확인합니다. ----> 3 import FinanceDataReader as fdr 4 fdr.__version__ ModuleNotFoundError: No module named 'FinanceDataReader' 실습환경은 macos 11.2.3입니다. pip list 첨부했으며 finance-datareader만 제가 Bold처리 했습니다. (base) imigjuucBookPro:~ ikedo$ pip list Package Version ------------------------------------------------- ------------ anaconda 0.0.1.1 appnope 0.1.2 asgiref 3.3.1 backcall 0.2.0 beautifulsoup4 4.9.3 bokeh 2.2.3 bs4 0.0.1 certifi 2020.12.5 chardet 3.0.4 colorama 0.4.4 commonmark 0.9.1 conda 4.3.16 cycler 0.10.0 DateTime 4.3 decorator 4.4.2 Django 3.1.7 django-ckeditor 6.0.0 django-crispy-forms 1.11.1 django-extensions 3.1.1 django-js-asset 1.2.2 django-markdown 0.8.4 django-markdownx 3.0.1 finance-datareader 0.9.31 gunicorn 20.0.4 httplib2 0.10.3 idna 2.6 inflect 0.2.5 ipython 7.21.0 ipython-genutils 0.2.0 jedi 0.18.0 Jinja2 2.11.2 keyboard 0.13.5 kiwisolver 1.3.1 lxml 4.6.3 Markdown 3.3.4 MarkupSafe 1.1.1 matplotlib 3.3.3 monotonic 1.5 numpy 1.19.4 oauth2client 3.0.0 packaging 20.8 pandas 1.2.4 parso 0.8.1 pexpect 4.8.0 pickleshare 0.7.5 Pillow 8.1.0 pip 21.1.2 plotly 4.14.1 prettytable 2.0.0 prompt-toolkit 3.0.16 protobuf 3.4.0 psycopg2-binary 2.8.6 ptyprocess 0.7.0 pyasn1 0.3.7 pyasn1-modules 0.1.5 pycosat 0.6.3 Pygments 2.8.0 pykrx 0.1.42 pyobjc 7.1 pyobjc-core 7.1 pyobjc-framework-Accessibility 7.1 pyobjc-framework-Accounts 7.1 pyobjc-framework-AddressBook 7.1 pyobjc-framework-AdServices 7.1 pyobjc-framework-AdSupport 7.1 pyobjc-framework-AppleScriptKit 7.1 pyobjc-framework-AppleScriptObjC 7.1 pyobjc-framework-ApplicationServices 7.1 pyobjc-framework-AppTrackingTransparency 7.1 pyobjc-framework-AuthenticationServices 7.1 pyobjc-framework-AutomaticAssessmentConfiguration 7.1 pyobjc-framework-Automator 7.1 pyobjc-framework-AVFoundation 7.1 pyobjc-framework-AVKit 7.1 pyobjc-framework-BusinessChat 7.1 pyobjc-framework-CalendarStore 7.1 pyobjc-framework-CallKit 7.1 pyobjc-framework-CFNetwork 7.1 pyobjc-framework-ClassKit 7.1 pyobjc-framework-CloudKit 7.1 pyobjc-framework-Cocoa 7.1 pyobjc-framework-Collaboration 7.1 pyobjc-framework-ColorSync 7.1 pyobjc-framework-Contacts 7.1 pyobjc-framework-ContactsUI 7.1 pyobjc-framework-CoreAudio 7.1 pyobjc-framework-CoreAudioKit 7.1 pyobjc-framework-CoreBluetooth 7.1 pyobjc-framework-CoreData 7.1 pyobjc-framework-CoreHaptics 7.1 pyobjc-framework-CoreLocation 7.1 pyobjc-framework-CoreMedia 7.1 pyobjc-framework-CoreMediaIO 7.1 pyobjc-framework-CoreMIDI 7.1 pyobjc-framework-CoreML 7.1 pyobjc-framework-CoreMotion 7.1 pyobjc-framework-CoreServices 7.1 pyobjc-framework-CoreSpotlight 7.1 pyobjc-framework-CoreText 7.1 pyobjc-framework-CoreWLAN 7.1 pyobjc-framework-CryptoTokenKit 7.1 pyobjc-framework-DeviceCheck 7.1 pyobjc-framework-DictionaryServices 7.1 pyobjc-framework-DiscRecording 7.1 pyobjc-framework-DiscRecordingUI 7.1 pyobjc-framework-DiskArbitration 7.1 pyobjc-framework-DVDPlayback 7.1 pyobjc-framework-EventKit 7.1 pyobjc-framework-ExceptionHandling 7.1 pyobjc-framework-ExecutionPolicy 7.1 pyobjc-framework-ExternalAccessory 7.1 pyobjc-framework-FileProvider 7.1 pyobjc-framework-FileProviderUI 7.1 pyobjc-framework-FinderSync 7.1 pyobjc-framework-FSEvents 7.1 pyobjc-framework-GameCenter 7.1 pyobjc-framework-GameController 7.1 pyobjc-framework-GameKit 7.1 pyobjc-framework-GameplayKit 7.1 pyobjc-framework-ImageCaptureCore 7.1 pyobjc-framework-IMServicePlugIn 7.1 pyobjc-framework-InputMethodKit 7.1 pyobjc-framework-InstallerPlugins 7.1 pyobjc-framework-InstantMessage 7.1 pyobjc-framework-Intents 7.1 pyobjc-framework-IOSurface 7.1 pyobjc-framework-iTunesLibrary 7.1 pyobjc-framework-KernelManagement 7.1 pyobjc-framework-LatentSemanticMapping 7.1 pyobjc-framework-LaunchServices 7.1 pyobjc-framework-libdispatch 7.1 pyobjc-framework-LinkPresentation 7.1 pyobjc-framework-LocalAuthentication 7.1 pyobjc-framework-MapKit 7.1 pyobjc-framework-MediaAccessibility 7.1 pyobjc-framework-MediaLibrary 7.1 pyobjc-framework-MediaPlayer 7.1 pyobjc-framework-MediaToolbox 7.1 pyobjc-framework-Metal 7.1 pyobjc-framework-MetalKit 7.1 pyobjc-framework-MetalPerformanceShaders 7.1 pyobjc-framework-MetalPerformanceShadersGraph 7.1 pyobjc-framework-MLCompute 7.1 pyobjc-framework-ModelIO 7.1 pyobjc-framework-MultipeerConnectivity 7.1 pyobjc-framework-NaturalLanguage 7.1 pyobjc-framework-NetFS 7.1 pyobjc-framework-Network 7.1 pyobjc-framework-NetworkExtension 7.1 pyobjc-framework-NotificationCenter 7.1 pyobjc-framework-OpenDirectory 7.1 pyobjc-framework-OSAKit 7.1 pyobjc-framework-OSLog 7.1 pyobjc-framework-PassKit 7.1 pyobjc-framework-PencilKit 7.1 pyobjc-framework-Photos 7.1 pyobjc-framework-PhotosUI 7.1 pyobjc-framework-PreferencePanes 7.1 pyobjc-framework-PushKit 7.1 pyobjc-framework-Quartz 7.1 pyobjc-framework-QuickLookThumbnailing 7.1 pyobjc-framework-ReplayKit 7.1 pyobjc-framework-SafariServices 7.1 pyobjc-framework-SceneKit 7.1 pyobjc-framework-ScreenSaver 7.1 pyobjc-framework-ScreenTime 7.1 pyobjc-framework-ScriptingBridge 7.1 pyobjc-framework-SearchKit 7.1 pyobjc-framework-Security 7.1 pyobjc-framework-SecurityFoundation 7.1 pyobjc-framework-SecurityInterface 7.1 pyobjc-framework-ServiceManagement 7.1 pyobjc-framework-Social 7.1 pyobjc-framework-SoundAnalysis 7.1 pyobjc-framework-Speech 7.1 pyobjc-framework-SpriteKit 7.1 pyobjc-framework-StoreKit 7.1 pyobjc-framework-SyncServices 7.1 pyobjc-framework-SystemConfiguration 7.1 pyobjc-framework-SystemExtensions 7.1 pyobjc-framework-UniformTypeIdentifiers 7.1 pyobjc-framework-UserNotifications 7.1 pyobjc-framework-UserNotificationsUI 7.1 pyobjc-framework-VideoSubscriberAccount 7.1 pyobjc-framework-VideoToolbox 7.1 pyobjc-framework-Virtualization 7.1 pyobjc-framework-Vision 7.1 pyobjc-framework-WebKit 7.1 pyparsing 2.4.7 python-dateutil 2.8.1 pytz 2021.1 PyYAML 5.3.1 requests 2.25.0 requests-file 1.5.1 retrying 1.3.3 rich 9.11.0 rsa 3.4.2 ruamel.yaml 0.16.12 scipy 1.5.4 seaborn 0.11.0 setuptools 49.2.1 simplejson 3.17.2 six 1.11.0 soupsieve 2.2 sqlparse 0.4.1 tenacity 4.4.0 tinytag 0.18.0 tornado 6.1 tqdm 4.19.2 traitlets 5.0.5 typing-extensions 3.7.4.3 Unidecode 1.0.22 urllib3 1.22 view 0.1 wcwidth 0.2.5 Werkzeug 0.12.2 xlrd 2.0.1 youtube-dl 2017.10.15.1 zope.interface 5.2.0
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
[질문] 웹 크롤링으로 데이터 수집 시 데이터 병합이 안되는 문제
안녕하세요. 선생님 강의 잘 듣고 있습니다. 강의를 들으면서 책을 보고 웹 크롤링으로 데이터를 다운 받아 dataframe으로 전환 최종 엑셀로 저장하는 코드를 공부 하고 있습니다. 그런데 크롤링은 되는데 최종 엑셀 저장 파일을 보면 맨 처음 페이지만 저장 되는데요 아래 코드에서 잘못된게 있을까요? 그리고 break문을 적으면 SyntaxError: 'break' outside loop 에러가 나와 주석처리 했습니다. 제가 워낙 초보라 답변을 주실 수 있는지요? 감사합니다. # from selenium import webdriver # browser = webdriver.Chrome("/Users/maru/Downloads/chromedriver") # browser.get("https://seibro.or.kr/websquare/control.jsp?w2xPath=/IPORTAL/user/company/BIP_CNTS01042V.xml&menuNo=286#") search_btn = browser.find_element_by_id("image1") search_btn.click() html = browser.page_source from bs4 import BeautifulSoup from html_table_parser import parser_functions as parser import pandas as pd soup = BeautifulSoup(html, "html.parser") table = soup.find("table", attrs ={"id" : "grid1_body_table"}) p = parser.make2d(table) df = pd.DataFrame(p[2:], columns=p[1]) df.head() import time import random from tqdm import tqdm prev_no = 0 prev_table = None for i in tqdm(range(0,200)): try: next_btn = browser.find_element_by_id("cntsPaging01_next_btn") next_btn.click() except: time.sleep(2) try: next_btn = browser.find_element_by_id("cntsPaging01_next_btn") next_btn.click() except: time.sleep(2) next_btn = browser.find_element_by_id("cntsPaging01_next_btn") next_btn.click() def get_html(browser, cnt): if cnt >= 4: return -1, -1 html = browser.page_source soup = BeautifulSoup(html, "html.parser") cur_no = soup.find("a", sttrs = {"class" : "w2pageList_control_label w2pageList_label_selected"}) cur_no = cur_no.text table = soup.find("table", attrs={"id" : "grid1_body_table"}) if cur_no != prev_no and prev_table != table: return cur_no, table else: time.sleep(1) get_html(browser, cnt+1) cur_no, table = get_html(browser, 1) if cur_no == -1: print("\n종료. 테이블 정보가 바꾸지 않았습니다.") break p = parser.make2d(table) temp = pd.DataFrame(p[2:], columns=p[1]) df = pd.concat([df, temp], 0) prev_no = cur_no prev_table = html if cur_no == "95": print("\n 최종 페이지 도달") # break time.sleep(random.randrange(3, 5)) df.to_excel("stock_div.xlsx")
-
해결됨파이썬(Python)으로 데이터 기반 주식 퀀트 투자하기 Part1
선생님 질문이 있습니다!
해당 행렬에서 영업이익률을 net income으로 바꿀 수는 없을까요. 즉 .rename같은 로직을 어떻게 사용할 수 있을까요. 먼저 원데이터셋에서 처리를 해야할까요 이상태에서 바꿀 수 있는 기능은 없을까요.
-
해결됨파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
df["ListingYear"] >> df["ListingDate] 로 변경
강의에서는 ListingYear 로 된 부분이 있는데, 이 부분을 ListingDate로 변경해야 출력이 됩니다. (>> KRX의 index가 이름이 변경되서 그런 것 같네요)
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
[질문] 3.3 네이버금융 개별종목 수집 강의 중 파일 자동 저장 코드에서 디렉토리 지정 방법
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요. 선생님 3.3 네이버금융 개별종목 수집 강의 중 파일 자동 저장 코드 에서 저장할 디록토리를 지정하는 방법 있을까요? 수동으로 저장할때 보통 df.to_csv("../data/test.csv") 이런식으로 저장디렉토리에 저장 하는데 변수로된 파일명을 ""안에 입력하니 에러가 나서 다른 방법이 있는지요? 항상 강의 잘 듣고 있습니다. 감사합니다.
-
미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
[질문] pandas DataFrame Index Datetime 형식으로 변경
안녕하세요. 강의 잘듣고 있는 코딩 초보자 입니다. 웹 상 불러온 DataFram의 인덱스가 날짜 형식으로 되어 있는데 타입은 오브젝트 타입 입니다. index를 날짜 타입으로 변환 하는 방번은 어떻게 되는지요? 답변 미리 감사 드립니다.
-
미해결[리뉴얼] 처음하는 파이썬 데이터 분석 (쉽게! 전처리, pandas, 시각화 전과정 익히기) [데이터분석/과학 Part1]
컬럼 리스트로 변경
안녕하세요 선생님! 9분쯤에 컬럼순서 바꾸려고 리스트해서 하는건 이해하고, value값도 변하지 않는거 까지는 알겠습니다! 근데 iso2를 삭제하고 1번자리에 다시 넣었는데 value값도 그대로 온거면 value값은 iso2라는 컬럼에저장되어있기에 자동으로 오는건가요? 그래서 cols.insest(1, 'iso2') 해야 iso2값이 그래도 오지 여기서 컬럼명을 바꾸고싶다고 다른걸 넣으면 value값은 안따라오는건가요?
-
미해결제주 하간디 이신 데이터들 Python으로 몬딱 분석해불게
강의 csv file
안녕하세요. 수업 자료 다운로드 해 보니 폴더에 Code file만 있고, 강의에 사용 되는 csv file은 없는데 확인 부탁 드릴께요! 감사합니다.
-
미해결공공데이터로 파이썬 데이터 분석 시작하기
대용랑 데이터 전처리 [pandas 이용] 방법
안녕하세요. 먼저 좋은 강의 올려 주셔서 감사합니다. "캐글 설문조사로 데이터 분석 입문하기" 수강하면서 강의가 너무 좋아 "공공 데이타.." 강의도 수강하게 되었습니다. 강의를 듣고 있는 중에 실제 현업에 적용시 궁금한 사항이 있어서 이렇게 질문을 남깁니다. • pandas를 이용해 전처리를 수행 중에 대용량 데이터 건수를 전처리 하는 기능. 병렬 프로세스가 아닌 분산 환경에서 전처리를 할 수 있는 방법이 있을까요? 또 분산 환경에서 전처리를 수행할 경우 성능 개선 및 안정성, 효용성이 좋은 기술이 있을지 궁금합니다. 인터넷으로 검색하다 보면 modin/dask 등 몇 개의 라이브러리가 있던데 성능과 안정성, 유용성 등을 실제 경험해 보지 않아서 잘 모르겟습니다.
-
미해결핸즈온 머신러닝 2
대용량 데이터 전처리 [분산 환경 수행] 방법
안녕하세요. 딥러닝 인공지능에 대한 학습을 마치고 핸드온으로 이어서 강의를 수강하고 있습니다. 먼저 좋은 강의 올려 주셔서 감사 합니다. 강의를 듣고 있는 중에 실제 현업에 적용시 궁금한 사항이 있어서 이렇게 질문을 남깁니다. • pandas를 이용해 전처리를 수행 중에 대용량 데이터 건수를 전처리 하는 기능. 병렬 프로세스가 아닌 분산 환경에서 전처리를 할 수 있는 방법이 있을까요? 또 분산 환경에서 전처리를 수행할 경우 성능 개선 및 안정성, 효용성이 좋은 기술이 있을지 궁금합니다. 인터넷으로 검색하다 보면 modin/dask 등 몇 개의 라이브러리가 있던데 성능과 안정성, 유용성 등을 실제 경험해 보지 않아서 잘 모르겟습니다.
-
미해결파이썬(Python)으로 데이터 기반 주식 퀀트 투자하기 Part1
!pip install -r requirements.txt 시 error
강의 결제하고 첫 강부터 난관에 부딪혓네요 ㅠ jupyter lab에서 !pip install -r requirements.txt 입력시 하기와 같이 error 메세지가 뜹니다. 혹시하는 마음으로 기존에 깔았던 python 3.9버젼을 지워보기도 하고 anaconda prompt에서도 동일한 명령문을 실행해보앗지만 error가 발생하여 해결방법 문의드립니다. 태어나서 이렇게 긴 error는 처음입니다. 감사합니다. ----- 내용 길어서 생략함------
-
미해결공공데이터로 파이썬 데이터 분석 시작하기
plt.figure(figsize=(10,3))을 뒤로하면 적용이 안되는 이유
선생님 안녕하세요 plt.figure(figsize=(10,3))을 sns.barplot(data=df_last, x="지역명", y="평당분양가격") 밑으로 코드를 입력하면 적용이 안되는 이유는 무엇인가요 ..?
-
미해결공공데이터로 파이썬 데이터 분석 시작하기
쥬피터 네이게이터 접속방법 문의
주신 파일로 win64비트 설치했습니다. anaconda3 폴더에 실행 notebook 실행파일이 어떤것일까요? 그림에 나온 네비게이터 창이 안떠요
-
미해결공공데이터로 파이썬 데이터 분석 시작하기
쥬피터 노트 사용방법 문의
쥬피터 노트북을 사용하라고 하셨는데 try classcis notebook 이 말씀하신것인가요? install notebook은 이상한게 떠요
-
미해결공공데이터로 파이썬 데이터 분석 시작하기
주피터 노트북을 어떻게 실행하나요?
4:29의 화면이 나오지 않습니다.
-
해결됨[리뉴얼] 처음하는 파이썬 데이터 분석 (쉽게! 전처리, pandas, 시각화 전과정 익히기) [데이터분석/과학 Part1]
'JSON 포맷 이해와 파이썬으로 JSON 파일 다루기' 영상 내용 질문입니다.
안녕하세요. 강사님. json_file_format.ipynb 파일에 있는 'json.dumps() 함수로 파이썬 사전 데이터를 JSON 문자열 데이터로 변환할 수 있음' 항목에서 질문이 있습니다. 아래 Input 코드에서 "language" 키의 값에 "Java" : "basic"이 들어있는 것을 알 수 있는데, json.dumps(data)로 json파일로 불러오면 Output에 해당 내용이 존재하지 않는 걸로 나옵니다. 이 부분이 이해가 잘 가지 않아서 질문드립니다. -Input import json # 변수에 문자열로 된 JSON 포멧의 데이터가 있을 경우 data = { "id":"01", "language": {"Java":"basic", "Java":"advance"}, "edition": "third", "author": "Herbert Schildt" } jsondata = json.dumps(data) jsondata -Output '{"id": "01", "language": {"Java": "advance"}, "edition": "third", "author": "Herbert Schildt"}'
-
미해결단 두 장의 문서로 데이터 분석과 시각화 뽀개기
오늘 해 보니 연도 그림에서 연도 오류가 납니다.
(사진)
-
미해결공공데이터로 파이썬 데이터 분석 시작하기
lmplot 회귀선이 안나타나요
강사님이 하시는대로 따라서 했는데 lmplot 사용할 때 회귀선이 안나타납니다...