월 17,820원
5개월 할부 시다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
concat을 통한 데이터프레임 합치기
# result를 list로 만들고 concat을 통해 DataFrame으로 만듭니다.# concat으로 데이터프레임을 합쳐줄때는 리스트 형태로 각 데이터프레임을 넣어주어야 합니다.pd.concat(result.tolist()) --------------------------------------------------------InvalidIndexError: Reindexing only valid with uniquely valued Index objectsdf_item = pd.concat(item_info, ignore_index=True)도 해보았고, 중복값도 없다고 나오는데 계속 이 부분에서 동일한 에러가 뜹니다.. 어떻게 해결해야 할까요? 이 앞부분까지는 모두 정상출력되었습니다!
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
Reindexing only valid with uniquely valued Index objects 오류 질문입니다.
import timeimport pandas as pddef get_item_info(item_code): item_url = f'https://finance.naver.com/item/main.naver?code={item_code}' tables = pd.read_html(item_url, encoding='cp949') # if len(tables) == 13: # 코넥스를 거르기 위해 추가함 # continue item_info = [] # 빈 리스트 생성 finance_info = tables[3].iloc[:,[0,-2]] finance_info.columns = [0,1] # 합치기 전 칼럼명 일치시켜주기 item_info.append(finance_info) for t in tables: if t.shape[1] == 2: item_info.append(t) df_item = pd.concat(item_info) df_item = df_item.set_index(0).T time.sleep(0.2) # 과부하 막기 위한 지연 조회, 최소 0.1 이상. return df_itemimport numpy as npimport seaborn as snsimport matplotlib.pyplot as plt # 한글폰트 위함import datetimeplt.style.use("seaborn-v0_8-talk")font_family = "Malgun Gothic"plt.rc("font", family = font_family)plt.rc("axes", unicode_minus=False)url = 'https://finance.naver.com/sise/sise_group_detail.naver?type=upjong&no=282'table = pd.read_html(url, encoding='cp949')raw = table[2]raw = raw.dropna(how='all').dropna(axis=1, how='all') #추가해서 칼럼도 모두 결측치시 삭제.today = datetime.datetime.today()today = today.strftime('%y%m%d')raw['종목명전처리'] = raw['종목명'].str.replace('*','', regex=True) # 문자치환raw['종목명전처리'] = raw['종목명전처리'].str.strip() # 앞뒤 공백 제거import FinanceDataReader as fdrdf_krx = fdr.StockListing('KRX')# print(df_krx[['Code','Name']])df_item_code_name = df_krx[['Code','Name']]# 위의 종목명_전처리 칼럼과 Name 칼럼을 연결지어서 코드 잡아준다.df_item_code_name.columns = ['종목코드', '종목명전처리']raw = raw.merge(df_item_code_name) # 강의에서 df에 해당함# progress_apply는 map의 사용방법을 되짚어보면서 봐라. 일괄적으로 함수 적용시 사용.# 진행사항을 보려면 progress_apply을 사용하면 된다.from tqdm.auto import tqdmtqdm.pandas()result = raw['종목코드'].progress_apply(get_item_info)# result로 받아서 데이터프레임 형식으로 concat 해줘야해서 tolist() 사용함df_item_info = pd.concat(result.tolist())# print(df_item_info['종목코드']) # 출력해보면 종목코드가 없다. 그래서 넣기# df_item_info['종목코드'] = raw['종목코드'] # 아래의 reset_index를 위해 비활성화함# print(df_item_info['종목코드'])# 위에서 index값이 1로 모두 같아 종목코드가 모두 동일 하므로 아래처럼 인덱스 다시 적용df_item_info = df_item_info.reset_index()df_item_info['종목코드'] = raw['종목코드']# print(df_item_info['종목코드'])# 위와 같이 작업 후 index라는 칼럼을 삭제해 준다.del df_item_info['index']# print(raw.shape)df_info = raw.merge(df_item_info) # 따로 지정 안해줘도 종목코드가 같기에 합쳐진다.# 파일명 만들기file_name_1 = url.split('=')[1].replace('&','_')file_name_2 = url.split('=')[2]file_name = f'{file_name_1}_{file_name_2}.csv'# 저장하기df_info.to_csv(file_name, index=False, encoding='cp949') 위와 같이 코드를 작성하고 실행 했는데요. 제목과 같은 오류가 발생 했습니다. 원인을 찾아 본 결과.코넥스 종목이 포함되어 있어서 칼럼명이 맞지 않아 발생하는 것으로 보입니다. 위의 이미지와 같이 코넥스 종목은 코스닥, 코스피 종목 처럼 table 개수 13개 보다 적게 나오므로 if문으로 table개수가 13개 이하이면 건너띄어 데이터를 받게 하면 오류가 발생하지 않을 것 같은데요. if 문을 함수 어느 위치에 넣으면 좋을지 모르겠어서 질문 드립니다. 어느 위치에 if문을 넣어서 해결하면 좋을까요?
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
데이터 비교시 데이터 불일치
오래전에 강의듣다 포기하고 다시 시작하는 중입니다.많은도움 감사합니다. 삼성전자 주식데이터와 금리와의 비교데이터를 만들다 해결이 되지 않아 질문 드립니다.삼성전자stock_code= fdr.DataReader(stock_code, stock_start_data, stock_end_data)stock_code.tail(1) 금리pd.read_csv("한국은행 기준금리 및 여수신금리_23054821.csv", encoding="cp949")이걸합치 날짜가 아닌 3439로 출력이 됩니다. 두게의 데이터를 합쳐 관계를 분석하고 싶은데 3439으로 출력이되면서 그래프가 두게로 표시가됩니다날짜로 변경하여 그래프가 출력되도록 하고싶은데 방법을 모르겠습니다. 만들고 싶은 그래프(아래)
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
dtype={"itemcode": np.object}) 을 dtype={"itemcode": object}) 으로 변경해야 하나요?
예전에 잘 들었다가 최근에 다시 들으면서 실행하니,numpy dtype관련사항이 변경(업데이트)가 있었는지 numpy 1.20이후 변경되었다고 알람,오류메세지가 발생합니다. np.object 부분에서 np. 을 빼고 실행하면 되는데 이렇게 진행하면 될까요? 본 섹션 이외에도 np.object를 string으로 입력받기 위해 사용된 곳이 몇몇 보이는데 해당부분도 동일하게 object(찾아보니 python default type 같습니다만, 정확히 알지 못하겠습니다.) 로 변경해서 사용하면 크게 문제가 없을까요? 시간이 지났지만 자세하고 하나씩 설명해 주셔서 감사합니다.
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
질문 : for문 풀어쓰기
안녕하세요. 선생님.해당 강의에서 아래와 같이 for문을 한줄에 쓰셨는데요?FAANG=["META", "AMZN", "AAPL", "NFLX", "GOOGL"] faang_list=[fdr.DataReader(code,'2015','2021')["Close"]for code in FAANG] df_faang=pd.concat(faang_list, axis=1)제가 이걸 으로 시작해서 두줄에 풀어썼는데... 에러가 나는데요? 혹시 어느 부분이 잘못되었는지 알려주실수 있으신지요?FAANG=["META", "AMZN", "AAPL", "NFLX", "GOOGL"] for code in FAANG: faang_list=[fdr.DataReader(code,'2015','2021')["Close"]for code in FAANG] df_faang=pd.concat(faang_list, axis=1)
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
파이참에서 Plotly 그래프 실행방법
안녕하세요. 선생님.저는 파이참을 주로 사용중이어서, 파이참으로 실습중입니다.Plotly의 경우 fig.show()를 하면 웹페이지만 나타나고,아무런 실행이 안됩니다.파이참에서 plotly 그래프를 실행하려면 어떻게 해야하나요?
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
5.1 데이터프레임 병합(merge)
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 5.1에서 df_item_code_name 데이터프레임과 raw 데이터프레임을 병합하려 하는데 아래와 같은 화면이 뜹니다.다른 코드는 다 맞게 작성했는데 여기서 왜 오류가 뜰까요 ㅠㅠ on을 작성하지 않고 그냥 merge만 해도MergeError: No common columns to perform merge on.라고 오류가 뜹니다 ㅠㅠ또한, 맨 처음 전처리 과정에서도 이러한 메시지가 뜨는데 혹시 이것이 원인일지 궁금합니다.
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
쥬피터노트북에서 실행파일 만들기
프로그램에 문외한 초보입니다. 선생님의 강의를 듣고자 쥬피터노트북을 설치하였습니다. 거기서 제가 사용하고자 자동화프로그램을 하나 만들었는데, 실행파일이 만들어 지지 않고 계속 아래의 오류메시지가 뜹니다. 근데 아래의 pathlib라는 패키지를 제거하면 이번에는 pip명령이 작동하지 않습니다. 파이참도 설치하여 파일을 옴겨보고 수 없이 프로그램을 재설치하고, chatgpt에 문의도해 보았지만, 문제를 해결하지 못하였습니다. 강의 내용과 좀 다른 질문일수도 있으나, 어디 도움을 구할 곳이 없네요. 쥬피터노트북을 사용하시는 선생님은 실행파일을 어떻게 만드시는지 궁금하여 문의드립니다.The 'pathlib' package is an obsolete backport of a standard library package and is incompatible with PyInstaller. Please remove this package (located in C:\Users\jh_ki\anaconda5\lib\site-packages) using conda remove then try again.
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
주피터노트북 확장팩 설치가 안됩니다.
말씀해주신 두가지방법 다 사용해보고, 아래와 같이 구글에 검색한 방법까지 이용해 보았는데도 주피터노트북확장팩이 설치되지 않네요. !pip install jupyter_nbextensions_configurator jupyter_contrib_nbextensions !jupyter contrib nbextension install --user !jupyter nbextensions_configurator enable --user
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
날짜 정보
안녕하세요.현재 시점의 fdr 데이터에는 날짜 정보가 없습니다.저는 최종적으로 시계열 데이터를 기준으로 데이터를 분석하는 것을 목표로 하고 있는데요.시계열 데이터를 포함한 fdr데이터는 가져올 수 있는 방법이 없을까요?
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
[5.1] pd.concat Reindexing error
강의와 같이 코드를 입력 하였고 아래와 같은InvalidIndexError: Reindexing only valid with uniquely valued Index objects 에러가 납니다.다른분이 질문해주신 글에 답변 처럼 df_item = pd.concat(item_info, ignore_index=True)처리를 하여도 같은 에러가 생깁니다. 해당 문제때문에 강의 진행이 안돼서,, 어떻게 하면 해결할 수 있을까요
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
px.line 그리기에 대해서 문의 드립니다.
반복 적으로 관심 종목을 불러와서 챠트를 그리고 싶어서 while 문으로 구성 해 봤는데, 챠트가 출력되지 않습니다. 어디가 문제일까요? 문제가 된 while 문 출력 결과 입니다. 출력 결과 관심 종목을 입력 받으면 입력 받은 종목의 챠트를 출력하고, 다음 종목을 입력 받기를 기다리게 구성하였고, n or N을 입력하면 종료하는 것으로 구성하였습니다. 그런데 결과물에 챠트가 출력되지 않습니다. 한 종목 출력하면 출력이 됩니다.
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
5/6 tqdm으로 전체 데이터...
concat으로 전제 종목을 합치는 pd.concat(result.tolist()) 코드 실행시 오류가 납니다. 오류 메세지는 : InvalidIndexError: Reindexing only valid with uniquely valued Index objects입니다. get_item_info 함수를 실행해서 result 결과를 확인해 보니, index 가 모두 같지 않은 것 같습니다. 오류 부분이 어디일까요?
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
다른 사이트를 크롤링해보려는데 인코딩쪽에 문제가 있는 것 같습니다.
안녕하세요 선생님. 선생님 강의를 듣고 제가 원하는 사이트를 크롤링 해보려는데 인코딩문제가 생기는 것 같습니다. 사이트 주소는 이렇습니다. http://veganfesta.kr/modules/company/company_list.html?mc_code=1013import requests url = "http://veganfesta.kr/modules/company/company_view.html?seq=241&mc_code=1013" headers = { 'user-agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36'} response = requests.get(url,headers=headers) response.encoding='utf-8' print(response.text)이렇게 코드를 짜봤는데요 결과는이런식으로 나옵니다. 인코딩 문제인가 하였는데response.encoding을 통해 uff-8인것을 확인했습니다.response.status는 200으로 정상이구요 ㅜ뭐가 잘못된 걸까요? 2시간가량 전전긍긍해보았지만 답을 찾지못해 선생님께 질문드립니다..제가 url을 구글이나 네이버로 바꿔 시도를 해보았을때는 잘되었는데 저 사이트로 url을 설정했을때 이렇게 나오네요.. 읽어주셔서 감사하며 답변 부탁드리겠습니다.
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
저장시 Symbol 형태 변환 이슈
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하십니까 계속적인 질문 드려 죄송합니다. 다름이 아니라, 말씀하신 코드로 종목을 불러왔고, csv 파일로 저장하는 과정에서 Symbol(종목코드)가 계속 숫자형태로 변환이 되는 이슈가 생겨 문의드립니다. 코드로 종목을 불러왔을 때는 Symbol은 문자형태 였지만, 저장 후 불러오는 과정에서 계속 Symbol이 숫자형태로 전환되는 이슈가 발생하는것 같습니다. ㅠㅠ 어떤 이슈 때문이니 알수 있을까요?
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
fdr.StockListing('KRX') 이슈
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 전체 종목을 불러올때 fdr.StockListing('KRX') 으로 받아오는데.. 교수님이 강의해주신 카테고리와 다르게 나오고 있습니다. 혹시나 해서 FinanceDataReader 사용자 안내 가서 봤는데.. 해당 부분에서는 교수님 설명그대로 나오고 있습니다... FinanceDataReader에서 문제가 발생한건가요?
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
한국거래서 상장종목 에러
기존에 있었던 Market(시장)이 데이터에 없어서 예제코드 일부가 커밋이 안되고 있습니다. fdr 라이브러리를 사용해야하는 걸까요? 진행이 안되어 답답합니다.감사합니다.
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
한국거래소 상장종목 가져오기 카테고리 다름문제
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.안녕하세요. 강사님수업 진행대로 한국거래소 상장종목 가져오기를 실행했습니다.수업의 내용과 다른 카테고리로 출력이 됩니다.이는 KRX홈페이지에서 변경된 사항이 반영된 것인가요?아직 수업을 듣는 중이지만 앞으로 수업을 들을 때 그대로 진행해도 지장을 없을까요?나중에 강의를 모두 듣고나서 제 나름대로 데이터를 추출하고 싶은데 종목 수가 코스피+코스닥+코넥스 포함인데 적어보여서요 ㅜ감사합니다.
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
아나콘다 업데이트
안녕하세요아나콘다를 설치한지 오래되었을 경우 삭제 후 다시 설치를 권장하신 부분에 관해 질문이 있습니다.프롬프트에서conda update -n base condaconda update --all명령어로 업데이트를 해서 쓸 경우 삭제 후 재설치를 하지 않아도 될까요?
- 미해결파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
5.1 업종 테마주 수집 질문 - pd.concat(result.tolist())
안녕하세요? 좋은 강의 잘 듣고 있습니다.해당 에러 메시지로 구글링하여 여러 시도를 하였는데제 실력으로는 해결이 안되는 상황이라서 마침 질문드립니다.to_list(), tolist() 로도 사용해보았고reset_index의 옵션들도 바꿔봤는데 이 단계에서 넘어가지가 않네요.미리 감사드립니다.