173만명의 커뮤니티!! 함께 토론해봐요.
미해결
파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
Nbextenstions 는 설치되었는데, table of contents는 안 보입니다. 재설치해야 하나요?
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
(사진)
미해결
파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
안녕하세요. 선생님 강의 잘 듣고 있습니다. 강의를 들으면서 책을 보고 웹 크롤링으로 데이터를 다운 받아 dataframe으로 전환 최종 엑셀로 저장하는 코드를 공부 하고 있습니다. 그런데 크롤링은 되는데 최종 엑셀 저장 파일을 보면 맨 처음 페이지만 저장 되는데요 아래 코드에서 잘못된게 있을까요? 그리고 break문을 적으면 SyntaxError : 'break' outside loop 에러가 나와 주석처리 했습니다. 제가 워낙 초보라 답변을 주실 수 있는지요? 감사합니다. # from selenium import webdriver # browser = webdriver.Chrome("/Users/maru/Downloads/chromedriver") # browser.get("https://seibro.or.kr/websquare/control.jsp?w2xPath=/IPORTAL/user/company/BIP_CNTS01042V.xml&menuNo=286#") search_btn = browser.find_element_by_id("image1") search_btn.click() html = browser.page_source from bs4 import BeautifulSoup from html_table_parser import parser_functions as parser import pandas as pd soup = BeautifulSoup(html, "html.parser") table = soup.find("table", attrs ={"id" : "grid1_body_table"}) p = parser.make2d(table) df = pd.DataFrame(p[2:], columns=p[1]) df.head() import time import random from tqdm import tqdm prev_no = 0 prev_table = None for i in tqdm(range(0,200)): try: next_btn = browser.find_element_by_id("cntsPaging01_next_btn") next_btn.click() except: time.sleep(2) try: next_btn = browser.find_element_by_id("cntsPaging01_next_btn") next_btn.click() except: time.sleep(2) next_btn = browser.find_element_by_id("cntsPaging01_next_btn") next_btn.click() def get_html(browser, cnt): if cnt >= 4: return -1, -1 html = browser.page_source soup = BeautifulSoup(html, "html.parser") cur_no = soup.find("a", sttrs = {"class" : "w2pageList_control_label w2pageList_label_selected"}) cur_no = cur_no.text table = soup.find("table", attrs={"id" : "grid1_body_table"}) if cur_no != prev_no and prev_table != table: return cur_no, table else: time.sleep(1) get_html(browser, cnt+1) cur_no, table = get_html(browser, 1) if cur_no == -1: print("\n종료. 테이블 정보가 바꾸지 않았습니다.") break p = parser.make2d(table) temp = pd.DataFrame(p[2:], columns=p[1]) df = pd.concat([df, temp], 0) prev_no = cur_no prev_table = html if cur_no == "95": print("\n 최종 페이지 도달") # break time.sleep(random.randrange(3, 5)) df.to_excel("stock_div.xlsx")
해결됨
[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part5: 데이터베이스
UNION강의 4:30초에서 커리어 평균 연봉이 3000000 이상 "이거나" 12월에 태어난 선수를 구할 때 WHERE birthMonth = 12를 추가해주면 된다고 하셨는데 이 경우 커리어 평균 연봉이 3000000 이상 "이고" 12월에 태어난 선수를 구한 것 아닌가요?
해결됨
[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part5: 데이터베이스
안녕하세요 데이터베이스 인덱스 부분 강의를 듣던 중 궁금한 점이 생겨 질문드리게 되었습니다. 강의에서 직업이 5종류밖에 없다면 class 에 인덱스를 거는 것은 좋지 않다고 하셨는데 질문1) 여기서 좋지 않다는 것은 속도 향상이 있긴하나 효과가 적을뿐만 아니라 인덱스 자체의 크기(용량)이 커지기 때문이라고 이해하면 될까요? 질문2) 만약 직업별로 검색을 많이 하는 상황을 가정한다면 인덱스를 사용하는 것이 좋을까요? 읽어주셔서 감사합니다!
미해결
[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part5: 데이터베이스
안녕하세요 Q1) 지금까지 이음동의어로 생각해왔는데 REDO = ROLL FORWARD UNDO = ROLL BACK 강의 마지막 결론에서 정리해주신 내용을 보니 또 다른 의미인 것 같아서 살짝 아리송 하네요 REDO 와 UNDO는 발자취(LOG)라고 보면 ROLL FORWARD나 ROLL BACK은 그 발자취를 따라 가는 행위를 말하는건가요? 마지막 질문으로 Part5 DB를 끝내봅니다 ㅎㅎ 감사합니다.
미해결
[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part5: 데이터베이스
안녕하세요 강의 9분부터 시작되는, DMBS 자체적으로 Non Clustered Index를 사용하지 않는 이유가 궁금해서 질문드립니다. Q1) 다른 수강생분들이 올린 질문도 참고를 했는데 SELECT * FROM TestOrders WHERE CustomerID = 'QUICK'; 다음과 같은 sql문을 실행했을 때 DBMS가 INDEX를 사용하지 않고 SCAN을 하는 이유가 실제로 힙 테이블 내에 page가 메모리에 적재되지 않아 역효과가 발생할 수 있기에 라고 Full scan을 하는게 더 낫다고 하셨습니다. 마치 OS 가상메모리에서 page fault 가 일어나는 현상과 비슷하다고 생각을 합니다. 여기까지는 이해가 됐습니다. 다만 full scan이 더 효율적일 수 있을까? 하는 의구심이 듭니다. SELECT * FROM TestOrders WHERE CustomerID = 'QUICK'; 다음과 같은 sql문을 실행했을때 테이블의 데이터들도 인메모리 상태가 아니라면 물리 저장소에 접근후 메모리에 적재를 해야할텐데 과연 더 효율적일까 생각이 듭니다. 둘 다 메모리에 없다면 물리 저장소까지 다녀오는 건 비슷하다고 생각하는데 Full Scan이 조금 더 빠른건 Locality 때문인걸까요? Q2) 마지막 질문으로 Clustered Index와 비교해서 생각을 해보고싶습니다. Clustered Index는 Leaf Page가 곧 Data Page인데 이 Data Page도 메모리에 항상 적재되어 있을 것 같진 않습니다. 그럼에도 불구하고 Non Clustered Index보다 Select와 같은 Lookup이 빠른 이유는 Data Page내에 정렬된 데이터들과 이에따라 자연스레 형성된 Locality 때문인가요?
미해결
[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part5: 데이터베이스
안녕하세요 :) Q1) Clustered Index 를 추가 한 뒤 Non Clustered Index의 변화를 살펴보면 PageID 값도 변하고 Heap Table이 사라짐에 따라 Heap RID도 변하게 됨을 확인했습니다. 궁금한 것은 강의 후반부 *18분 이후 내용입니다. Heap Table이 사라져도 Non Clustered Index를 사용해서 테이블에 저장된 데이터를 찾게 될텐데, 강의중 말씀하신 고유한 key 값이란 무엇인가요? UNIQUIFIER 를 말씀하신걸까요? Q2-1) Clustered Index를 추가하면 Non Clustered Index의 구조가 변하는 것은 확인을 했는데 이는 OrderID라는 공통 Index가 있어서 가능한 일 인 것 같습니다. 공통 Index가 없이 Clustered Index를 추가해도 구조에 변화가 생기게 되는지 궁금합니다. Q2-2) 이어서 엉뚱한 질문을 드리면 Non Clustered Index 추가시 매커니즘을 보면 Non Clustered Index를 통해 고유한 Key 값 얻기 -> 고유한 Key 값으로 Clustered Page에서 Lookup 이와 같은 매커니즘인데 Non Clustered Index를 통해 얻은 고유한 Key값이 Clustered Page에서 데이터를 Lookup할 때 SCAN 가 아닌 SEEK을 한다는 보장이 있을까요? 다른 표현으로(맞는 표현일지는 모르겠지만...) Key값이 Clustered Page에서 Index로서의 역할을 제대로 할 수 있는건가요? 직전의 질문과도 연관이 있어보이는데 제 질문의 요점은 Non Clustered Index의 결과물을 Clustered Index의 Lookup에서 재사용하는 그림인데, 두 Index는 정의시 지정한 컬럼이 다른데 호환이 가능한지 궁금하네요. 감사합니다~
해결됨
[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part5: 데이터베이스
안녕하세요! 항상 빠른 답변 감사드립니다! Clustered Index에 대해 DBCC IND에서 Leaf Page 번호 확인 후 DBCC PAGE 로 실제 정보가 어떻게 들어가 있는지 보려고 시도했는데 "DBCC 실행이 완료되었습니다. DBCC에서 오류 메세지를 출력하면 시스템 관리자에게 문의하십시오."가 뜹니다. Non-clustered 와 다르게 clustered 인덱스의 leaf page에 담겨 있는 실제 데이터는 이런 쿼리로 볼 수 없는 건가요??
미해결
[백문이불여일타] 데이터 분석을 위한 고급 SQL 문제풀이
안녕하세요 강사님 강의 잘 듣고 있습니다! set 1번의 2번 문제의 해석을 듣는 중 { inner join hackers as h on h.hacker_id = t.hacker_id group by h.hacker_id, h.name having total_score != 0 order by total_score desc, h.hacker_id } 부분에서 왜 group by시 h.name도 포함되는 모르겠습니다 h.hacker_id와 h.name은 각각 하나씩 연결되었음으로 h.name이 없어도 실행 되어야 할 것 같습니다. 또한 h.name을 제거하였을때 error가 발생하였는데 왜 발생하는지도 모르겠습니다. 좋은 강의 올려주셔서 감사합니다
미해결
고수가 되는 파이썬 : 동시성과 병렬성 문법 배우기 Feat. 멀티스레딩 vs 멀티프로세싱 (Inflearn Original)
파이썬 공식 문서 --버전 3.8부터 폐지: aws 에 있는 어웨이터블이 코루틴이면, 자동으로 태스크로 예약됩니다. 코루틴 객체를 wait() 로 직접 전달하는 것은 혼란스러운 동작 으로 연결되므로 폐지되었습니다. -- async def process_async(): start = time.time() task1 = asyncio.create_task( exe_calculate_async('One', 3)) task2 = asyncio.create_task( exe_calculate_async('Two', 2)) task3 = asyncio.create_task( exe_calculate_async('Three', 1)) await task1 await task2 await task3 end = time.time() print(f'>>> Total seconds: {end - start}') 문제 없이 실행 되었습니다.
미해결
공공데이터로 파이썬 데이터 분석 시작하기
안녕하세요 강사님. 제가 윈도우 유저라서, 강사님께서 알려주신대로 Malgun Gothic 을 사용해서 원하는 결과값을 얻었습니다. 여기서 추가되는 질문이, 해당 폰트 말고 다른 폰트로 입력하려 하는데 이 입력값은 어떻게 알 수 있을까요? 예컨대 맑은 고딕이 한글로 "맑은 고딕"이 아닌, "Malgun Gothic" 이라는 것을 어떻게 알 수 있는 것일까요? C:/Windows/Fonts 에서 폰트 파일들을 확인해도 파일명은 한글로 나와있어서, 구체적으로 어떻게 입력하면 좋을지 알고 싶습니다!
미해결
공공데이터로 파이썬 데이터 분석 시작하기
안녕하세요 강사님. nbextensions 설치 후 화면을 보았는데, 강의 화면과는 달리 선택할 수 있는 항목이 별로 없더라고요. 1강에서 강사님께서 보여주신 목차 기능 또한 보이지 않는 상황입니다. 다른 분이 질문한 글을 보면서 체크 표시 해제도 해보고, refresh도 해보았는데 그 상황 그대로입니다. pip과 conda를 이용해서 둘 다 재설치를 해봤는데도 마찬기지인 상황입니다. 혹시 해결책을 알 수 있을까요..?
미해결
[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part5: 데이터베이스
요즘 ORM 기술이 핫한거 같은데 게임 개발 업계에서도 ORM이 핫한가요 ?
미해결
[리뉴얼] React로 NodeBird SNS 만들기
개인 토이 프로젝트를 하나 하고 있는데요, 혹시 next.js에서 도메인 라우팅 하는 방법이 있나요? 문제가 뭐냐면 제가 만든 토이 프로젝트가 있는데 http://www.hubfoodlink.com 으로 접속해서 해당 정보를 클릭하면 리엑트 컴포넌트 모달창이 띄워지는데, http://hubfoodlink.com 으로 접속하면 접속은 되는데 정보 클릭 시 리엑트 컴포넌트 모달창이 안뜨고 An unexpected error has occurred. 라고 떠서 문제가 발생되네요 ㅠ 아니면 http://hubfoodlink.com 접속시 www을 붙여서 http://www.hubfoodlink.com접속이 되게 하는 방법이 있을까요? 물론 강의와 관련없는 질문이긴한데 몇일간 찾아보고 고민해봐도 해결되지 않아서 염치불구하고 질문을 올려봅니다. 죄송합니다 ㅠ
해결됨
우리를 위한 프로그래밍 : 파이썬 중급 (Inflearn Original)
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 이 예제에서 리스트컴프리헨션을 temp2에 할당할 때, generator_ex2( )가 실행되면서 인자는 리스트에 담기고, start, continue, end가 출력돼서 저렇게 뜨는건가요? 뭔가 머릿 속으로는 아는 것 같은데, 막상 글로 표현하려니 모르는 것 같네요;;
미해결
ERROR: Could not install packages due to an OSError: [WinError 5] 액세스가 거부되었습니다: 'C:\\Users\\leehb\\AppData\\Local\\Temp\\pip-uninstall-87624jrp\\pip.exe' Consider using the `--user` option or check the permissions. 이렇게 나왔다가 pip install datetime WARNING: Value for scheme.headers does not match. Please report this to <https://github.com/pypa/pip/issues/9617> distutils: c:\python38-64\Include\UNKNOWN sysconfig: c:\python38-64\Include WARNING: Additional context: user = False 이렇게 뜹니다. 이거 어떻게 해결해야할까요?
미해결
파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
ValueError: unknown format code 'd' for object of type 'str' 이라고 뜨네요 krx/listing.py 에서 df_listing['Symbol'] = df_listing['Symbol'].apply(lambda x: '{:06d}'.format(x)) 이부분에서 x값이 string으로 들어가서 문제가 생기는듯 합니다. 버전은 선생님 버전이랑 같은데 뭐가 문제인지 몰겠네요
해결됨
파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
강의에서는 ListingYear 로 된 부분이 있는데, 이 부분을 ListingDate로 변경해야 출력이 됩니다. (>> KRX의 index가 이름이 변경되서 그런 것 같네요)
미해결
파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요. 선생님 3.3 네이버금융 개별종목 수집 강의 중 파일 자동 저장 코드 에서 저장할 디록토리를 지정하는 방법 있을까요? 수동으로 저장할때 보통 df.to_csv("../data/test.csv") 이런식으로 저장디렉토리에 저장 하는데 변수로된 파일명을 ""안에 입력하니 에러가 나서 다른 방법이 있는지요? 항상 강의 잘 듣고 있습니다. 감사합니다.
