[2025-04-07T14:51:04.313+0000] {taskinstance.py:3310} ERROR - Task failed with exception Traceback (most recent call last): File "/opt/airflow/dags/yfinance_to_snowflake_ fullrefresh.py ", line 56, in load raise e File "/opt/airflow/dags/yfinance_to_snowflake_ fullrefresh.py ", line 41, in load cur.execute(f"USE SCHEMA {schema};") File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/ cursor.py ", line 1087, in execute Error.errorhandler_wrapper(self.connection, self, error_class, errvalue) File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/ errors.py ", line 284, in errorhandler_wrapper handed_over = Error.hand_to_other_handler( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/ errors.py ", line 339, in hand_to_other_handler cursor.errorhandler(connection, cursor, error_class, error_value) File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/ errors.py ", line 215, in default_errorhandler raise error_class( snowflake.connector.errors.ProgrammingError: 002043 (02000): 01bb881b-0000-c602-0000-cde100062082: SQL compilation error: Object does not exist, or operation cannot be performed. During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/ taskinstance.py ", line 767, in execute task result = execute callable(context=context, **execute_callable_kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/ taskinstance.py ", line 733, in execute callable return ExecutionCallableRunner( ^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/airflow/.local/lib/python3.12/site-packages/airflow/utils/operator_ helpers.py ", line 252, in run return self.func(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/ baseoperator.py ", line 406, in wrapper return func(self, args, *kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/airflow/.local/lib/python3.12/site-packages/airflow/decorators/ base.py ", line 266, in execute return_value = super().execute(context) ^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/airflow/.local/lib/python3.12/site-packages/airflow/models/ baseoperator.py ", line 406, in wrapper return func(self, args, *kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/airflow/.local/lib/python3.12/site-packages/airflow/operators/ python.py ", line 238, in execute return_value = self.execute_callable() ^^^^^^^^^^^^^^^^^^^^^^^ File "/home/airflow/.local/lib/python3.12/site-packages/airflow/operators/ python.py ", line 256, in execute_callable return runner.run (*self.op_args, **self.op_kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/airflow/.local/lib/python3.12/site-packages/airflow/utils/operator_ helpers.py ", line 252, in run return self.func(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/opt/airflow/dags/yfinance_to_snowflake_ fullrefresh.py ", line 62, in load cur.execute(f"REMOVE {table_stage}/{file_name}") File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/ cursor.py ", line 1087, in execute Error.errorhandler_wrapper(self.connection, self, error_class, errvalue) File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/ errors.py ", line 284, in errorhandler_wrapper handed_over = Error.hand_to_other_handler( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/ errors.py ", line 339, in hand_to_other_handler cursor.errorhandler(connection, cursor, error_class, error_value) File "/home/airflow/.local/lib/python3.12/site-packages/snowflake/connector/ errors.py ", line 215, in default_errorhandler raise error_class( snowflake.connector.errors.ProgrammingError: 090105 (22000): 01bb881b-0000-c619-0000-cde10006306e: Cannot perform STAGE RM. This session does not have a current database. Call 'USE DATABASE', or use a qualified name. Snowflake 세션에서 데이터베이스 또는 스키마가 제대로 설정되지 않아 발생한 문제로 보인다는데;;; 뭔가 실행에 이상이 있는건지;;;;
게시판 비슷한 기능을 구현중인데 아무래도 커서기반보다는 페이지를 원하는대로 넘나들 수 있는 페이지기반 페이지네이션을 구현하고 싶어서 구현은 했는데 대용량 데이터에는 맞지 않은 듯해서 어떻게 최적화를 하면 좋을지 고민하고 있습니다. 현재 저는 Postgres DB를 사용하고 있으며 SQL를 전부 올리기보다 고민하고 있는 부분에 대해서만 간략히 적도록 하겠습니다. api에서는 SQL를 연속으로 두번 실행시키고 있습니다. 1. 조건에 맞는 모든 ROW를 COUNT 2. 1페이지당 사이즈와 현재 페이지로 OFFCET FETCH NEXT ROWS ONLY 절을 사용해서 ROW를 건너뛰고 검색을 하고 있는데 지금 구현대로면 최악의 경우일때는 거의 DB 전체를 두번 조회하는거나 다름 없을 것 같습니다. 사이드 프로젝트일때는 상관없을 것 같긴한데 실무에서는 어떤방식으로 최적화가 가능할까요? 검색을 해보니 대용량 데이터에서는 커서기반으로 하라는 의견이 많은 것 같은데 그래도 페이지기반의 장점을 살리고 싶습니다.
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 선생님, 진짜 너무 어려워요. 강의를 하기전에, 코드를 쓰는 배경, 코드를 해석해주는 등등 이해를 좀 시켜주세요. 초심자 눈높이에 좀 맞춰주세요... 혼자 너무 위아래로 왔다갔다 하시면서 , 뭔가 따라 써보려고해도 어디서부터 어떻게 따라써야하는지 기준도 없어서 너무 헷갈립니다. 어떤식으로 공부해야하는지 방향성도 알려주시면 감사하겠습니다.
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 세요 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보 train = pd.get_dummies(train, columns=cols) test = pd.get_dummies(test, columns=cols) display(train.head(2)) display(test.head(2)) KeyError Traceback (most recent call last) <ipython-input-52-5da4ae8d05fa> in <cell line: 0>() 1 # 원핫 인코딩 ----> 2 train = pd.get_dummies(train, columns=cols) 3 test = pd.get_dummies(test, columns=cols) 4 display(train.head(2)) 5 display(test.head(2)) 3 frames /usr/local/lib/python3.11/dist-packages/pandas/core/indexes/base.py in _raise_if_missing(self, key, indexer, axis_name) 6247 if nmissing: 6248 if nmissing == len(indexer): -> 6249 raise KeyError(f"None of [{key}] are in the [{axis_name}]") 6250 6251 not_found = list(ensure_index(key)[missing_mask.nonzero()[0]].unique()) KeyError: "None of [Index(['sex', 'smoker', 'region'], dtype='object')] are in the [columns]"
안녕하세요! 이번에 jooq를 도입하게 되어 강의를 보며 천천히 따라해보고 있습니다. 현재 Flyway + DDLDatabase(testcontainers 사용안함) 방식으로 dsl을 생성하는 것을 테스트하고 있는데요.. flyway migration 파일(.sql)에 프로시저와 함수 생성문을 넣고 코드 생성을 실행 하니 상용 버전을 이용하라고 메시지가 나오며 실행이 안되길래 공식 문서를 확인해보니 오픈소스 에디션에서는 지원을 하지 않는다고 되어있더군요 ㅠㅠ 섹션2 - 생성된 DSL 구조 살펴보기 강의에서는 DB 스캔 방식이지만 Routines 클래스가 잘 생성되는 것을 볼 수 있는데 혹 강사님께서는 시 상용 버전을 사용하신 걸까요?? 아니면 DB 스캔 방식은 상용 버전 상관없이 Routines 클래스가 생성이 되는 걸까요?
Null을 세지않으면 col1이 null도 세지 않아서 count가 3이 되는거 아닌가요? 질문은 동영상 강의에 들어가서 오른쪽에 커뮤니티 버튼을 통해 해주세요. 그래야 어떤 강좌에서 질문하셨는지 알 수 있습니다. 영상에서 몇 분 몇 초 대를 알려주셔야 제가 한 번에 질문 내용 확인이 가능합니다. 이미 다른 누군가가 질문을 한 이력 이 있을 수 있습니다. 질문 게시판을 한 번 확인 부탁드립니다. 학교의 과제나 타 강사의 코드 등 외부 수업 자료에 대해서는 답변하지 않습니다. 제가 다루는 커리큘럼 외의 이론이나, 너무 디테일한 컴퓨터 이론에 대해서는 답변 드리지 않습니다. 시험에 안 나오는 경우가 많고, 나와 봤자 1문제 나오는데 외워야 할 부분이 많은 것 등 (예시: 서브넷 마스크 계산) 질문을 올릴 때 이 글은 모두 지우고 내용을 입력해주세요.
강의에서 설명해주신 대로 Spot quotas 리밋을 16으로 올리려고 했으나 계속 거부 메시지가 옵니다. 현재 제가 가진 subscription으로는 Spot VM을 16까지 늘릴 수 없다고 합니다. spot의 다른 지역 Korea, Japan, East US 등 다 해봤는데 똑같습니다. 이 때문에 강의에서 보여주신 Standard_D16as_v5 - 16 vCPUs, 64 GiB memory $0.08480/hour 옵션 대신, 훨씬 비용이 높은 Standard_D16as_v5 - 16 vCPUs, 64 GiB memory US$619.04/month 옵션밖에 선택할 수 없습니다. 어떻게 강의와 동일한 VM 환경으로 실습을 진행할 수 있을까요? 일단 Azure의 서포트에 아래와 같은 메시지로 문의를 남겼으나 답변이 매우 늦는 상태입니다: I wanted to increase my spot limit to 16 and then want to create a VM using the 'Standard_D16as_v5 - 16 vCPUs, 64 GiB memory $0.08480/hour' option. However, since this is my first time using it, I'm only seeing the option labeled 'Standard_D16as_v5 - 16 vCPUs, 64 GiB memory US$619.04/month'. Could you please help me resolve this issue? Azure의 Help + support 섹션에서 아래와 같은 응답이 계속 표시됩니다: QMS Update - Status: ResourceType: crpCores { Quota Bucket: TotalLowPriorityCores Status Description: Due to very high rates of Spot consumption, Microsoft is unable to approve additional quota at this time State: SpotVMNotAllowedForPayGCustomer Current Quota: 3 New Quota: 16 } Properties: [location, koreacentral] 이 문제를 해결할 방법이나 대체 방안이 있으면 알려주시면 감사하겠습니다. 스크린샷 첨부하였습니다:
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요 코드가 다음처럼 바뀌었으면 결과값도 '원'이 있는 결과값만 나와야 하는 거 아닌가요? 0번째 요소만 선택했는데도 결과값은 원이 있는 것과 없는 것 다 나오는 걸까요? if '원' in tag.contents[0]:
코드 문제에 대한 질문은 아니고 큰 따옴표와 작은 따옴표에 대한 질문입니다. 예를 들어 my_dict = { 'name': 'WeekendCode' 'age': 30; } print(my_dict) 출력값: {"name": "WeekendCode", "age": "30"} 이렇게 해도 괜찮은가요? 큰 따옴표와 작은 따옴표를 구별해서 외워야하는지 아니면 똑같이 동작하는지 궁금합니다. 만약 구별해야된다면 어떤 기준일때 작은 따옴표를 사용하고 어떤 기준일때 큰 따옴표를 사용하는지 궁금합니다. 코드에서 변수명을 작성할때는 큰 따옴표인데 이것의 출력값은 또 작은 따옴표라서 좀 헷갈리네요.
