이야기를 나눠요

BigQuery 입문 강의 수강 후 dataset 선정 및 진행 방향성

초보자를 위한 BigQuery(SQL) 입문

안녕하세요. 초보자를 위한 BigQuery(SQL) 입문 잘 들었습니다. 생각보다 재미가 있어서 계속 해보려 하는데 무엇을 해야할지 잘 몰라서 고민입니다. 강의 후반부에 "앞으로 배우면 좋을 내용" 에 있는 순서대로 해보려 했습니다. 공식 문서와 블로그 글을 통해 ARRAY, STRUCT의 기본 공부를 했습니다. 다음으로 넘어가 복잡한 데이터 가공하기 부분을 하고 있습니다. 우선 bigquery의 공개 데이터를 사용해 보자는 생각을 했고 Google Trends datasets과 COVID-19 Public Datasets을 살펴봤습니다. 세부사항과 데이터를 보며 어떤 것을 의미하는지까지는 알 수 있었습니다. 다만 이후부터 어떻게 해야할지 감이 안 왔습니다. 강의를 수강할 때는 예제 문제들이 있으니 배운 것을 적용할 수 있었는데, 처음 보는 데이터고 어떤 목적을 갖고 분석을 해야할지 모르겠습니다. bigquery 프로젝트 예제를 찾아봤지만 마땅한게 없었습니다. 혹시 이 강의를 수강하고 연습해 보기 좋은 dataset과 어떤 방식으로 프로젝트를 진행해야 할지 알고 싶습니다.

• sql
• bigquery
• 데이터-리터러시

SQL Error [42501]: ERROR: permission denied for database postgres

데이터 분석 SQL Fundamentals

안녕하세요 '실습용 스키마 설치 이슈 시 적용하세요'라는 강의편에 맥북에서 create schema nw; 이렇게 DBeaver에서 실행을 하면 아래와 같은 에라가 뜨네요 ㅠ SQL Error [42501]: ERROR: permission denied for database postgres

• sql
• postgresql
• dbms/rdbms

버전을 맞추었는데도 오류가 발생합니다. (pd ver: 2.0.3, sqlalchemy: 2.0.0)

다양한 사례로 익히는 SQL 데이터 분석

query = """ select * from nw.customers """ df = pd.read_sql_query(sql=query, con=postgres_engine) df.head(10) --------------------------------------------------------------------------- UnicodeDecodeError Traceback (most recent call last) Cell In[25], line 4 1 query = """ 2 select * from nw.customers 3 """ ----> 4 df = pd.read_sql_query(sql=query, con=postgres_engine) 5 df.head(10) File ~\anaconda3\Lib\site-packages\pandas\io\sql.py:468, in read_sql_query(sql, con, index_col, coerce_float, params, parse_dates, chunksize, dtype, dtype_backend) 465 if dtype_backend is lib.no_default: 466 dtype_backend = "numpy" # type: ignore[assignment] --> 468 with pandasSQL_builder(con) as pandas_sql: 469 return pandas_sql.read_query( 470 sql, 471 index_col=index_col, (...) 477 dtype_backend=dtype_backend, 478 ) File ~\anaconda3\Lib\site-packages\pandas\io\sql.py:832, in pandasSQL_builder(con, schema, need_transaction) 829 raise ImportError("Using URI string without sqlalchemy installed.") 831 if sqlalchemy is not None and isinstance(con, (str, sqlalchemy.engine.Connectable)): --> 832 return SQLDatabase(con, schema, need_transaction) 834 warnings.warn( 835 "pandas only supports SQLAlchemy connectable (engine/connection) or " 836 "database string URI or sqlite3 DBAPI2 connection. Other DBAPI2 " (...) 839 stacklevel=find_stack_level(), 840 ) 841 return SQLiteDatabase(con) File ~\anaconda3\Lib\site-packages\pandas\io\sql.py:1539, in SQLDatabase.__init__(self, con, schema, need_transaction) 1537 self.exit_stack.callback(con.dispose) 1538 if isinstance(con, Engine): -> 1539 con = self.exit_stack.enter_context(con.connect()) 1540 if need_transaction and not con.in_transaction(): 1541 self.exit_stack.enter_context(con.begin()) File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\base.py:3245, in Engine.connect(self) 3222 def connect(self) -> Connection: 3223 """Return a new :class:`_engine.Connection` object. 3224 3225 The :class:`_engine.Connection` acts as a Python context manager, so (...) 3242 3243 """ -> 3245 return self._connection_cls(self) File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\base.py:145, in Connection.__init__(self, engine, connection, _has_events, _allow_revalidate, _allow_autobegin) 143 if connection is None: 144 try: --> 145 self._dbapi_connection = engine.raw_connection() 146 except dialect.loaded_dbapi.Error as err: 147 Connection._handle_dbapi_exception_noconnection( 148 err, dialect, engine 149 ) File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\base.py:3269, in Engine.raw_connection(self) 3247 def raw_connection(self) -> PoolProxiedConnection: 3248 """Return a "raw" DBAPI connection from the connection pool. 3249 3250 The returned object is a proxied version of the DBAPI (...) 3267 3268 """ -> 3269 return self.pool.connect() File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:452, in Pool.connect(self) 444 def connect(self) -> PoolProxiedConnection: 445 """Return a DBAPI connection from the pool. 446 447 The connection is instrumented such that when its (...) 450 451 """ --> 452 return _ConnectionFairy._checkout(self) File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:1255, in _ConnectionFairy._checkout(cls, pool, threadconns, fairy) 1247 @classmethod 1248 def _checkout( 1249 cls, (...) 1252 fairy: Optional[_ConnectionFairy] = None, 1253 ) -> _ConnectionFairy: 1254 if not fairy: -> 1255 fairy = _ConnectionRecord.checkout(pool) 1257 if threadconns is not None: 1258 threadconns.current = weakref.ref(fairy) File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:716, in _ConnectionRecord.checkout(cls, pool) 714 rec = cast(_ConnectionRecord, pool._do_get()) 715 else: --> 716 rec = pool._do_get() 718 try: 719 dbapi_connection = rec.get_connection() File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\impl.py:168, in QueuePool._do_get(self) 166 return self._create_connection() 167 except: --> 168 with util.safe_reraise(): 169 self._dec_overflow() 170 raise File ~\anaconda3\Lib\site-packages\sqlalchemy\util\langhelpers.py:147, in safe_reraise.__exit__(self, type_, value, traceback) 145 assert exc_value is not None 146 self._exc_info = None # remove potential circular references --> 147 raise exc_value.with_traceback(exc_tb) 148 else: 149 self._exc_info = None # remove potential circular references File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\impl.py:166, in QueuePool._do_get(self) 164 if self._inc_overflow(): 165 try: --> 166 return self._create_connection() 167 except: 168 with util.safe_reraise(): File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:393, in Pool._create_connection(self) 390 def _create_connection(self) -> ConnectionPoolEntry: 391 """Called by subclasses to create a new ConnectionRecord.""" --> 393 return _ConnectionRecord(self) File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:678, in _ConnectionRecord.__init__(self, pool, connect) 676 self.__pool = pool 677 if connect: --> 678 self.__connect() 679 self.finalize_callback = deque() File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:902, in _ConnectionRecord.__connect(self) 900 self.fresh = True 901 except BaseException as e: --> 902 with util.safe_reraise(): 903 pool.logger.debug("Error on connect(): %s", e) 904 else: 905 # in SQLAlchemy 1.4 the first_connect event is not used by 906 # the engine, so this will usually not be set File ~\anaconda3\Lib\site-packages\sqlalchemy\util\langhelpers.py:147, in safe_reraise.__exit__(self, type_, value, traceback) 145 assert exc_value is not None 146 self._exc_info = None # remove potential circular references --> 147 raise exc_value.with_traceback(exc_tb) 148 else: 149 self._exc_info = None # remove potential circular references File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:898, in _ConnectionRecord.__connect(self) 896 try: 897 self.starttime = time.time() --> 898 self.dbapi_connection = connection = pool._invoke_creator(self) 899 pool.logger.debug("Created new connection %r", connection) 900 self.fresh = True File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\create.py:640, in create_engine.<locals>.connect(connection_record) 638 if connection is not None: 639 return connection --> 640 return dialect.connect(*cargs, **cparams) File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\default.py:580, in DefaultDialect.connect(self, *cargs, **cparams) 578 def connect(self, *cargs, **cparams): 579 # inherits the docstring from interfaces.Dialect.connect --> 580 return self.loaded_dbapi.connect(*cargs, **cparams) File ~\anaconda3\Lib\site-packages\psycopg2\__init__.py:122, in connect(dsn, connection_factory, cursor_factory, **kwargs) 119 kwasync['async_'] = kwargs.pop('async_') 121 dsn = _ext.make_dsn(dsn, **kwargs) --> 122 conn = _connect(dsn, connection_factory=connection_factory, **kwasync) 123 if cursor_factory is not None: 124 conn.cursor_factory = cursor_factory UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb8 in position 63: invalid start byte 판다스 버전과 sqlalchemy 버전은 다음과 같이 맞추었습니다 2.0.3 2.0.0

• sql
• postgresql
• dbms/rdbms
• 퍼포먼스-마케팅
• 데이터-엔지니어링

선생님 안녕하세요!

Oracle PL/SQL 딱 이만큼.. [개념+실전]

안녕하세요! 수업 정말 잘듣고 있습니다!! 공부한거를 블로그에 작성 하려하는데 예제 같은 것을 출처를 밝혀 포스팅 해도될까요??

• sql
• oracle
• PL/SQL

빠르게 코딩하기 위한 단축기 문의 (팁)

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

삭제된 글입니다

• python
• 머신러닝
• 빅데이터
• pandas
• 빅데이터분석기사

선생님 혹시 tableau 강의는 없을까요

[백문이불여일타] 데이터 분석을 위한 중급 SQL 문제풀이

SAS만 다뤘었고 SQL + Python이 대세인 가 싶었는데 어느 순간 대시보드 구축능력도 요구하네요 ㅋㅋㅋㅋ tableau 강의가 있으실지요.. 뭐부터 손을 대야 할지 .. 고민입니다.

• sql

sql 이후 머신러닝을 배우려 합니다.

데이터 분석 SQL Fundamentals

이왕이면 강사님께서 올리신 강좌를 구매해 이어서 학습을 해보려 합니다. 로드맵이 있다면, 보고 구매를 하려고 했는데 올려져 있는 강의 수는 많은데 머신러닝 관련 로드맵이 없더라고요 파이썬 머신러닝 완벽 가이드, 딥러닝 컴퓨터 비전 완벽 가이드 딥러닝 CNN 완벽 가이드 캐글 advanced 머신러닝 실전 박치기 이 강의들을 기본부터 학습하려 하는데요 오래된 강좌가 개정되어 다른 이름으로 만들어져 있어서 내용이 겹치는게 있는지 아니면 모두 수강하는게 맞는지 어떤 순서로 학습하면 되는지 알고 싶습니다.

• sql
• postgresql
• dbms/rdbms

안녕하세요 선생님 SQLD 자격증을 취득하기위해선 해당 강의 로드맵을 다 듣는게 좋을까요?

[백문이불여일타] 데이터 분석을 위한 중급 SQL 문제풀이

안녕하세요. 강의를 보면서 열심히 공부하고있습니다. 다름이 아니라 이번에 SQLD 자격증 시험을 신청했습니다. 해당 강의 로드맵을 다 듣고 노랭이 책을 풀려고하는데, 해당 강의 로드맵을 전체적으로 들으면 될까요?

• sql

With 문

데이터 분석 SQL Fundamentals

강사님 안녕하세요, 조인실습2에서 부서명 SALES와 RESEARCH 소속 직원별로 과거부터 현재까지 모든 급여를 취합한 평균 급여 예시가 조금 헷갈립니다. With 문이 서브쿼리 역할을 하는걸로 이해하고 있는데 해당 예시에서 왜 with문이 왜 필요한지, with문 또는 서브쿼리 사용하지 않고 쿼리를 진행시키는 방법이 있는지 궁금합니다ㅠ

• sql
• postgresql
• dbms/rdbms

나래비는 일본어 입니다..

다양한 사례로 익히는 SQL 데이터 분석

선생님.. 나래비는 일본어 입니다. 어감이 예뻐서 옛 우리말인줄 알고 찾아봤는데 '줄을 세우다'라는 일본어 '나라비'가 어원이라고 하네요

• sql
• postgresql
• dbms/rdbms
• 퍼포먼스-마케팅
• 데이터-엔지니어링

등산코스 추천 서비스 MVP에 소중한 의견 부탁드리겠습니다!

안녕하세요. 등산코스 추천 서비스 여기있산 팀입니다. 몇 주 동안 사이드 프로젝트로 등산코스 추천 서비스 를 만들었습니다. MVP 단계 라 많이 부족하지만 테스트 해보시고 소중한 의견 주시면 감사하겠습니다! 등산 정보 찾으러 다니다 지쳐버린 😩 등산러 여러분 여러분의 피로를 날려드리기 위해 '여기있산' ⛰️이 왔습니다~! 맞춤형 등산 코스 추천 서비스인 '여기있산'⛰️ 을 이용해보시고 설문조사에 참여해주세요! 추첨을 통해 응답해주신 10분께 "시원한 음료쿠폰 🍹"을 전달 드립니다! :) 등산 코스 추천 받고 서비스 ⛰️ 이용하기 👇👇👇 https://bit.ly/mountainhere_inflearn 5분 투자해서 등산 후 마실 "시원한 음료쿠폰 🍹" 받으러가기 👇👇👇 https://forms.gle/21FhfZYspDkmYMoy8

• 사이드프로젝트
• 등산
• 유저테스트
• mvp

오늘의 실패로 내일 더 성장하는 법! 실패기록 서비스 <오늘의 실패>

안녕하세요 :) 저희 팀은 사이드 프로젝트로 진행한 서비스의 개선과 추가 기능개발을 위한 설문조사를 진행하고 있습니다! 인프런을 통해서 다양한 사용자분들의 설문 인사이트를 얻고자 게시하게 되었습니다 :) 🖥 서비스 링크 https://todaysfail.com/ 실패가 두려워 아무것도 하지 않은 적이 있지 않나요? 아니면 작은 실패에도 크게 좌절하고 힘들어하고 계시진 않나요? 🥲 <오늘의 실패>로 크고 작은 실패를 기록하면서 실패를 조금 더 가볍게 대해보세요! ‘나’를 성장시킨 오늘의 실패는 무엇이었나요? 매일 기록하다보면 어느새 실패에 의연해진 모습을 발견할 수 있을 거예요! 👉 유저 피드백 🎁 커피 기프티콘(10분) 추첨 서비스를 이용해보시고 가감 없는 피드백 주시면 감사하겠습니다.😊 🔗 설문지 링크 https://bit.ly/3L51AOJ

• 실패
• 기록
• 실패영수증
• 사이드프로젝트
• 실패기록
• 실패공유

사이드 프로젝트 진행시 디자인

크게 운영/기획/디자인/개발 이렇게 있는데.. 디자이너가 1명이고 디자인컨셉 정해진것이 없을때는 디자이너에게 디자인을 다 맡기시나요? 피드백은 받아도 컨셉부분 관련해서요.

• 디자이너
• 사이드프로젝트

✨스위그에서 쉽고 빠르게 유형 테스트, 미니게임, 온라인 방탈출 등과 같은 웹 콘텐츠를 배포해보세요✨

‘SWYG 부스트’ 란? 복잡한 배포 과정 때문에 배포를 미뤄온 콘텐츠 혹은 이용자 데이터를 바탕으로 지속적으로 디벨롭하고자 하는 콘텐츠를 복잡한 절차와 비용 없이 쉽고 빠르게 배포할 수 있는 프로그램입니다. * ‘부스트’는 ‘스위콘’의 새로운 프로그램명입니다. ✅ 출시 가능한 콘텐츠 - MBTI 테스트, 심리테스트, 온라인 방탈출, 인터랙티브 웹, 온라인 전시, 미니게임, 한 페이지 내외로 이루어진 유틸성 사이트 등 코딩을 기반으로 만들어진 웹 콘텐츠 이런 콘텐츠도 가능한지 고민이 되신다구여❓ - 한 페이지도 상관없을까? - 예전에 제작한 것도 괜찮을까? - 기능이 완벽하지 않았는데 괜찮을까? - 이 콘텐츠로 수익을 창출해보고 싶은데 가능할까? - 콘텐츠를 지속하지 않을 생각이었는데 괜찮을까? 위에 해당되는 콘텐츠들 모두 오케이 👌 ※ 선정적이거나 폭력성, 사행성 요소가 많이 포함된 콘텐츠는 출시가 불가능할 수 있습니다. 🤷왜 스위그에서 출시를 해야 하나요? 🔥콘텐츠 출시 Benefit🔥 - 웹 호스팅 및 도메인 제공 - 복잡한 심사 절차 없이 광고 부착 가능 - 트래픽이 많이 발생할 수 있도록 전담 마케팅 제공 - 사용자 유입 데이터 제공 - 스위그의 자동 SEO를 통한 검색엔진 최상단 노출 가능 - 콘텐츠의 고도화를 위한 인프라 지원 👉 혜택 자세히 알아보기[ https://swyg.link/h5j_0 📅 일정 - 지원 마감: ~ 3/20(월) - 결과 안내 : 3/22(수) 15:00 📌 지원 방법 구글폼 작성 https://swyg.link/gUjF9 ✨[SWYG 요약 소개]✨ SWYG에서 심리테스트, 미니게임, 인터랙티브 콘텐츠와 같은 특색 있는 메타 콘텐츠를 즐기고, 직접 만든 콘텐츠를 호스팅하여 많은 사용자들을 유입시킬 수 있습니다. 🔗SWYG 홈페이지 https://www.swygbro.com 🔗SWYG 인스타그램 https://www.instagram.com/swyg_official 🙋문의 Kakao: https://open.kakao.com/me/swyg_content Email: shlee@swygbro.com

• 개발자
• 디자이너
• 기획자
• 웹
• 웹프로젝트
• 사이드프로젝트
• 메타콘텐츠
• 유형테스트
• 미니게임
• 코딩

문의 사항이 몇가지 있습니다.

오라클 성능 분석과 인스턴스 튜닝 핵심 가이드

안녕하세요 선생님. 문의드리고 싶은 내용이 있는데 글을 올릴 곳이 마땅치 않아 여기에 문의드립니다. 저는 현재 DBA 로 근무 중인데 SQL 작성 능력을 키우고 싶은데 혹시 선생님의 '데이터 분석 SQL Fundamentals' 강의가 DBA 업무 쿼리 작성에 도움이 될 수 있는 강의일까요? 일을 해보니 join, grouping 이 쉬운것 같으면서도 다양한 쿼리 작성 시에 자유자재로 안써지는 편이라 아직 공부가 덜 된것 같아서요. 일/주/월 사이즈 구하는 쿼리나 기타 여러 조건이 결합된 오브젝트 조회 쿼리를 주로 작성할 필요가 있고, 앞으로 튜닝 업무를 위한 튜닝 공부를 할 때도 기본 이상의 SQL 작성 능력이 필요하다고 판단되서 문의드립니다. 그리고 선생님의 ORACLE 아키텍쳐 강의는 출퇴근 간에 잘 듣고 있는데 혹시 SQL 튜닝 강의는 하실 예정이 있으실까요? 감사합니다.

• oracle
• sql

datagrip에서 복구하기

데이터 분석 SQL Fundamentals

datagrip에서 복구 하려고 하면 postgre 관련 cli 가 필요합니다. 아래와 같이 우선 실행 $ brew install libpq $ echo 'export PATH="/opt/homebrew/opt/libpq/bin:$PATH"' >> ~/.zshrc $ source ~/.zshrc $ psql --version psql (PostgreSQL) 15.2 Path to pg_restore 에서 CMD+SHIFT+G 눌러서 brew로 설치한 디렉토리로 이동 이후 복구 하면 됩니다

• sql
• postgresql
• dbms/rdbms

MacOS에서 MySQL workbench에서 조회할 때 튕기시는 분

갖고노는 MySQL 데이터베이스 by 얄코

sakila db 조회할 때마다 위처럼 튕겨서 찾아보니 MySQL workbench를 8.0.31버전으로 받아야한다고 하네요( 참고 ) 다운로드 링크: https://downloads.mysql.com/archives/workbench/

• sql
• mysql
• dbms/rdbms
• 데이터-엔지니어링

팀플 시간 잡다 팀장하게 되시나요?

누구 하나 빠짐없는 모임 시간 맞추기, 타임투밋! https://www.time2meet.xyz/ 안녕하세요! 진현입니다 🙋🏻‍♀️. 혹시 팀플이나 모임시간 매칭할 때 단톡방에서 계속 일정 물어보고 투표만 백만개 만들고 계시진 않았나요? 답답해서 열심히 일정 만들었더니 갑자기 팀장을 시키진 않았나요? 저도 이러한 문제를 겪고 프론트개발자 한 분과 함께 사이드프로젝트로 타임투밋을 개발했습니다. 회원가입 없이 간단하게 모임을 만들고 링크에서 가능한 시간을 입력하면 공동의 시간을 볼 수 있어요 팀프로젝트로 일정 잡으실 일 있으면 많이 사용해보시고 많은 피드백 부탁드립니다!

• 사이드프로젝트
• 일정잡기
• 스케줄앱
• 팀플

[추가 문제] 제품별 총 판매액을 보고 싶다면? (+내림차순)

SELECT ALL FROM SQL

강의로 사용된 사이트 에서 추가 학습해보면 좋을 문제로 풀어보세요! 답은 댓글로 적어두도록 하겠습니다.

• sql

[피드백] 가족 공유 캘린더 '화목' 유저테스트 모집 중입니다

안녕하세요. 저희는 백엔드 3명, 프론트엔드 3명, 디자이너 1명으로 이루어진 팀 '화목'입니다. 이번에 4주동안 기획, 디자인, 개발하여 가족 공유 캘린더 서비스를 런칭하였습니다. 이용 가능한 서비스는 다음과 같습니다. 📌 가족 일정을 한 번에 ! '그룹 구성원 간에 캘린더 공유 기능' 📌 소중한 사람들과 함께한 추억을 보관하는 '공유 갤러리 기능' 📌 그리운 우리 엄마 목소리, 듣고싶을 때 '음성메세지 기능' 📌 중간에 끼인 둘째 서러움 누가 알아주나..! '커뮤니티 역할별 게시판' 개발자 선배님들이 보시기에 부족함이 많은 서비스라 생각합니다. 하여, 어떤 점이 부족하고 개선하면 좋은 지 소중한 피드백을 통해 저희가 성장할 수 있는 기회를 주셨으면 합니다. 설문조사에 참여해주신 분들께 감사의 마음으로 추첨을 통해 5분께 소정의 선물(음료 기프티콘)을 보내드리는 이벤트를 진행 중이니 많은 참여 부탁드립니다 :) 🌱 테스트 기간: 2022.09.12 - 2022.09.20 🌱 링크 : https://www.hwa-mok.com

• 사이드프로젝트
• 기프티콘
• 프로젝트
• 유저테스트