173만명의 커뮤니티!! 함께 토론해봐요.
데이터 분석 SQL Fundamentals
안녕하세요 '실습용 스키마 설치 이슈 시 적용하세요'라는 강의편에 맥북에서 create schema nw; 이렇게 DBeaver에서 실행을 하면 아래와 같은 에라가 뜨네요 ㅠ SQL Error [42501]: ERROR: permission denied for database postgres
다양한 사례로 익히는 SQL 데이터 분석
query = """ select * from nw.customers """ df = pd.read_sql_query(sql=query, con=postgres_engine) df.head(10) --------------------------------------------------------------------------- UnicodeDecodeError Traceback (most recent call last) Cell In[25], line 4 1 query = """ 2 select * from nw.customers 3 """ ----> 4 df = pd.read_sql_query(sql=query, con=postgres_engine) 5 df.head(10) File ~\anaconda3\Lib\site-packages\pandas\io\sql.py:468, in read_sql_query(sql, con, index_col, coerce_float, params, parse_dates, chunksize, dtype, dtype_backend) 465 if dtype_backend is lib.no_default: 466 dtype_backend = "numpy" # type: ignore[assignment] --> 468 with pandasSQL_builder(con) as pandas_sql: 469 return pandas_sql.read_query( 470 sql, 471 index_col=index_col, (...) 477 dtype_backend=dtype_backend, 478 ) File ~\anaconda3\Lib\site-packages\pandas\io\sql.py:832, in pandasSQL_builder(con, schema, need_transaction) 829 raise ImportError("Using URI string without sqlalchemy installed.") 831 if sqlalchemy is not None and isinstance(con, (str, sqlalchemy.engine.Connectable)): --> 832 return SQLDatabase(con, schema, need_transaction) 834 warnings.warn( 835 "pandas only supports SQLAlchemy connectable (engine/connection) or " 836 "database string URI or sqlite3 DBAPI2 connection. Other DBAPI2 " (...) 839 stacklevel=find_stack_level(), 840 ) 841 return SQLiteDatabase(con) File ~\anaconda3\Lib\site-packages\pandas\io\sql.py:1539, in SQLDatabase.__init__(self, con, schema, need_transaction) 1537 self.exit_stack.callback(con.dispose) 1538 if isinstance(con, Engine): -> 1539 con = self.exit_stack.enter_context(con.connect()) 1540 if need_transaction and not con.in_transaction(): 1541 self.exit_stack.enter_context(con.begin()) File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\base.py:3245, in Engine.connect(self) 3222 def connect(self) -> Connection: 3223 """Return a new :class:`_engine.Connection` object. 3224 3225 The :class:`_engine.Connection` acts as a Python context manager, so (...) 3242 3243 """ -> 3245 return self._connection_cls(self) File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\base.py:145, in Connection.__init__(self, engine, connection, _has_events, _allow_revalidate, _allow_autobegin) 143 if connection is None: 144 try: --> 145 self._dbapi_connection = engine.raw_connection() 146 except dialect.loaded_dbapi.Error as err: 147 Connection._handle_dbapi_exception_noconnection( 148 err, dialect, engine 149 ) File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\base.py:3269, in Engine.raw_connection(self) 3247 def raw_connection(self) -> PoolProxiedConnection: 3248 """Return a "raw" DBAPI connection from the connection pool. 3249 3250 The returned object is a proxied version of the DBAPI (...) 3267 3268 """ -> 3269 return self.pool.connect() File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:452, in Pool.connect(self) 444 def connect(self) -> PoolProxiedConnection: 445 """Return a DBAPI connection from the pool. 446 447 The connection is instrumented such that when its (...) 450 451 """ --> 452 return _ConnectionFairy._checkout(self) File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:1255, in _ConnectionFairy._checkout(cls, pool, threadconns, fairy) 1247 @classmethod 1248 def _checkout( 1249 cls, (...) 1252 fairy: Optional[_ConnectionFairy] = None, 1253 ) -> _ConnectionFairy: 1254 if not fairy: -> 1255 fairy = _ConnectionRecord.checkout(pool) 1257 if threadconns is not None: 1258 threadconns.current = weakref.ref(fairy) File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:716, in _ConnectionRecord.checkout(cls, pool) 714 rec = cast(_ConnectionRecord, pool._do_get()) 715 else: --> 716 rec = pool._do_get() 718 try: 719 dbapi_connection = rec.get_connection() File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\impl.py:168, in QueuePool._do_get(self) 166 return self._create_connection() 167 except: --> 168 with util.safe_reraise(): 169 self._dec_overflow() 170 raise File ~\anaconda3\Lib\site-packages\sqlalchemy\util\langhelpers.py:147, in safe_reraise.__exit__(self, type_, value, traceback) 145 assert exc_value is not None 146 self._exc_info = None # remove potential circular references --> 147 raise exc_value.with_traceback(exc_tb) 148 else: 149 self._exc_info = None # remove potential circular references File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\impl.py:166, in QueuePool._do_get(self) 164 if self._inc_overflow(): 165 try: --> 166 return self._create_connection() 167 except: 168 with util.safe_reraise(): File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:393, in Pool._create_connection(self) 390 def _create_connection(self) -> ConnectionPoolEntry: 391 """Called by subclasses to create a new ConnectionRecord.""" --> 393 return _ConnectionRecord(self) File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:678, in _ConnectionRecord.__init__(self, pool, connect) 676 self.__pool = pool 677 if connect: --> 678 self.__connect() 679 self.finalize_callback = deque() File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:902, in _ConnectionRecord.__connect(self) 900 self.fresh = True 901 except BaseException as e: --> 902 with util.safe_reraise(): 903 pool.logger.debug("Error on connect(): %s", e) 904 else: 905 # in SQLAlchemy 1.4 the first_connect event is not used by 906 # the engine, so this will usually not be set File ~\anaconda3\Lib\site-packages\sqlalchemy\util\langhelpers.py:147, in safe_reraise.__exit__(self, type_, value, traceback) 145 assert exc_value is not None 146 self._exc_info = None # remove potential circular references --> 147 raise exc_value.with_traceback(exc_tb) 148 else: 149 self._exc_info = None # remove potential circular references File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:898, in _ConnectionRecord.__connect(self) 896 try: 897 self.starttime = time.time() --> 898 self.dbapi_connection = connection = pool._invoke_creator(self) 899 pool.logger.debug("Created new connection %r", connection) 900 self.fresh = True File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\create.py:640, in create_engine.<locals>.connect(connection_record) 638 if connection is not None: 639 return connection --> 640 return dialect.connect(*cargs, **cparams) File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\default.py:580, in DefaultDialect.connect(self, *cargs, **cparams) 578 def connect(self, *cargs, **cparams): 579 # inherits the docstring from interfaces.Dialect.connect --> 580 return self.loaded_dbapi.connect(*cargs, **cparams) File ~\anaconda3\Lib\site-packages\psycopg2\__init__.py:122, in connect(dsn, connection_factory, cursor_factory, **kwargs) 119 kwasync['async_'] = kwargs.pop('async_') 121 dsn = _ext.make_dsn(dsn, **kwargs) --> 122 conn = _connect(dsn, connection_factory=connection_factory, **kwasync) 123 if cursor_factory is not None: 124 conn.cursor_factory = cursor_factory UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb8 in position 63: invalid start byte 판다스 버전과 sqlalchemy 버전은 다음과 같이 맞추었습니다 2.0.3 2.0.0
Oracle PL/SQL 딱 이만큼.. [개념+실전]
안녕하세요! 수업 정말 잘듣고 있습니다!! 공부한거를 블로그에 작성 하려하는데 예제 같은 것을 출처를 밝혀 포스팅 해도될까요??
15일간의 빅데이터 파일럿 프로젝트
클라우데라 CCA 자격증 관련 문의 강사님 안녕하세요? 강의를 듣다 하둡 관련 자격증을 찾아보니 CCA 자격증이 있던데 취득했을시 관련분야 취업에 우대를 해주는지 궁금합니다. 정보가 적어 여기에 문의 드립니다.
15일간의 빅데이터 파일럿 프로젝트
맥북 사용에 따라 vmware-fusion을 통해 실습 진행하려고 하는데 가상머신 구성해주신게 버츄얼박스에만 적용되나요???
[켠김에 출시까지] 유니티 방치형 키우기 게임 (M1 + C1)
조이스틱 프리팹을 단순명으로 바꾸려 하면 이미지에 보이는 에러문이 나오면서 적용되지 않는데 무슨 문제일까요?
15일간의 빅데이터 파일럿 프로젝트
안녕하세요. "실무로 배우는 빅데이터 기술" 교재와 15일간의 빅데이터 파일럿 프로젝트 강의에 열정을 쏟고 있는 학생입니다. 커뮤니티 게시판에 '고민있어요' 배너를 보고, 제 학습과 관련된 고민을 나누고자 글을 쓰게 되었습니다. 제 경험을 간단히 소개하자면, 약 2년간 직장에서 파이썬을 활용하여 크롤링, 분산 처리, API, DB 관리 등을 통해 데이터 수집 및 모델링 업무를 해왔습니다. 이후 데이터 엔지니어로 전환하면서, 본격적으로 이 분야를 공부하기 시작했습니다. Hadoop 생태계나 리눅스는 이전에는 이름만 들어본 적이 있었는데, 이번 강의를 통해 직접 프레임워크를 구축하고 설정하며, 데이터를 쌓아보는 경험은 정말 뜻깊습니다. 특히 Cloudera나 Git에서 'bigdata2nd-master' tar 파일을 받아 시스템을 구축하는 과정을 통해 전체적인 워크플로우와 업무에 대한 이해를 넓힐 수 있었던 점은 다른 어떤 강의보다 만족스러웠습니다. 처음 프레임워크를 하나하나 구축하고 설정하는 과정이 매우 어렵게 느껴졌는데, 이번 강의를 통해 크게 성장할 수 있었습니다. 강의 중 강사님께서는 프레임워크 자체에 집착하기보다는, 요구사항을 통해 세부적인 요구사항을 도출하고, 이를 해결하는 방법에 중점을 두라는 조언을 주셨습니다. 프레임워크가 어떻게 활용되는지를 이해하고, 실제 문제 해결에 적용하는 방향으로 학습하라는 조언은 매우 감사했습니다. 하지만, 저의 고민은 여기서 시작됩니다. 저만의 공부와 업무를 진행할 때, 대부분의 경우 도커 컨테이너 내에서 conf, yaml, Dockerfile 등을 직접 구성하거나 수정해야 할 것으로 압니다. Cloudera를 사용하지 않고 직접 프레임워크를 설계하며 공부를 해보고 싶은데, 이에 관련된 다른 강의나 학습 방향에 대한 조언을 구할 수 있을까요? 긴 글 읽어주셔서 감사합니다.
[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2
수강평 보니까 커리큘럼과 교재 순서를 일부러 다르게 했다고 하던데 그러면 강의는 교안을 받아서 학습하고 책은 따로 공부하면 될까요
[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part4: 게임 서버
안녕하세요! 강의 열심히 듣고있는 클라이언트 개발자를 꿈꾸는 한 수강생입니다. 수강전 문의에 글을 남겼었는데 답장이 오지 않아 이렇게 글 남깁니다. 저번 루키스님께서 포폴을 제작할 때 조그만한 서버라도 포함해 온라인으로 제작하라고 조언을 해주셔서 이 시리즈를 듣고 있습니다. 1. 포폴을 제작하는데 (강의를 듣는데) 있어서 4강 이후 5,6강이 필수적인가요?? 바로 7강으로 넘어가도 문제 없을지가 궁금합니다!(만약 클라이언트 개발자여도 알아둬야 하는 지식이라면 듣겠습니다!) 2. 이 시리즈는 2D로 제작 한 것으로 알고 있습니다. 만약 3D로 제작할 경우 코드나 스킬등이 많이 바뀌는지 궁금합니다!(강의 따라서 한번 만들어보고 3D rpg로 적용해 포폴을 제작 하려고 합니다.) 항상 감사드립니다!! 언리얼도 빨리 나왔으면 좋겠네요!!
14일만에 배우는 ASP.NET CORE
저는 rider 를 통해 강의를 수강 중입니다. NetCore.Web/Program.cs 파일에 직접 추가하시면 됩니다. using NetCore.Services.Interfaces; using NetCore.Services.Svcs; var builder = WebApplication.CreateBuilder(args); // Add services to the container. builder.Services.AddControllersWithViews(); builder.Services.AddMvc(); // add dependencies with constructor builder.Services.AddScoped<IUser, UserService>(); var app = builder.Build(); // ...
[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part4: 게임 서버
젯브레인사의 ide를 선호하여서 vs가 아닌 rider를 사용하고 익숙해져 있는 상태인데, 클라이언트가 아닌 게임서버 쪽에서도 현업에서 rider 사용들 하나요?? 그냥 제가 익숙한 ide사용해도 상관없나요? (게임서버 취준중입니다)
[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part3: 유니티 엔진
ㅠ_ㅠ 갑자기 너무 어려워졌어요
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 선생님! 🙂 수강기간 연장 부탁드립니다 ㅠㅠ
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
삭제된 글입니다
[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part1: C# 기초 프로그래밍 입문
수학과에 강화학습을 공부하고 있는 학생입니다. 그래서 유니티를 통해 강화학습을 배우면서 동시에 게임개발관련 지식겸 이 강의를 구매하여 듣고있습니다. 제 목표는 강화학습을 이용해서 적 몬스터를 ai로 학습시켜서 알고리즘을 짜고싶은 그런 계획인데 컴공지식이 전무한 저로써는 모르는 궁금점이 몇가지가 있습니다. 1. 일반적으로 게임에서 적 몬스터가 플레이어를 발견하면 공격, 플레이어가 xx행동을 하면 공격 중지 이런 식으로 전통적인 알고리즘을 사용할 때 와 제가 위에서 말한 ai모델을 사용할 때와 성능 차이가 크게 날까요? (성능은 몬스터가 잘움직이냐가 아니라 게임에서의 렉이나 그런거를 말하는겁니다.) 2. 아직 몬스터의 행동 알고리즘을 안배워서 몰라서 그런데, 만약 몬스터의 알고리즘을 직접짜기 vs 모델을 학습해서 그 모델을 적용시키기중 후자가 더 편하다면 강화학습으로 코딩하는 것이 더 좋겠죠? 3. 혹시 알고계신다면 현재 강화학습은 게임직군에서의 어느정도의 위상을 가지고있나요? 게임+강화학습을 하시는 분들을 찾기가어려워 이렇게 질문을 하게됩니다..!
[실전]텍스톰 TEXTOM 실전 강의: 빅데이터 논문 작성을 위한 텍스트 분석/텍스트마이닝
N-gram 분석은 N개 단어의 연쇄를 확률적인 수치를 산출하고 시각화하는 방법으로 대용량의 문서에서 특정 단어 뒤에 위치하는 단어나 음절의 빈도를 정량적인 수치로 나타낼 수 있다(Kang & Lee, 20019). 단어 간 연결방향이 화살표를 통해 시각화되며 화살표의 굵기 크기를 통해 연결강도가 결정된다(Yoo et al., 2019). 또한 연관 단어 간 관계성을 분석하면 단어간 관계 파악에 용이다하다(Kim, 2020). 본 연구에서는 Textom에서 제공하는 N-gram 텍스트마이닝 기법 시 데이터의 흐름과 이해를 하기 위해 가장 먼저 기초 분석 자료로 활용되는 기법이기도 하다. 단어빈도에 기반한 분석은 전체 문서 내에서 특정 단어의 풀현 빈도를 나타낸다. 문서 내에 특정 단어가 등장하는 횟수를 나타내며 이수치값이 클수록 문서에서 자주 사용하는 단어임을 의미한다(Jang et al.,2018). 높은 출현 빈도를 나타내는 단어는 대체로 연구주제와 관련된 함축된 의미를 내재하고 핵심 단어로 작용 할 수도 있다(Lee,2022).
[백문이불여일타] 데이터 분석을 위한 중급 SQL 문제풀이
SAS만 다뤘었고 SQL + Python이 대세인 가 싶었는데 어느 순간 대시보드 구축능력도 요구하네요 ㅋㅋㅋㅋ tableau 강의가 있으실지요.. 뭐부터 손을 대야 할지 .. 고민입니다.
[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part3: 유니티 엔진
안녕하세요, Unity UI Button onClick 이벤트 설정 위치에 대한 고민이 있어서 질문 글을 남깁니다. Button의 onClick 이벤트에 호출할 함수를 등록하는 방법에는 아래와 같이 두 가지 방법이 있다고 알고 있습니다. 1. 인스펙터 창에서 Button 게임오브젝트의 onClick 이벤트에 호출할 함수를 등록 코드 상에서 등록 Button sampleBtn; void Start() { sampleBtn.onClick.AddListener( () => { Debug.Log("Hello World"); }); } 첫 번째 방법으로 구현을 하면 프로젝트를 처음 열어본 사람의 입장에서 보았을 때 특정 버튼을 누른 경우 어떤 동작이 이어질지 전체적인 흐름을 파악하기 쉽다는 장점이 있습니다. 그리고 연결된 함수를 타고 가서 관련 스크립트를 열어볼 수도 있고요. 하지만 매번 인스펙터 창에서 하나씩 넣어주어야 해서 귀찮(?)을 수 있다는 단점이 있습니다. 두 번째 방법으로 구현을 하면 게임오브젝트를 하나 하나 눌러가면서 인스펙터 창에서 onClick 이벤트에 등록된 함수를 확인할 필요 없이, 코드만 보면 되기 때문에 편할 수도 있다는 장점이 있습니다. 하지만 처음 프로젝트를 열어본 사람은 어디에 뭐가 있는지 어떻게 연결되어있는지 초반에 조금 헤멜 수 있다는 단점이 있습니다. (뭔가 컨벤션이 정해져 있지 않고 아무런 정보 없이 프로젝트를 처음 열어본 사람) 둘 중 어느 방법을 추천하시는지 궁금해서 질문 남깁니다!!!
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 VirtualBox 6.1 설치 했는데요. 아래와같이 호스트 전용 네트워크 탭에 어댑터 설정이 없는데요.. 찾아도 안보이네요 ㅠ
실리콘밸리 엔지니어와 함께하는 Apache Airflow
안녕하세요 딥러닝 컴퓨터비전 엔지니어로 근무 중인 수강생입니다 :) 최근에 mlops에 대해 관심을 가지고 있는 도중에 airflow라는 도구를 알게되었습니다. 딥러닝분야에서도 airflow를 통해 mlops를 하는지 궁금합니다.
