173만명의 커뮤니티!! 함께 토론해봐요.
반도체 평가및분석 직무 완전 정복 - 삼성/SK하이닉스 PE/AE 지원 전략
안녕하세요. 현재 게임업계에서 약 5년간 데이터 엔지니어와 분석가로 근무하며 Hadoop, Hive SQL, Python 기반 로그 수집·적재, 품질 검증, 이상 모니터링 업무를 해왔습니다. 반도체 경험은 없지만 반도체 업계에서 일해보고 싶어서 삼성전자 DS·SK하이닉스 데이터 직무로 이직을 준비 중입니다. 평가·분석 강의가 저 같은 비전공·타 산업 경력자에게도 적합한지, 수강 후 실제 직무 전환 가능성이 있는지 여쭙고 싶습니다.
스파크 머신러닝 완벽 가이드 - Part 1
안녕하십니까, 전체 공지 드린대로 Community Edition 종료 후에 강의를 선택하신 신규 수강생분들 중에 환불을 원하시지만, 강의 자료를 다운로드 받아서 강의 환불이 안되시는 분은 여기에 댓글로 본인 아이디를 적어 주시면 인프런과 협의하여 환불 진행하겠습니다. 감사합니다.
[리뉴얼] 처음하는 MongoDB(몽고DB) 와 NoSQL(빅데이터) 데이터베이스 부트캠프 [입문부터 활용까지] (업데이트)
안녕하세요, 강사님! 항상 좋은 강의 덕분에 많은 도움을 받고 있어 감사하다는 말씀 먼저 드리고 싶습니다. 다름이 아니라, 진로와 관련해서 강사님의 의견이 궁금하여 이렇게 질문을 남기게 되었습니다. 현재는 스프링과 자바를 중심으로 백엔드 개발자 취업을 준비 중인데요, 앞으로 어떤 기술을 더 공부해 나가야 할지 고민이 생겨 조언을 구하고 싶습니다. 물론 상황에 따라 성향에 따라 다르게 선택할 수도 있겠지만, 스프링 이후 어떤 기술 스택을 확장해 나가는 것이 좋을지에 대해 두 가지 방향을 놓고 고민하고 있습니다. 파이썬 기반의 AI 기술 – 머신러닝, 딥러닝, LangChain 등의 기술과 함께, FastAPI나 Django 같은 프레임워크를 익혀 스프링 서버와 연동하며 AI 기능을 접목하는 방향 Node.js 기반의 서버 기술 – NestJS 등과 같은 프레임워크를 익혀 스프링과 병행하여 백엔드 서버에 좀 더 깊이 집중하는 방향 둘 중 하나에 집중해서 커리어를 쌓는다고 가정했을 때, 현재 업계 상황이나 전망을 고려했을 때 어떤 방향이 더 유망하다고 생각하시는지 강사님의 의견이 궁금합니다. (지금 당장 공부할 계획은 아니지만 앞으로 기준으로 삼고자 질문 남깁니다!!) 읽어주셔서 감사드리며, 좋은 하루 되세요!
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
도커를 몰라서 강의를 들으면 빠른데 선생님은 aws에서 객체 라이터를 선택을 해야되는 둥 이런 부가적인 옵션 또는 지식들을 어떻게 습득하신걸까요 궁금합니다
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
ec2에 개별적으로 docker run jpr파일을 띄우고 docker stop을 하고 다 지우고 통합 관리를 위해 docker compose yml에서도 같은 jpr파일을 적어서 docker compose up하면 안됩니다... ec2안데 개별적으로 docker run하면 됩니다. ..
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 강사님, 유익하고 좋은 강의를 만들어주셔서 감사드립니다. 수강하지 못한 부분들이 많이 있는데 수강기간 연장을 요청 드리고 싶습니다ㅜㅜ
실리콘밸리 엔지니어와 함께하는 Redis
삭제된 글입니다
다양한 사례로 익히는 SQL 데이터 분석
query = """ select * from nw.customers """ df = pd.read_sql_query(sql=query, con=postgres_engine) df.head(10) --------------------------------------------------------------------------- UnicodeDecodeError Traceback (most recent call last) Cell In[25], line 4 1 query = """ 2 select * from nw.customers 3 """ ----> 4 df = pd.read_sql_query(sql=query, con=postgres_engine) 5 df.head(10) File ~\anaconda3\Lib\site-packages\pandas\io\sql.py:468, in read_sql_query(sql, con, index_col, coerce_float, params, parse_dates, chunksize, dtype, dtype_backend) 465 if dtype_backend is lib.no_default: 466 dtype_backend = "numpy" # type: ignore[assignment] --> 468 with pandasSQL_builder(con) as pandas_sql: 469 return pandas_sql.read_query( 470 sql, 471 index_col=index_col, (...) 477 dtype_backend=dtype_backend, 478 ) File ~\anaconda3\Lib\site-packages\pandas\io\sql.py:832, in pandasSQL_builder(con, schema, need_transaction) 829 raise ImportError("Using URI string without sqlalchemy installed.") 831 if sqlalchemy is not None and isinstance(con, (str, sqlalchemy.engine.Connectable)): --> 832 return SQLDatabase(con, schema, need_transaction) 834 warnings.warn( 835 "pandas only supports SQLAlchemy connectable (engine/connection) or " 836 "database string URI or sqlite3 DBAPI2 connection. Other DBAPI2 " (...) 839 stacklevel=find_stack_level(), 840 ) 841 return SQLiteDatabase(con) File ~\anaconda3\Lib\site-packages\pandas\io\sql.py:1539, in SQLDatabase.__init__(self, con, schema, need_transaction) 1537 self.exit_stack.callback(con.dispose) 1538 if isinstance(con, Engine): -> 1539 con = self.exit_stack.enter_context(con.connect()) 1540 if need_transaction and not con.in_transaction(): 1541 self.exit_stack.enter_context(con.begin()) File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\base.py:3245, in Engine.connect(self) 3222 def connect(self) -> Connection: 3223 """Return a new :class:`_engine.Connection` object. 3224 3225 The :class:`_engine.Connection` acts as a Python context manager, so (...) 3242 3243 """ -> 3245 return self._connection_cls(self) File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\base.py:145, in Connection.__init__(self, engine, connection, _has_events, _allow_revalidate, _allow_autobegin) 143 if connection is None: 144 try: --> 145 self._dbapi_connection = engine.raw_connection() 146 except dialect.loaded_dbapi.Error as err: 147 Connection._handle_dbapi_exception_noconnection( 148 err, dialect, engine 149 ) File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\base.py:3269, in Engine.raw_connection(self) 3247 def raw_connection(self) -> PoolProxiedConnection: 3248 """Return a "raw" DBAPI connection from the connection pool. 3249 3250 The returned object is a proxied version of the DBAPI (...) 3267 3268 """ -> 3269 return self.pool.connect() File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:452, in Pool.connect(self) 444 def connect(self) -> PoolProxiedConnection: 445 """Return a DBAPI connection from the pool. 446 447 The connection is instrumented such that when its (...) 450 451 """ --> 452 return _ConnectionFairy._checkout(self) File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:1255, in _ConnectionFairy._checkout(cls, pool, threadconns, fairy) 1247 @classmethod 1248 def _checkout( 1249 cls, (...) 1252 fairy: Optional[_ConnectionFairy] = None, 1253 ) -> _ConnectionFairy: 1254 if not fairy: -> 1255 fairy = _ConnectionRecord.checkout(pool) 1257 if threadconns is not None: 1258 threadconns.current = weakref.ref(fairy) File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:716, in _ConnectionRecord.checkout(cls, pool) 714 rec = cast(_ConnectionRecord, pool._do_get()) 715 else: --> 716 rec = pool._do_get() 718 try: 719 dbapi_connection = rec.get_connection() File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\impl.py:168, in QueuePool._do_get(self) 166 return self._create_connection() 167 except: --> 168 with util.safe_reraise(): 169 self._dec_overflow() 170 raise File ~\anaconda3\Lib\site-packages\sqlalchemy\util\langhelpers.py:147, in safe_reraise.__exit__(self, type_, value, traceback) 145 assert exc_value is not None 146 self._exc_info = None # remove potential circular references --> 147 raise exc_value.with_traceback(exc_tb) 148 else: 149 self._exc_info = None # remove potential circular references File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\impl.py:166, in QueuePool._do_get(self) 164 if self._inc_overflow(): 165 try: --> 166 return self._create_connection() 167 except: 168 with util.safe_reraise(): File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:393, in Pool._create_connection(self) 390 def _create_connection(self) -> ConnectionPoolEntry: 391 """Called by subclasses to create a new ConnectionRecord.""" --> 393 return _ConnectionRecord(self) File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:678, in _ConnectionRecord.__init__(self, pool, connect) 676 self.__pool = pool 677 if connect: --> 678 self.__connect() 679 self.finalize_callback = deque() File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:902, in _ConnectionRecord.__connect(self) 900 self.fresh = True 901 except BaseException as e: --> 902 with util.safe_reraise(): 903 pool.logger.debug("Error on connect(): %s", e) 904 else: 905 # in SQLAlchemy 1.4 the first_connect event is not used by 906 # the engine, so this will usually not be set File ~\anaconda3\Lib\site-packages\sqlalchemy\util\langhelpers.py:147, in safe_reraise.__exit__(self, type_, value, traceback) 145 assert exc_value is not None 146 self._exc_info = None # remove potential circular references --> 147 raise exc_value.with_traceback(exc_tb) 148 else: 149 self._exc_info = None # remove potential circular references File ~\anaconda3\Lib\site-packages\sqlalchemy\pool\base.py:898, in _ConnectionRecord.__connect(self) 896 try: 897 self.starttime = time.time() --> 898 self.dbapi_connection = connection = pool._invoke_creator(self) 899 pool.logger.debug("Created new connection %r", connection) 900 self.fresh = True File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\create.py:640, in create_engine.<locals>.connect(connection_record) 638 if connection is not None: 639 return connection --> 640 return dialect.connect(*cargs, **cparams) File ~\anaconda3\Lib\site-packages\sqlalchemy\engine\default.py:580, in DefaultDialect.connect(self, *cargs, **cparams) 578 def connect(self, *cargs, **cparams): 579 # inherits the docstring from interfaces.Dialect.connect --> 580 return self.loaded_dbapi.connect(*cargs, **cparams) File ~\anaconda3\Lib\site-packages\psycopg2\__init__.py:122, in connect(dsn, connection_factory, cursor_factory, **kwargs) 119 kwasync['async_'] = kwargs.pop('async_') 121 dsn = _ext.make_dsn(dsn, **kwargs) --> 122 conn = _connect(dsn, connection_factory=connection_factory, **kwasync) 123 if cursor_factory is not None: 124 conn.cursor_factory = cursor_factory UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb8 in position 63: invalid start byte 판다스 버전과 sqlalchemy 버전은 다음과 같이 맞추었습니다 2.0.3 2.0.0
카프카 완벽 가이드 - 코어편
제 intellj 메시지가 너무 많이 출력되는 바람에 강사님 강의에 나오는 메시지를 찾기가 너무 힘들어 방법이 있나 해서 문의 드립니다. (강사님은 저와 다른 메시지 출력 셋팅을 하신거 아닌가 해서요) 위에는 제 화면에 출력되는 내용이고 아래는 강사님 강의 화면에 나오는 메시지 입니다. 지난번 메시지량을 줄이는 방법을 알려주신거 같은데 제가 설정하지 않은거 같아서요....
15일간의 빅데이터 파일럿 프로젝트
클라우데라 CCA 자격증 관련 문의 강사님 안녕하세요? 강의를 듣다 하둡 관련 자격증을 찾아보니 CCA 자격증이 있던데 취득했을시 관련분야 취업에 우대를 해주는지 궁금합니다. 정보가 적어 여기에 문의 드립니다.
15일간의 빅데이터 파일럿 프로젝트
맥북 사용에 따라 vmware-fusion을 통해 실습 진행하려고 하는데 가상머신 구성해주신게 버츄얼박스에만 적용되나요???
15일간의 빅데이터 파일럿 프로젝트
안녕하세요. "실무로 배우는 빅데이터 기술" 교재와 15일간의 빅데이터 파일럿 프로젝트 강의에 열정을 쏟고 있는 학생입니다. 커뮤니티 게시판에 '고민있어요' 배너를 보고, 제 학습과 관련된 고민을 나누고자 글을 쓰게 되었습니다. 제 경험을 간단히 소개하자면, 약 2년간 직장에서 파이썬을 활용하여 크롤링, 분산 처리, API, DB 관리 등을 통해 데이터 수집 및 모델링 업무를 해왔습니다. 이후 데이터 엔지니어로 전환하면서, 본격적으로 이 분야를 공부하기 시작했습니다. Hadoop 생태계나 리눅스는 이전에는 이름만 들어본 적이 있었는데, 이번 강의를 통해 직접 프레임워크를 구축하고 설정하며, 데이터를 쌓아보는 경험은 정말 뜻깊습니다. 특히 Cloudera나 Git에서 'bigdata2nd-master' tar 파일을 받아 시스템을 구축하는 과정을 통해 전체적인 워크플로우와 업무에 대한 이해를 넓힐 수 있었던 점은 다른 어떤 강의보다 만족스러웠습니다. 처음 프레임워크를 하나하나 구축하고 설정하는 과정이 매우 어렵게 느껴졌는데, 이번 강의를 통해 크게 성장할 수 있었습니다. 강의 중 강사님께서는 프레임워크 자체에 집착하기보다는, 요구사항을 통해 세부적인 요구사항을 도출하고, 이를 해결하는 방법에 중점을 두라는 조언을 주셨습니다. 프레임워크가 어떻게 활용되는지를 이해하고, 실제 문제 해결에 적용하는 방향으로 학습하라는 조언은 매우 감사했습니다. 하지만, 저의 고민은 여기서 시작됩니다. 저만의 공부와 업무를 진행할 때, 대부분의 경우 도커 컨테이너 내에서 conf, yaml, Dockerfile 등을 직접 구성하거나 수정해야 할 것으로 압니다. Cloudera를 사용하지 않고 직접 프레임워크를 설계하며 공부를 해보고 싶은데, 이에 관련된 다른 강의나 학습 방향에 대한 조언을 구할 수 있을까요? 긴 글 읽어주셔서 감사합니다.
Airflow 마스터 클래스
안녕하세요, 좋은 강의 제공해주셔서 매번 큰 배움얻을수있어서 너무 감사합니다 ㅎㅎ airflow로 구현해보고싶은 플로우가 있는데, 혹시 가능한 부분일까 하여 질문드립니다. task1 : google drive 특정 경로에 파일이 존재하는지 여부 확인 (크롤링한 데이터가 잘 들어왔는지 확인하기 위함, 파일이없다면 error 처리) task2 : 간단한 데이터 정합성 확인을 위해 가공완료된 csv 데이터가 특정 조건을 충족하는지 확인 (ex. A라는 수치열 칼럼 총합이 B라는 수치열 칼럼 총합보다 큰지 확인, 작다면 error) task3 : 위 두가지 조건이 충족되면 csv 데이터 db에 table insert (update) task4 : 위 db table이 연결된 엑셀파일 데이터 새로고침 위 태스크를 task1 >> task2 >> task3 >> task4 로 구현해보고싶습니다. 위 task에서는 데이터를 가공하는 task는 없는데, 현재 no-code 가공툴을 사용하고있어서 task에는 포함시키지 못했습니다
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 선생님! 🙂 수강기간 연장 부탁드립니다 ㅠㅠ
데이터베이스 중급(Modeling)
혹시 해주실 생각 있으시다면 바로 결제하겠습니다!
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 VirtualBox 6.1 설치 했는데요. 아래와같이 호스트 전용 네트워크 탭에 어댑터 설정이 없는데요.. 찾아도 안보이네요 ㅠ
실리콘밸리 엔지니어와 함께하는 Apache Airflow
안녕하세요 딥러닝 컴퓨터비전 엔지니어로 근무 중인 수강생입니다 :) 최근에 mlops에 대해 관심을 가지고 있는 도중에 airflow라는 도구를 알게되었습니다. 딥러닝분야에서도 airflow를 통해 mlops를 하는지 궁금합니다.
Airflow 마스터 클래스
이번에 현진님의 강의를 수강하고 데이터 엔지니어에 취업을 하게 된 수강생입니다. 혹시 취업과 관련해서 조언을 구하고 싶은데 메일을 드려도 될까요? 감사합니다.
다양한 사례로 익히는 SQL 데이터 분석
선생님.. 나래비는 일본어 입니다. 어감이 예뻐서 옛 우리말인줄 알고 찾아봤는데 '줄을 세우다'라는 일본어 '나라비'가 어원이라고 하네요
mongoDB 기초부터 실무까지(feat. Node.js)
await mongoose.connect(MONGO_URI, { useNewUrlParser: true, useUnifiedTopology: true }) 1:08 부분에 컴파일 후 Warning 내용으로 createIndexes를 사용하는 것이 좋다는 내용이 올라와서 해당 설정을 잡아 주셨는데요. mongoose 6 버전 이후부터는 해당 설정을 적용을 하면 오히려 Error이 발생하고 있습니다. MongoParseError: option usecreateindex is not supported 위 Error이 발생하고 있네요. 검색을 해보니 Mongoose 6.0 이상부터는 useNewUrlParser: true, useUnifiedTopology: true, useCreateIndex: true, useFindAndModify: false 위 4가지 설정과 관련하여 위와 같이 설정 값을 default로 잡아두고 있기에 해당 설정을 지워하지 않는다고 하네요. https://velog.io/@lee951109/MongoDB-MongoParseError-options-usecreateindex-usefindandmodify-are-not-supported 참고 사항으로 추가해주시면 좋을 것 같습니다 ㅎㅎ
