173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
mongoDB 기초부터 실무까지(feat. Node.js)
선생님 안녕하세요. 좋은강의 정말로 감사드립니다. 리팩토링 강의에서 라우터들을 Index.js로 통합시켜줄 때 module.exports = { ...require("./userRouter"), ...require("./blogRouter"), ...require("./commentRouter"), }; 이렇게 전개연산자(...)를 작성해주셨는데요. 이유가 뭘까요? 이렇게 안하고 그냥 module.exports = { require("./userRouter"), require("./blogRouter"), require("./commentRouter"), }; 이렇게 해주려고 하니 에러가 발생하더라구요. 이유가 뭘까요??
javascript node.js aws mongodb rest-api dbms/rdbms 데이터-엔지니어링
google_user
2023-06-26T16:18:49.073Z
댓글 1
좋아요 1
조회수 339
미해결
카프카 완벽 가이드 - 커넥트(Connect) 편
클러스터 3노드(VM 3개 띄울 예정)로 구성하고자 합니다. confluent kafka로 3노드의 클러스터 구성이 가능한가요??? 확인 부탁드립니다. 감사합니다...
김태완
2023-06-25T01:53:09.190Z
댓글 1
좋아요 0
조회수 337
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
제가 자바를 사용하다보니 node가 처음이라서 어떻게 해결해야할지 모르겠습니다. npm init에 대한 에러를 어떻게 해결해야하나요?
aws docker github ci/cd travis-ci 데이터-엔지니어링
qkrtngus116
2023-06-25T00:47:50.970Z
댓글 1
좋아요 0
조회수 1399
해결됨
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
원영님 안녕하세요. 강의 항상 잘듣고있습니다. 다름아니라, CDC커넥터에서 발생된 메시지 처리시 '메세지 역전현상'을 해결하기 위해 테이블의 PK값을 기준으로 특정 파티션으로 데이터가 보내질수 있도록 cusomPartitioner을 구현하고 commitSync로 메시지 순서를 보장하려고 하는데요. ex) 1번 pk -> 1번 파티션 -> 1번 consumer. 2번 pk -> 2번 파티션 -> 2번 consumer. 이럴 경우에 특정파티션으로 데이터가 쏠리면 스케일아웃을 한 의미가 없어지더라구요. 실시간성이 요구되는 비지니스라 일정 이상의 TPS가 나와야되거든요. 문제 접근방식이 잘못됬는지... 메시지역전문제와 TPS 성능을 위해선 컨슈머에서 다른 도구들을 이용해서 해결해야 하는건지... 확신이 안서더라구요.. 혹시 비슷한 경험을 통해서 위와같은 문제를 해결해보셨다면 조언부탁드리겠습니다. 감사합니다!
GSP
2023-06-24T06:43:53.516Z
댓글 1
좋아요 0
조회수 428
미해결
[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
크롤링과 데이터베이스 - 크롤링 코드 작성 시작 (업데이트) 맨 마짐가 부분 참고용으로 있던 강의들이 사라졌는데, 복구가 안될까요? 부탁드릴게요ㅠ
python sql mysql dbms/rdbms 데이터-엔지니어링
dostudydo
2023-06-22T02:18:36.076Z
댓글 1
좋아요 0
조회수 486
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요! "5. 빅데이터 클러스터 구성 4 - putty로 서버환경 접속"을 수강중에 있습니다. putty server01 login : root는 입력되는데, password가 쳐지지 않고 조금 있으면 접속이 끊긴다는 오류 메세지가 출력됩니다. "Remote side unexpectedly closed network connection" 어떻게 조치해야 하나요?
빅데이터 hadoop kafka zookeeper redis flume impala 데이터-엔지니어링
sbp3636
2023-06-21T13:05:02.346Z
댓글 1
좋아요 0
조회수 721
미해결
갖고노는 MySQL 데이터베이스 by 얄코
강의에서 나온 내용들 혹시 수시로 참고하기 위해 개인 블로그에 따로 작성해도 괜찮을까요 ?
sql mysql dbms/rdbms 데이터-엔지니어링
조재국
2023-06-20T13:51:59.911Z
댓글 1
좋아요 0
조회수 622
미해결
[리뉴얼] 처음하는 MongoDB(몽고DB) 와 NoSQL(빅데이터) 데이터베이스 부트캠프 [입문부터 활용까지] (업데이트)
재귀적 크롤링을 위한 링크 가져오기 8:20 copy select한것을 안쓰고 한번 확인해본다음 직접작성하시는 이유가 뭔가요? 그리고 어떤 태크와 어떤 클래스를 가져오는게 좋을지 판단하는 기준?도 궁금합니다
python mongodb dbms/rdbms 데이터-엔지니어링
이하윤
2023-06-20T13:31:36.025Z
댓글 1
좋아요 0
조회수 343
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
빌드는 잘 된 것 같은데 실행시 오류가 납니다
aws docker github ci/cd travis-ci 데이터-엔지니어링
bam
2023-06-20T13:24:57.503Z
댓글 1
좋아요 0
조회수 1811
미해결
카프카 완벽 가이드 - 커넥트(Connect) 편
안녕하세요. topic에 UTC 시간대로 저장되는 문제가 있습니다. 해결 접근방법에 조언을 듣고 싶습니다. Sink를 적용했을때 customers, products,order_items는 문제없이 적용되었으나 orders테이블의 timestamp타입의 order_datetime컬럼에 문제가 발생하여 SMT 옵션을 추가하다가 발견한 문제입니다. 결론적으로 mysql_cdc_oc_sink_orders_01.json에 "transforms": "ConvertDateTimeType", "transforms.ConvertDateTimeType.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value", "transforms.ConvertDateTimeType.target.type": "Timestamp", "transforms.ConvertDateTimeType.field": "order_datetime", "transforms.ConvertDateTimeType.format": "yyyy-MM-dd'T'HH:mm:ss'Z'", "transforms.ConvertDateTimeType.timezone": "Asia/Seoul" 위 옵션을 추가하여 sink로 저장을 해결하였으나 topic에 저장되는 시간이 다르게 저장되는것을 발견했습니다. source 데이터베이스에서는 2023-06-20 13:56:40 에 저장하였으나 sink 데이터베이스에서는 2023-06-20 04:56:40으로 저장되고 있었습니다. 이에 topic을 확인해보니 저장되는 시간대가 2023-06-20 04:56:40으로 topic에서부터 저장되는 값이 다른 것을 알 수 있었습니다. 따라서 source설정쪽이 문제일 것 같은데 "database.connectionTimeZone": "Asia/Seoul" 옵션을 넣었음에도 UTC로 적용되고있어 질문드립니다. 감사합니다. mysql_cdc_oc_source_01 . json { "name": "mysql_cdc_oc_source_01", "config": { "connector.class": "io.debezium.connector.mysql.MySqlConnector", "tasks.max": "1", "database.hostname": "192.168.56.101", "database.port": "3306", "database.user": "connect_dev", "database.password": "connect_dev", "database.server.id": "10001", "database.server.name": "mysql01", "database.include.list": "oc", "table.include.list": "oc.customers, oc.products, oc.orders, oc.order_items", "database.history.kafka.bootstrap.servers": "192.168.56.101:9092", "database.history.kafka.topic": "schema-changes.mysql.oc", "key.converter": "org.apache.kafka.connect.json.JsonConverter", "value.converter": "org.apache.kafka.connect.json.JsonConverter", "transforms": "unwrap", "transforms.unwrap.type": "io.debezium.transforms.ExtractNewRecordState", "transforms.unwrap.drop.tombstones": "false", "database.connectionTimeZone": "Asia/Seoul" } } MYSQL의 TIME_ZONE은 한국시간대입니다. mysql> select @@system_time_zone; +--------------------+ | @@system_time_zone | +--------------------+ | KST | +--------------------+
좋은 낙지
2023-06-20T08:49:26.344Z
댓글 2
좋아요 0
조회수 1230
미해결
[리뉴얼] 처음하는 MongoDB(몽고DB) 와 NoSQL(빅데이터) 데이터베이스 부트캠프 [입문부터 활용까지] (업데이트)
mongodb 설치 (윈도우 환경) (업데이트) 5:20 bin폴더 들어가서 mongod.exe 클릭하는것과 cmd에서 mongod 라고 치는 것과 같은 동작을 하나요?
python mongodb dbms/rdbms 데이터-엔지니어링
이하윤
2023-06-18T10:47:25.238Z
댓글 1
좋아요 0
조회수 373
미해결
[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
[참고] 크롤링과 데이터베이스 - 스키마 구현/크롤링 시작 (업데이트) 11:52 category=soup.select()에서 category가 원래는 리스트로 나오는 것으로 이해하고 있었는데 리스트가 아니라 딕셔너리형태로 나오는 이유가 궁금합니다
python sql mysql dbms/rdbms 데이터-엔지니어링
이하윤
2023-06-17T11:56:06.600Z
댓글 1
좋아요 0
조회수 346
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
안녕하세요 저는 window 환경에서 강의를 수강하고 있고 docker-compose up시 react-app-test 컨테이너가 강제 종료되어 travis-ci에서 빌드까지 되지 않고 있는 문제를 겪고 있습니다. 참고로 docker-compose up 으로 react-app 실행 시 react-app 은 정상적으로 실행 react-app-test 컨테이너는 부적절한 해체로 인한 테스트 누출로 인해 강제 종료 된 것 같습니다. ) 이 때문인지 travis 에선 아래 코드와 같은 오류 내용이고 build에 실패하였습니다. 이를 해결할 방법이 있을까요? root: deprecated ked sudo(the key 'sudo' has no effect anymore) 아래 사진을 보면 Build config를 보면 에러 코멘트처럼 sudo가 사라진 것을 확인할 수 있습니다. 현 문제 해결 및 다른 에러 발생 리로딩이 되는 지 확인한다고 app.js의 text 내용을 자주 바꿨는데 그에 맞춰 app-test.js는 바꿔주지 않아 영상 초반에 나오듯 렌더링할 텍스트가 맞지 않아 나는 오류였습니다. 렌더링 문제가 해결되자 정상 작동은 하는데 리로딩이 안됩니다....
aws docker github ci/cd travis-ci 데이터-엔지니어링
bam
2023-06-17T11:48:13.765Z
댓글 1
좋아요 0
조회수 643
미해결
카프카 완벽 가이드 - 커넥트(Connect) 편
나름 대로 개인 프로젝트 만들어가는중입니다. 요 강의에서 Zookeeper과 Kafka 분리 설치 및 3노드 구성하여 클러스터 구축 완료... 제가 오라클 DBA 14년차이지만 이게 저랑 잘맞는거 같습니다. 좋은 강의 끝까지 열심히 들을게요 수고하세요~
김태완
2023-06-16T15:31:51.453Z
댓글 1
좋아요 0
조회수 394
미해결
[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
데이터 분석을 위한 환경 구축 (업데이트) 4:27 data import 덤프기능을 사용하는 이유가 궁금합니다 이전에 배웠던대로 student.sql파일로 실행할때처럼 file->open sql.script->student.sql 이런 방식과 차이점이 어떤것인가요? 그리고 create database bestproducts; 를 하기 전 오류가 뜨는 이유와 치면 오류가 왜 사라지는지 궁금합니다
python sql mysql dbms/rdbms 데이터-엔지니어링
이하윤
2023-06-15T13:46:15.544Z
댓글 1
좋아요 0
조회수 294
미해결
[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
안녕하세요. 전 열심히 잔재미코딩 선생님 강의 수강하고 있는 수강생입니다. 크롤링 기본,고급 강의 수료했고 지금 열심히 SQL 듣고 있는 중입니다. 이 다음 단계로 MongoDB 건너띄고 판다스 강의로 넘어가도 강의 듣는데 문제없을까요? 조언 부탁드립니다. 감사합니다.
python sql mysql dbms/rdbms 데이터-엔지니어링
dostudydo
2023-06-15T04:15:12.121Z
댓글 1
좋아요 0
조회수 466
미해결
카프카 완벽 가이드 - 코어편
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요. 자바 클라이언트에서 메세지 전송시 아래와 같은 오류가 발생합니다. 저는 m1 유저라 UTM으로 가상환경 구성하였고, 터미널에서 테스트시에는 이전 수업내용은 잘 작동하였는데, 자바클라이언트에서 오류가 발생하네요 어떻게 해결하면 좋을까요?
동그란 강아지
2023-06-15T03:55:20.050Z
댓글 8
좋아요 0
조회수 1196
미해결
[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
패턴으로 익히는 파이썬과 MySQL - 데이터 입력과 검색 9:09 fetch함수는 별도로 테이블을 지정하지않고 데이터베이스만 지정하는 것(fetch앞에있는 cursor로부터) 같은데 그러면 한 데이터베이스에 있는 모든 레코드를 출력해주는 것인가요?
python sql mysql dbms/rdbms 데이터-엔지니어링
이하윤
2023-06-14T14:24:06.060Z
댓글 1
좋아요 0
조회수 446
미해결
[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
pymysql 소개 및 설치 14:30 cursor=db.cursor()에서 pymysql을 db앞에 안붙이는 이유는 db안에 pymysql.이 포함되어있기 때문이라고 이해하는 것이 맞나요?
python sql mysql dbms/rdbms 데이터-엔지니어링
이하윤
2023-06-14T13:29:10.598Z
댓글 1
좋아요 0
조회수 266
미해결
15일간의 빅데이터 파일럿 프로젝트
설치중 해당 오류가 발생합니다. 어떤게 원인일까요? 전에 꺼놨던 서비가 원인일까 전부 재기동해봤지만 동일하네요...
빅데이터 hadoop kafka zookeeper redis flume impala 데이터-엔지니어링
thejitae
2023-06-14T13:07:40.454Z
댓글 1
좋아요 0
조회수 371
