inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

묻고 답해요

176만명의 커뮤니티!! 함께 토론해봐요.

Debezium Source 에서 topic에 저장되는 UTC시간대 질문

미해결

카프카 완벽 가이드 - 커넥트(Connect) 편

안녕하세요. topic에 UTC 시간대로 저장되는 문제가 있습니다. 해결 접근방법에 조언을 듣고 싶습니다. Sink를 적용했을때 customers, products,order_items는 문제없이 적용되었으나 orders테이블의 timestamp타입의 order_datetime컬럼에 문제가 발생하여 SMT 옵션을 추가하다가 발견한 문제입니다. 결론적으로 mysql_cdc_oc_sink_orders_01.json에 "transforms": "ConvertDateTimeType", "transforms.ConvertDateTimeType.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value", "transforms.ConvertDateTimeType.target.type": "Timestamp", "transforms.ConvertDateTimeType.field": "order_datetime", "transforms.ConvertDateTimeType.format": "yyyy-MM-dd'T'HH:mm:ss'Z'", "transforms.ConvertDateTimeType.timezone": "Asia/Seoul" 위 옵션을 추가하여 sink로 저장을 해결하였으나 topic에 저장되는 시간이 다르게 저장되는것을 발견했습니다. source 데이터베이스에서는 2023-06-20 13:56:40 에 저장하였으나 sink 데이터베이스에서는 2023-06-20 04:56:40으로 저장되고 있었습니다. 이에 topic을 확인해보니 저장되는 시간대가 2023-06-20 04:56:40으로 topic에서부터 저장되는 값이 다른 것을 알 수 있었습니다. 따라서 source설정쪽이 문제일 것 같은데 "database.connectionTimeZone": "Asia/Seoul" 옵션을 넣었음에도 UTC로 적용되고있어 질문드립니다. 감사합니다. mysql_cdc_oc_source_01 . json { "name": "mysql_cdc_oc_source_01", "config": { "connector.class": "io.debezium.connector.mysql.MySqlConnector", "tasks.max": "1", "database.hostname": "192.168.56.101", "database.port": "3306", "database.user": "connect_dev", "database.password": "connect_dev", "database.server.id": "10001", "database.server.name": "mysql01", "database.include.list": "oc", "table.include.list": "oc.customers, oc.products, oc.orders, oc.order_items", "database.history.kafka.bootstrap.servers": "192.168.56.101:9092", "database.history.kafka.topic": "schema-changes.mysql.oc", "key.converter": "org.apache.kafka.connect.json.JsonConverter", "value.converter": "org.apache.kafka.connect.json.JsonConverter", "transforms": "unwrap", "transforms.unwrap.type": "io.debezium.transforms.ExtractNewRecordState", "transforms.unwrap.drop.tombstones": "false", "database.connectionTimeZone": "Asia/Seoul" } } MYSQL의 TIME_ZONE은 한국시간대입니다. mysql> select @@system_time_zone; +--------------------+ | @@system_time_zone | +--------------------+ | KST | +--------------------+

  • kafka
  • 데이터-엔지니어링
좋은 낙지 댓글 2 좋아요 0 조회수 1244

[질문 아님]

미해결

카프카 완벽 가이드 - 커넥트(Connect) 편

나름 대로 개인 프로젝트 만들어가는중입니다. 요 강의에서 Zookeeper과 Kafka 분리 설치 및 3노드 구성하여 클러스터 구축 완료... 제가 오라클 DBA 14년차이지만 이게 저랑 잘맞는거 같습니다. 좋은 강의 끝까지 열심히 들을게요 수고하세요~

  • kafka
  • 데이터-엔지니어링
김태완 댓글 1 좋아요 0 조회수 403

자바 클라이언트 메세지 전송 테스트 실패

미해결

카프카 완벽 가이드 - 코어편

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요. 자바 클라이언트에서 메세지 전송시 아래와 같은 오류가 발생합니다. 저는 m1 유저라 UTM으로 가상환경 구성하였고, 터미널에서 테스트시에는 이전 수업내용은 잘 작동하였는데, 자바클라이언트에서 오류가 발생하네요 어떻게 해결하면 좋을까요?

  • kafka
  • 데이터-엔지니어링
동그란 강아지 댓글 8 좋아요 0 조회수 1250

우지 설치중 오류 발생

미해결

15일간의 빅데이터 파일럿 프로젝트

설치중 해당 오류가 발생합니다. 어떤게 원인일까요? 전에 꺼놨던 서비가 원인일까 전부 재기동해봤지만 동일하네요...

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
thejitae 댓글 1 좋아요 0 조회수 377

강의를 다 듣고난 후 YAML 설정파일 관련 궁금한 부분이 있습니다.

미해결

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

각 마이크로서비스 내에서도 application.yml을 두고, config service으로 부터 읽어오는 설정파일을 지정할 수 있다는 부분을 강의를 통해 배웠습니다. 1) 제가 궁금한 부분은 애플리케이션 내부 설정파일과 config service가 읽어오는 설정파일에 적는 정보는 어떤 기준으로 나뉘나요? 즉, 어떠한 정보를 애플리케이션 내부 설정파일에 두며, 어떤한 정보는 애플리케이션 내부 보다는 config-service로 부터 읽어들이는 설정파일에 정보를 두게되는 기준이 있으실까요? 2) 또 다른 궁금점은 꼭 필요한 설정을 제외하고는 대부분의 설정 정보를 config-service로부터 읽어오는 설정파일에 넣어놔도 괜찮나요?? 감사합니다.

  • spring-boot
  • jpa
  • 아키텍처
  • spring-cloud
  • kafka
  • msa
lina 댓글 1 좋아요 0 조회수 366

카프카 클러스터 ID 충돌 이슈가 있습니다.

해결됨

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

처음에 강의를 보면서 주키퍼와 브로커를 띄우면 문제없이 실행되는데, 다음날 다시 실행하려고 하면 kafka.common.InconsistentClusterIdException: The Cluster ID 8Q9ArKFaQjG9sOAyuBI3DQ doesn't match stored clusterId Some(golWFU1QQCWt7dC6LX9zhw) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong. 위와 같은 메시지가 뜨면서 브로커가 실행을 못합니다. data 디렉토리에 생성된 meta.properties를 삭제하고 다시 실행하면 문제없이 동작하는데, 번거롭기도 하고, 실제로도 이렇게 사용하는게 맞는건가 하는 의문도 드네요. 해당 부분에 대해 조언 좀 부탁드리겠습니다. :)

  • kafka
  • 데이터-엔지니어링
Charlie Chaplin 댓글 2 좋아요 1 조회수 1834

docker-compose 파일 재시작 시 group_1: partitions assigned: []

해결됨

실습으로 배우는 선착순 이벤트 시스템

도커 컴포즈 재시작시 consumer 서버 실행시킬때마다 가끔 partition이 할당되지 않는 경우가 생겨 테스트코드가 실패하는 경우가 생기는데요 해당 에러를 consumer서버 재시작을 통해 해결하고 있습니다. 할당을 받지 못하면 어떤식으로 해결하는 것이 좋은지 자문을 구하고 싶습니다.

  • java
  • docker
  • spring-boot
  • kafka
  • redis
JS Lee 댓글 2 좋아요 0 조회수 514

addShutdownHook() 과 mainThread.join()

미해결

카프카 완벽 가이드 - 코어편

안녕하세요! 설명을 너무 잘 해주셔서 유익하게 잘 듣고 있습니다 ㅎㅎ Wakeup을 이용하여 Consumer를 효과적으로 종료하기 부분에서 질문이 있는데요, 프로그램이 종료되는 시점에 새로운 쓰레드를 만들어 실행하는 함수인 addShutdownHook() 안에 mainThread.join() 부분이 잘 이해되지 않습니다. 새로운 스레드가 ConsumerNetworkClient의 wakeup을 부르고 메인 스레드가 종료될 때까지 기다려야 해서 mainThread.join()을 부른다고 하셨는데, 메인 스레드의 종료 절차(메모리 정리 등?)를 마칠 때까지 기다린다는 의미가 맞을까요? addShutdownHook() 함수가 프로그램이 종료될때 실행되는 함수인데 그 안에 종료를 기다리는 함수가 또 들어있어 헷갈렸습니다. 그리고 만약 mainThread.join()이 메인 스레드가 종료를 마칠 때까지 기다리는 게 맞다면, mainThead.join()을 먼저 부르고 kafkaConsumer.wakeup()을 이후에 호출해도 문제가 없는지도 궁금합니다~

  • kafka
  • 데이터-엔지니어링
최진 댓글 1 좋아요 0 조회수 549

Kafka port 9092 already in use 문제

미해결

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

안녕하세요 zookeeper 실행 완료하고 이제 마지막으로 Kafka 를 실행하면 완료 되는데요. (이미지 안보이시면 ㅠ,ㅠ https://cdn.inflearn.com/public/files/posts/769307aa-6074-40cd-9d9d-94ffb82f7508/cccccc.PNG ) 기본 default port 가 9092 설정된 상태에서 실행하면 이미 사용된 포트라고 에러가 발생 됩니다. 혹시나 해서 9093 으로 설정해도 문제가 발생되네요... 참고로 꼭!! 9092 포트로 설정하고 프로세스 올리고 싶습니다 ㅠ,.ㅠ 그래서 혹시 9092 포트가 사용되고 있나 netstat -ano | findstr :9093 명령어 통해 확인을 해도 사용하는 포트가 없다고 나오는데요... 무슨 문제일까요?... 참고로 OS는 윈도우 입니다.

  • kafka
  • 데이터-엔지니어링
리나 댓글 1 좋아요 0 조회수 975

Coupon 도메인 중복

해결됨

실습으로 배우는 선착순 이벤트 시스템

안녕하세요. 좋은 강의 항상 감사드립니다. Coupon 도메인 중복 관련해서 질문이 있습니다. consume 모듈을 새로 생성하면서 Coupon 도메인을 api 모듈에서 복붙을 하셨는데요. gradle 멀티 모듈을 만들 때 부모/자식 관계로 만들면 Coupon 도메인을 중복되지 않게 사용할 수 있을 것 같은데 강의에서는 시간상 패스한 것인가요?

  • java
  • docker
  • spring-boot
  • kafka
  • redis
kekekiki 댓글 1 좋아요 0 조회수 794

Kafka 등의 메시지 브로커를 사용하는 이유에 대해 질문있습니다!

미해결

실습으로 배우는 선착순 이벤트 시스템

안녕하세요, 좋은 강의 올려주셔서 잘 배우고 있습니다 :) 강의에서 Kafka 도입 이유에 대한 궁금증이 생겨 질문 드립니다. 'Redis를 활용하여 문제 해결하기' - '문제점' 강의에서 해당 쿠폰 API에 요청이 몰리면 DB 서버에 부하가 갈 수 있다고 설명해주셨는데요. 그 해결방법으로 Kafka를 사용하셨고 API에서 직접 쿠폰을 생성할 때와 다르게 처리량을 조절해서 부하를 줄일 수 있다고 하였습니다. 이 내용 중 "처리량을 조절한다"는 의미는 어떻게 이해하면 좋을까요? 컨슈머 애플리케이션에서 처리량을 조절하는 로직을 추가하여 RDB 부하를 분산시키는 걸까요? 혹은 카프카에서 그러한 기능을 지원하는 걸까요? 혹은 마지막 강의에 있는 에러를 발생했을 때, 백업 데이터를 통해 실패 처리를 하는 경우에 대한 이야기일까요?

  • java
  • docker
  • spring-boot
  • kafka
  • redis
ep 댓글 2 좋아요 0 조회수 1399

고사양 환경에서 초기에 cloudera는 꺼져 있는 상태인가요?

미해결

15일간의 빅데이터 파일럿 프로젝트

만약 그렇다면 켜서 설치되어 있는 것들과 강의를 보면서 설정값들을 확인해 보고 싶은데 어떻게 하는지 모르습니다. 공식문서도 어딜 봐야 할 지 모르겠어서요. 파일럿 프로젝트 진행하는 데에는 아무 문제가 없다는 걸 알지만 그래도 하나씩 짚어보고 싶어요.

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
thejitae 댓글 1 좋아요 0 조회수 518

영상처럼 해보는데 JAVA부분이 안보여요

미해결

15일간의 빅데이터 파일럿 프로젝트

영상처럼 호스트 이름을 입력하면 아래에 체크박스가 체크할수 없게 되어있고 그전 영상처럼 현재 관리되는 호스트를 클릭하면 JDK나 SSH 로그인 정보를 제공합니다. 라는 구간이 스킵이 되는데 현재 관리되는 호스트로 진행해도 아무 문제 없을까요?

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
thejitae 댓글 1 좋아요 0 조회수 428

카프카 컨슈머 그룹에 대하여

미해결

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

카프카 컨슈머 그룹을 공부하면서 어플리케이션을 만들다가 질문이 있어 글을 썼습니다. 컨슈머 그룹 안에 여러개의 컨슈머들이 있고 그 컨슈머들이 토픽 안에 있는 파티션어 각각 붙어서 저장되어 있는 메세지를 받아오고 그 각각의 컨슈머들의 로직은 같다고 하셨는데 그러면 컨슈머 어플리케이션은 그 갯수만큼 서버에 올려서 만들어줘야 하나요?

  • kafka
  • 데이터-엔지니어링
칼리반 댓글 2 좋아요 0 조회수 463

고사양 VM3 수업자료는 어디까지 설치되어 있는 상태인가요?

미해결

15일간의 빅데이터 파일럿 프로젝트

저사양 자료를 받아서 Cluster 1 구성을 하다가 지우고 고사양 자료를 받아서 Cloudera의 클러스터를 구성하려고 보니 이미 Cluster 1이 존재한다고 해서 server01.hadoop.com/cmf 에 접속해 봤더니 컴포넌트들까지 Cluster 1이른 이름으로 모두 설치되어 있는 것처럼 보입니다. 고사양 자료를 받은 경우 어디서부터 제가 직접 수업을 들으며 따라 해야 할 지 모르겠습니다.

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
thejitae 댓글 1 좋아요 0 조회수 499

No suitable driver 나오시는 분들

미해결

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

https://repo1.maven.org/maven2/com/mysql/mysql-connector-j/8.0.33/mysql-connector-j-8.0.33.jar 제 경우 mariadb 커넥터 대신 mysql 커넥터 사용해서 해결했습니다. (... confluentXXX/share/java/kafka 폴더에 위치) 정말.. 하루종일 아래 예외로 애먹었네여.. Error while starting connector ... No suitable driver found for jdbc:mysql:// localhost:3307/mydb mariadb 버전별 커넥터를 5개정도 해봐도 안되어서 자포자기한 채로 mysql 커넥터를 사용하니 되었습니다 ㅠㅠ 자세한 버전 정보입니다. (윈도우) kafka : 2.13-3.4.0 kafka-connect-jdbc : 10.7.2 confluent : 7.4.0 mariaDB : 10.11 java : 17 설정 정보입니다. confluent/etc/kafka/connect-distributed.properties 89번 행 근처 plugin.path=\C:\\Work\\confluentinc-kafka-connect-jdbc-10.7.2\\lib confluent/bin/windows/kafka-run-class.bat 97번 행 근처 rem classpath addition for LSB style path if exist "%BASE_DIR%\share\java\kafka\*" ( call :concat "%BASE_DIR%\share\java\kafka\*" ) (...) 122번 행 근처 rem Log4j settings IF ["%KAFKA_LOG4J_OPTS%"] EQU [""] ( if exist %~dp0../../etc/kafka/tools-log4j.properties ( set KAFKA_LOG4J_OPTS=-Dlog4j.configuration=file:%~dp0../../etc/kafka/tools-log4j.properties ) else ( set KAFKA_LOG4J_OPTS=-Dlog4j.configuration=file:%BASE_DIR%/etc/kafka/tools-log4j.properties ) ) ELSE ( rem create logs directory IF not exist "%LOG_DIR%" ( mkdir "%LOG_DIR%" ) set KAFKA_LOG4J_OPTS=-Dlog4j.configuration=file:%~dp0../../etc/kafka/tools-log4j.properties ) confluent/bin/windows/connect-distributed.bat 28번 행 근처 rem Log4j settings IF ["%KAFKA_LOG4J_OPTS%"] EQU [""] ( set KAFKA_LOG4J_OPTS=-Dlog4j.configuration=file:%BASE_DIR%/etc/kafka/connect-log4j.properties -Dlog4j.config.dir=%BASE_DIR%/etc/kafka ) POST Request { "name":"my-source-connect", "config":{ "connector.class" : "io.confluent.connect.jdbc.JdbcSourceConnector", "connection.url":"jdbc:mysql://localhost:3307/mydb", "connection.user":"root", "connection.password":"1234", "mode":"incrementing", "incrementing.column.name":"id", "table.whitelist":"users", "topic.prefix":"my_topic_", "tasks.max":"1" } }

  • spring-boot
  • jpa
  • 아키텍처
  • spring-cloud
  • kafka
  • msa
댓글 2 좋아요 3 조회수 7140

Kernel panic - not syncing : Fatal exception

미해결

15일간의 빅데이터 파일럿 프로젝트

[4. VM 통합 환경 구성]에서 헤매고 있습니다. Windows11에서 보안 상의 이유로 VirtualBox 5.x 버전을 설치할 수 없다고 하여 6.1 버전을 설치하여 사용하고 있습니다. 다음은 Server01, Server02의 설정값입니다. 네트워크 어댑터1 NAT 네트워크 (강의와 같은 NatNetwork 10.0.2.0/24) 네트워크 어댑터2 호스트 전용 어댑터 (6.1버전이라서 [파일-호스트 네트워크 관리자]에서 강의와 같이 설정)

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
thejitae 댓글 1 좋아요 0 조회수 1419

kafka connector mysql 연결 오류

미해결

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

kafka connector mysql 연결 부분에서 오류가 납니다 mac m1 환경인데 구글링해도 이유를 모르겠어서 질문 남깁니다

  • spring-boot
  • jpa
  • 아키텍처
  • spring-cloud
  • kafka
  • msa
asdfjkl 댓글 1 좋아요 0 조회수 481

flask에서 API호출 에러

미해결

15일간의 빅데이터 파일럿 프로젝트

안녕하세요~선생님, 마지막 수업 " 3.텐서플로를 이용한 신경망 분석 - 스마트카 이상징후 판별 4" 에서 다음과 같은 크롬에서 API호출 에러가 발생합니다. Anaconda prompt에는 정상적으로 실행이 되는데 API호출 변수에 이상이 있는 것 같습니다. API호출 함수를 아래와 같이 두 가지로 해보았으나 같은 에러가 발생합니다. (1)127.0.0.1:9001/smartcar/predict?wea=2&temp=0&hum=1& arrOthCar =2& time =0&acciArea=1&drvCond=1&innCond=2&carSpd=2&steeAng=0 (2)127.0.0.1:9001/smartcar/predict?wea=2&temp=0&hum=1& arrCar =2& timeSlot =0&acciArea=1&drvCond=1&innCond=2&carSpd=2&steeAng=0 감사합니다~

  • 빅데이터
  • hadoop
  • kafka
  • zookeeper
  • redis
  • flume
  • impala
  • 데이터-엔지니어링
candyclara 댓글 8 좋아요 0 조회수 1143

busrefresh 요청 시 rabbitmq 큐 처리

미해결

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

안녕하세요 테스트를 하면서 찾아봐도 해당 부분에 대한 의문이 해결되지 않아서 문의 드립니다. 예를 들어 3대의 서버에 spring event bus를 구성한 후 1번 서버에서 busrefresh를 요청하면 3대 서버에서 refresh가 정상적으로 처리가 되는건 확인했는데 rabbitmq에서 큐를 확인해보면 busrefresh를 요청한 1번 큐에는 메시지가 없고 2번, 3번 서버에서는 큐 메시지가 들어오는데.. 1번에서는 busrefresh 요청을 받기 때문에 큐 메시지 없이 처리가 가능하기 때문에 큐에서 제외되는건가요? 제가 확인한 내용이 맞다면 rabbmit exchange에서 topic으로 패턴 매칭되서 모든 큐에 메시지를 넣을 거 같은데..어떻게 자신의 큐만 제외시키는지 궁금합니다.

  • spring-boot
  • jpa
  • 아키텍처
  • spring-cloud
  • kafka
  • msa
jhlim 댓글 2 좋아요 0 조회수 650

인기 태그

인프런 TOP Writers

주간 인기글