inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

묻고 답해요

173만명의 커뮤니티!! 함께 토론해봐요.

카프카에 잘못된 데이터를 보냈을 때 해결 방법이 궁금합니다

미해결

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

제가 처음에 json 파일을 아예 잘못된 형식으로 보내는 바람에 kafka sink connector가 fail 상태가 되었었습니다. 근데 문제는 이 상태에서 sink connector를 재실행을 해도 source connector랑 sink connector, topic까지 모두 새로 만들어도 계속해서 task에 잘못 요청한 데이터가 남아있어서 아무리 오랜 시간을 기다려도 계속해서 Exception이 발생한 상태가 되어 있습니다.. 결국 한참을 구글링하면서 찾아보다가 토픽 내에 있는 메세지를 삭제하는 방법을 찾아서 해결했습니다 ㅜㅜ 여기서 제가 궁금한 점은 source connector에 잘못된 정보를 보내는 바람에 sink connector가 먹통이 되어버리면 메세지나 토픽 자체를 수동으로 삭제해주는 것 외에는 방법이 없을까요? 구글을 찾아봐도 마땅한 방법을 찾지 못했습니다 이건 제가 카프카에 대해 아직 똑바로 이해하지 못해서 나온 질문인데, connector랑 topic까지 모두 따로 만들어도 하나의 sink에서 문제가 생기면 모든 커넥터가 정상적으로 동작하지 않는 게 원래 이런 게 맞는 건지 궁금합니다. 감사합니다.

  • spring-boot
  • jpa
  • spring-boot
  • spring-cloud
  • 아키텍처
  • spring-cloud
  • architecture
  • kafka
  • JPA
  • msa
  • Kafka
euni 댓글 1 좋아요 1 조회수 1018

파일들의 내용이 자꾸 과거로 돌아가는데 혹시 이런 현상 아시나요?

미해결

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

사용 환경은 맥, intellij입니다 spring config 시작한 뒤로 이러는데 yml파일이나 xml(메이븐)파일을 수정해놔도 어느 순간 이상해서 보면 수정 전으로 돌아가있습니다 ㅜㅜ 인텔리제이 캐시도 초기화해봤고 git에도 올려서 커밋까지 했는데 왜이러는지 모르겠어요.. 강의랑은 무관한 질문인 것 같아서 망설이다가 이것 때문에 전혀 진도를 나가지 못하고 있는 상황이라 여쭤봅니다 혹시 모르신다면 제가 알아서 잘 해결해보겠습니다! 불필요한 질문 드려 죄송합니다.

  • spring-boot
  • msa
  • jpa
  • Kafka
  • 아키텍처
  • architecture
  • spring-cloud
  • kafka
  • JPA
  • spring-boot
  • spring-cloud
euni 댓글 1 좋아요 0 조회수 514

클러스터 환경구성시 replication factor 1일때 메시지전송 관련 질문

미해결

카프카 완벽 가이드 - 코어편

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 강사님 공부하다가 궁금한게 생겨서 질문드립니다. 현재 클러스터 구성으로 실습을 진행중인데 broker 3개의 cluster에서 replication factor를 1로 설정하였습니다. 여기서 3번 브로커에 test라는 토픽을 생성후에 bootstrap-server 에 1,2번 서버를 넣고 토픽조회시 test 토픽이 조회가 되던데 복제본이 존재하지않는 상황에서 어떻게 조회가 되는건가요? 클러스터 구성시 자동으로 토픽을 공유하는건가요? 3번 브로커에 test라는 토픽을 생성하였고 복제본도 존재하지않고 리더파티션과 통신하는걸로 알고있는데 리더파티션이 3번에 존재함에도 불구하고 브로커 1번이나 2번을 기준으로 topic에 붙어서 producer에서 메시지가 보내지는 이유가 궁금합니다. 감사합니다.

  • kafka
  • Kafka
  • 데이터-엔지니어링
  • 데이터 엔지니어링
JoyNGain 댓글 1 좋아요 0 조회수 461

@RequiredArgConstructor를 붙이면 클래스 캐스트 예외가 발생하고 붙이지 않으면 발생하지 않습니다

미해결

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

저처럼 습관적으로 RequiredArgConstructor 붙이시다가 초반부터 못 넘어가는 분 계실까봐 글 남깁니다 생성자 따로 만들어도 저게 있으면 Enviroment만 있는 생성자로 빈을 만들기 때문에 계속 에러납니다.

  • spring-boot
  • jpa
  • architecture
  • 아키텍처
  • JPA
  • kafka
  • spring-cloud
  • msa
  • Kafka
euni 댓글 1 좋아요 0 조회수 407

다른서버를 사용하면 lb://MAIN-SERVICE가 작동을 안합니다

해결됨

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

예제를 따라하면서 API-GATEWAY와 EUREKA 는 LOCALHOST로 서버를 열고, MAIN-SERVICE라는 서비스만 AWS EC2에서 실행하였습니다. 직접 주소를 넣었을때는 잘 작동하는데 배운대로 lib://MAIN-SERVICE 의 형태로 하면 작동을 안합니다!.. 혹시 방법이 있을까요? 참고로 모든 서버를 LOCA에서 돌렸을때는 lib이 정상 작동 하였습니다

  • jpa
  • msa
  • Kafka
  • 아키텍처
  • spring-cloud
  • kafka
  • spring-boot
  • architecture
  • JPA
S-J L 댓글 1 좋아요 0 조회수 766

mysql.server start 명령어의 의미

미해결

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

따로 디비를 설치하는 것 없이 그냥 mariadb client를 주입받고 바로 해당 프로젝트에서 터미널로 mysql.server start 를 하셨는데요 이건 client를 주입받으면 해당 폴더에서 알아서 디비가 깔리는 구조인건가요?

  • jpa
  • spring-cloud
  • architecture
  • 아키텍처
  • JPA
  • kafka
  • spring-boot
  • Kafka
  • msa
  • mysql
코큐로큐 댓글 1 좋아요 0 조회수 877

MSA 각 서비스 분리시에, 공유되는 클래스는 어떻게?

해결됨

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

안녕하세요. 강의에서 , UserService 와 OrderService 가 서비스로 분리되어 있는 상태에서 UserService 에서 OrderService API 호출해서 데이터를 가져올때, ResponseOrder 클래스를 UserService 프로젝트안에 만드셨던데, 실제 현업에서는 ResponseOrder 를 UserService 와 OrderService 에 중복으로 클래스를 생성하지는 않을 거 같은데요. 서로 다른 프로젝트(UserService 와 OrderService) 에서 공유되는 클래스는 어떻게 관리를 해야하나요.. 프로젝트에 각각 중복해서 클래스를 만들어서 사용하나요?

  • spring-boot
  • jpa
  • Kafka
  • msa
  • 아키텍처
  • spring-cloud
  • kafka
  • architecture
  • JPA
  • spring-boot
tyjuniorleo 댓글 1 좋아요 1 조회수 562

127.0.0.1:8000/order-service/fcec75e5-6858-4112-8659-34000efd1988/orders

미해결

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

본 챕터 강의에 있는 모든 코드를 정상적으로 입력하였는데, 포스트맨으로 테스트시 에러가 발생합니다. --- 포스트맨 입력 값 --- POST 127.0.0.1:8000/order-service/fcec75e5-6858-4112-8659-34000efd1988/orders { "productId": "CATALOG-001", "qty": 10, "unitPrice": 1500 } --- 포스트맨 반환 값 --- { "timestamp": "2023-01-30T12:44:33.233+00:00", "status": 404, "error": "Not Found", "message": "No message available", "path": "/order-service/fcec75e5-6858-4112-8659-34000efd1988/orders" }

  • spring-boot
  • jpa
  • 아키텍처
  • spring-cloud
  • architecture
  • kafka
  • JPA
  • Kafka
  • msa
댓글 1 좋아요 0 조회수 511

docker 네트워크는 물리적으로 다른 ip에서도 연동가능한가요?

해결됨

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

안녕하세요 이 강의를 통해 처음으로 docker를 학습하고 있는 중인데, 궁금한게 있습니다. docker 네트워크를 사용해서 여러 컨테이너를 연결 할 수 있다고 하는데, 물리적으로 다른 아이피에 있는 컨테이너도 하나의 도커 네트워크로 연결 할 수 있는건가요? 이 예제를 학습해서 aws의 2개의 ec2에서 서비스를 분할하여 배포를 하고 싶은데, 이 네트워크 개념으로 가능한 일인지요?

  • spring-cloud
  • jpa
  • 아키텍처
  • JPA
  • architecture
  • kafka
  • spring-boot
  • Kafka
  • msa
S-J L 댓글 1 좋아요 0 조회수 922

실습하면서 문득 궁금해진점

미해결

15일간의 빅데이터 파일럿 프로젝트

안녕하세요. 강의를 들으며 jar 프로그램(자바 기반 프로그램)들이 플럼에 의존되는것을 확인할 수 있었는데, 이것을 파이썬 코드로 바꿔서 conf를 변경해도 동작이 되는걸까요?

  • 빅데이터
  • 데이터 엔지니어링
  • hadoop
  • kafka
  • Kafka
  • zookeeper
  • Impala
  • Flume
  • ZooKeeper
  • flume
  • impala
  • redis
  • 데이터-엔지니어링
  • bigdata
  • Hadoop
com.kdn3815 댓글 2 좋아요 0 조회수 475

윈도우 rabbitMQ 설치했는데 15672 접속이 안됩니다..

미해결

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

rabbitmq 정상적으로 실행은 되었는데 localhost:15672 접속하면 페이지가 안뜹니다.. 운영체제 window이고.. 도와주세요....!

  • architecture
  • jpa
  • 아키텍처
  • spring-cloud
  • spring-boot
  • kafka
  • JPA
  • Kafka
  • msa
S-J L 댓글 2 좋아요 2 조회수 2937

VT-x/AMD-V 하드웨어 가속을 사용할 수 없습니다.

미해결

15일간의 빅데이터 파일럿 프로젝트

가상머신을 돌리려는데 이런 오류가 뜹니다. "시스템에서 VT-x/AMD-V 하드웨어 가속을 사용할 수 없습니다. 64비트 게스트가 64비트 CPU를 인식할 수 없으며 부팅할 수 없을 것입니다." 혹시 해결하신분 계실까요?

  • 빅데이터
  • hadoop
  • bigdata
  • kafka
  • Hadoop
  • zookeeper
  • Kafka
  • Impala
  • flume
  • Flume
  • 데이터 엔지니어링
  • impala
  • redis
  • 데이터-엔지니어링
  • ZooKeeper
admin 댓글 1 좋아요 0 조회수 590

테스트 환경 관련 질문입니다.

미해결

카프카 완벽 가이드 - 코어편

안녕하세요 강사님. 유익한 강의 감사드립니다. 맥 M1 사용하고 있어, 해당 테스트 환경을 VM 우분트가 아닌 도커로 우분트 서버를 구성해서 진행해도 강의 내용 학습 및 테스트에 큰 무리가 없을까요?

  • kafka
  • Kafka
  • 데이터-엔지니어링
  • 데이터 엔지니어링
edu2 댓글 1 좋아요 1 조회수 564

비대칭키일 때 decrypt 질문입니다.

미해결

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

bootstrap.yml파일에는 암호화할 때 사용하는 개인키 위치만 알려줬는데 어떻게 복호화를 할 수 있는 건가요? 디렉토리에 공개키를 생성했다고는 하지만 yml파일에 위치를 설정하진 않았는데 어떻게 복호화를 할 수 있는지 궁금합니다.

  • jpa
  • JPA
  • spring-boot
  • 아키텍처
  • architecture
  • kafka
  • spring-cloud
  • Kafka
  • msa
코큐로큐 댓글 1 좋아요 0 조회수 595

강의 수강 연장 부탁드립니다

미해결

15일간의 빅데이터 파일럿 프로젝트

강사님 안녕하세요, 제가 대학원과 직장을 병행하다보니 강의를 신청해놓고 신경쓰지 못했습니다ㅠㅠ 연장해주신다면 꼭 완강하고싶습니다! 감사합니다, 새해복 많이받으세요!!!

  • 빅데이터
  • hadoop
  • bigdata
  • kafka
  • Hadoop
  • Flume
  • zookeeper
  • Impala
  • flume
  • 데이터 엔지니어링
  • impala
  • redis
  • ZooKeeper
  • 데이터-엔지니어링
  • Kafka
만두 댓글 1 좋아요 0 조회수 496

UserDto 의 pwd 값 관련

미해결

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

안녕하세요. 좋은강의 감사합니다. 다름이 아니라 강의에서 설명하실때는 getUserDetailsByEmail 메소드에서 UserEntity 를 UserDto로 맵핑할때 클라이언트가 입력한 password를 Spring Security 가 UserDto의 pwd 파라미터에 암호화하여 넣어준다는 식으로 말씀하신거 같습니다. @Override public UserDto getUserDetailsByEmail(String userName) { UserEntity userEntity = userRepository.findByEmail(userName); if(userEntity == null) throw new UsernameNotFoundException(userName); UserDto userDto = new ModelMapper().map(userEntity,UserDto.class); return userDto; 그게 아니라 단지, ModelMapper 에 STRICT 설정을 해주지 않아서 UserDto의 pwd와 encrytedpwd 값이 모두 UserEntity의 password 값으로 들어간게 아닌가 해서 질문드립니다.

  • JPA
  • architecture
  • spring-cloud
  • spring-boot
  • Kafka
  • msa
mindecco 댓글 2 좋아요 5 조회수 628

HttpTraceRepository를 찾을수가없는데 어떻게해야하나요

미해결

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

메이븐에 dependency추가해도 HttpTraceRepository를 찾을수없는데 어떻게 진행해야할까요?ㅜ

  • msa
  • Kafka
  • spring-cloud
  • spring-boot
  • JPA
  • architecture
미니리 댓글 2 좋아요 0 조회수 2357

카프카 Consumer 작동 에러 (p.134)

미해결

15일간의 빅데이터 파일럿 프로젝트

안녕하세요 수강 중 아래 실습 진행이 어려워 질문 드립니다. 수집 파일럿 실행 5단계에서 카프카 Consumer 작동 실습시 Resetting offset 문구가 뜨며 데이터 확인이 안됩니다. 시뮬레이터 재실행 및 스마트카 상태 정보 다시 옮겨 보았지만 안되었습니다. car-batch-log 를 확인했을때 위와 같이 뜨는데 상관없는지 궁금합니다. [오류문구] [root@server02 ~]# kafka-console-consumer --bootstrap-server server02.hadoop.com :9092 --topic SmartCar-Topic --partition 0 23/01/09 18:47:52 INFO utils.Log4jControllerRegistration$: Registered kafka:type =kafka.Log4jController MBean 23/01/09 18:47:52 INFO consumer.ConsumerConfig: ConsumerConfig values: auto.commit.interval.ms = 5000 auto.offset.reset = latest bootstrap.servers = [ server02.hadoop.com:9092 ] check.crcs = true client.dns.lookup = default client.id = connections.max.idle.ms = 540000 default.api.timeout.ms = 60000 enable.auto .commit = false exclude.internal.topics = true fetch.max.bytes = 52428800 fetch.max.wait.ms = 500 fetch.min.bytes = 1 group.id = console-consumer-96835 heartbeat.interval.ms = 3000 interceptor.classes = [] internal.leave.group .on.close = true isolation.level = read_uncommitted key.deserializer = class org.apache.kafka.common.serialization.ByteArray Deserializer max.partition.fetch.bytes = 1048576 max.poll.interval.ms = 300000 max.poll.records = 500 metadata.max.age.ms = 300000 metric.reporters = [] metrics.num.samples = 2 metrics.recording.level = INFO metrics.sample.window.ms = 30000 partition.assignment.strategy = [class org.apache.kafka.clients.consumer .RangeAssignor] receive.buffer.bytes = 65536 reconnect.backoff.max.ms = 1000 reconnect.backoff.ms = 50 request.timeout.ms = 30000 retry.backoff.ms = 100 sasl.client.callback.handler.class = null sasl.jaas.config = null sasl.kerberos.kinit.cmd = /usr/bin/kinit sasl.kerberos.min.time.before.relogin = 60000 sasl.kerberos.service.name = null sasl.kerberos.ticket.renew.jitter = 0.05 sasl.kerberos.ticket.renew.window.factor = 0.8 sasl.login.callback.handler.class = null sasl.login.class = null sasl.login.refresh.buffer.seconds = 300 sasl.login.refresh.min.period.seconds = 60 sasl.login.refresh.window.factor = 0.8 sasl.login.refresh.window.jitter = 0.05 sasl.mechanism = GSSAPI security.protocol = PLAINTEXT send.buffer.bytes = 131072 session.timeout.ms = 10000 ssl.cipher.suites = null ssl.enabled.protocols = [TLSv1.2, TLSv1.1, TLSv1] ssl.endpoint.identification.algorithm = null ssl.key.password = null ssl.keymanager.algorithm = SunX509 ssl.keystore.location = null ssl.keystore.password = null ssl.keystore.type = JKS ssl.protocol = TLS ssl.provider = null ssl.secure .random.implementation = null ssl.trustmanager.algorithm = PKIX ssl.truststore.location = null ssl.truststore.password = null ssl.truststore.type = JKS value.deserializer = class org.apache.kafka.common.serialization.ByteArr ayDeserializer 23/01/09 18:47:53 INFO utils.AppInfoParser: Kafka version: 2.2.1-cdh6.3.2 23/01/09 18:47:53 INFO utils.AppInfoParser: Kafka commitId: unknown 23/01/09 18:47:53 INFO consumer.KafkaConsumer: [Consumer clientId=consumer-1, gr oupId=console-consumer-96835] Subscribed to partition(s): SmartCar-Topic-0 23/01/09 18:47:53 INFO clients.Metadata: Cluster ID: AWKsMltnSBSo2f2sVF2P-g 23/01/09 18:47:53 INFO internals.Fetcher: [Consumer clientId=consumer-1, groupId =console-consumer-96835] Resetting offset for partition SmartCar-Topic-0 to offs et 14. 감사합니다.

  • Hadoop
  • bigdata
  • 데이터 엔지니어링
  • ZooKeeper
  • Impala
  • Flume
  • Kafka
  • redis
ldy242 댓글 2 좋아요 0 조회수 918

API Gateway를 통해 라우팅 시 user service로 전달되는 요청 url에 대해 질문 드립니다..!

미해결

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

안녕하세요 선생님 강의 정말 잘 듣고 있습니다..! 혹시 더 좋은 방법이 있을까 싶어 질문 드립니다. spring: application: name: api-gateway cloud: gateway: routes: - id: A uri: lb://USER-SERVICE predicates: -Path=/user-service/** 위와 같이 gateway 설정을 하게 되면, user service에도 /user-service/ 라는 path가 같이 합해져 요청 url로 전달되어, Controller의 /user, /health-check, /welcome 같은 매핑을 모두 /user-service/user, /user-service/health-check, /user-service/welcome 으로 변경하라고 말씀 주셨습니다 혹시 이렇게 컨트롤러의 매핑 정보를 변경하지 않고, api gateway 단에서 필터를 이용해 사용자 요청 url을 조작해서 라우팅 할 수 있는 방법이 있을까요..??

  • architecture
  • spring-boot
  • JPA
  • spring-cloud
  • Kafka
  • msa
qpal1zm23 댓글 1 좋아요 0 조회수 945

CCDAK 질문입니다!

해결됨

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

CCDAK를 취득하고자 하는데 혹시 강사님은 공부를 어떻게 하셨나요? 그리고 문제는 다 영어로 나오는지 궁금합니다!!!

  • Kafka
  • 데이터 엔지니어링
minsu 댓글 1 좋아요 0 조회수 1388

인기 태그

인프런 TOP Writers

주간 인기글