inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

묻고 답해요

176만명의 커뮤니티!! 함께 토론해봐요.

카프카 Consumer 작동 에러 (p.134)

미해결

15일간의 빅데이터 파일럿 프로젝트

안녕하세요 수강 중 아래 실습 진행이 어려워 질문 드립니다. 수집 파일럿 실행 5단계에서 카프카 Consumer 작동 실습시 Resetting offset 문구가 뜨며 데이터 확인이 안됩니다. 시뮬레이터 재실행 및 스마트카 상태 정보 다시 옮겨 보았지만 안되었습니다. car-batch-log 를 확인했을때 위와 같이 뜨는데 상관없는지 궁금합니다. [오류문구] [root@server02 ~]# kafka-console-consumer --bootstrap-server server02.hadoop.com :9092 --topic SmartCar-Topic --partition 0 23/01/09 18:47:52 INFO utils.Log4jControllerRegistration$: Registered kafka:type =kafka.Log4jController MBean 23/01/09 18:47:52 INFO consumer.ConsumerConfig: ConsumerConfig values: auto.commit.interval.ms = 5000 auto.offset.reset = latest bootstrap.servers = [ server02.hadoop.com:9092 ] check.crcs = true client.dns.lookup = default client.id = connections.max.idle.ms = 540000 default.api.timeout.ms = 60000 enable.auto .commit = false exclude.internal.topics = true fetch.max.bytes = 52428800 fetch.max.wait.ms = 500 fetch.min.bytes = 1 group.id = console-consumer-96835 heartbeat.interval.ms = 3000 interceptor.classes = [] internal.leave.group .on.close = true isolation.level = read_uncommitted key.deserializer = class org.apache.kafka.common.serialization.ByteArray Deserializer max.partition.fetch.bytes = 1048576 max.poll.interval.ms = 300000 max.poll.records = 500 metadata.max.age.ms = 300000 metric.reporters = [] metrics.num.samples = 2 metrics.recording.level = INFO metrics.sample.window.ms = 30000 partition.assignment.strategy = [class org.apache.kafka.clients.consumer .RangeAssignor] receive.buffer.bytes = 65536 reconnect.backoff.max.ms = 1000 reconnect.backoff.ms = 50 request.timeout.ms = 30000 retry.backoff.ms = 100 sasl.client.callback.handler.class = null sasl.jaas.config = null sasl.kerberos.kinit.cmd = /usr/bin/kinit sasl.kerberos.min.time.before.relogin = 60000 sasl.kerberos.service.name = null sasl.kerberos.ticket.renew.jitter = 0.05 sasl.kerberos.ticket.renew.window.factor = 0.8 sasl.login.callback.handler.class = null sasl.login.class = null sasl.login.refresh.buffer.seconds = 300 sasl.login.refresh.min.period.seconds = 60 sasl.login.refresh.window.factor = 0.8 sasl.login.refresh.window.jitter = 0.05 sasl.mechanism = GSSAPI security.protocol = PLAINTEXT send.buffer.bytes = 131072 session.timeout.ms = 10000 ssl.cipher.suites = null ssl.enabled.protocols = [TLSv1.2, TLSv1.1, TLSv1] ssl.endpoint.identification.algorithm = null ssl.key.password = null ssl.keymanager.algorithm = SunX509 ssl.keystore.location = null ssl.keystore.password = null ssl.keystore.type = JKS ssl.protocol = TLS ssl.provider = null ssl.secure .random.implementation = null ssl.trustmanager.algorithm = PKIX ssl.truststore.location = null ssl.truststore.password = null ssl.truststore.type = JKS value.deserializer = class org.apache.kafka.common.serialization.ByteArr ayDeserializer 23/01/09 18:47:53 INFO utils.AppInfoParser: Kafka version: 2.2.1-cdh6.3.2 23/01/09 18:47:53 INFO utils.AppInfoParser: Kafka commitId: unknown 23/01/09 18:47:53 INFO consumer.KafkaConsumer: [Consumer clientId=consumer-1, gr oupId=console-consumer-96835] Subscribed to partition(s): SmartCar-Topic-0 23/01/09 18:47:53 INFO clients.Metadata: Cluster ID: AWKsMltnSBSo2f2sVF2P-g 23/01/09 18:47:53 INFO internals.Fetcher: [Consumer clientId=consumer-1, groupId =console-consumer-96835] Resetting offset for partition SmartCar-Topic-0 to offs et 14. 감사합니다.

  • Hadoop
  • bigdata
  • 데이터 엔지니어링
  • ZooKeeper
  • Impala
  • Flume
  • Kafka
  • redis
ldy242 댓글 2 좋아요 0 조회수 932

가상머신 로그인 콘솔 창 문제

해결됨

15일간의 빅데이터 파일럿 프로젝트

안녕하세요, 15일간의 빅데이터 파일럿 프로젝트 강의 수강생입니다. 유익한 강의 감사합니다. 설명을 잘해주셔서 큰 어려움 없이 듣고 있습니다. 다만, VM 환경 구성 중 로그인 관련 문제 가 생겨서 질문드립니다. Server01과 Server02 에서 모두 로그인을 요청 하고 있으며, 다음 단계 로 진행할 수 없습니다. 윈도우11 PC에서 Virtual Box 버전은 VirtualBox 6.1.40 입니다. 강의와 동일한 5 버전이 지원되지 않아서 가장 가까운 6.1.40 버전 과 최신 7 버전 으로 설치했습니다. C, D 드라이브 용량은 200GB 이상 여유공간이 있으며, SSD입니다. 아래는 과거 게시판 질문 답변과 구글링을 바탕으로 시도한 방법입니다. Virtual Box 삭제 및 설치 - 6, 7 버전 모두 시도 / Server01, Server02 파일 재다운로드 -> Host-Only Ethernet Adapter를 찾지 못하는 경우가 있었으나, Virtual Box의 Host-Only Ethernet Adapter 재설정 후 접속해도 로그인창이 나왔습니다. Host-Only Ethernet Adapter 에러 Failed to open/create the internal network 'HostInterfaceNetworking-VirtualBox Host-Only Ethernet Adapter' (VERR_INTNET_FLT_IF_NOT_FOUND). Failed to attach the network LUN (VERR_INTNET_FLT_IF_NOT_FOUND). 결과 코드: E_FAIL (0x80004005) 구성 요소: ConsoleWrap 인터페이스: IConsole {872da645-4a9b-1727-bee2-5585105b9eed} -> 해당 에러는 새로운 Host-Only Ethernet Adapter를 추가하여 해결되었습니다. ->Server02, 01 순서로 실행하고, 각각 하나씩 실행도 했습니다. 윈도우 제어판 Host-Only Ethernet Adapter 설정 -> 윈도우 제어판 네트워크 설정에서 Host-Only Ethernet Adapter 사용 안함으로 설정하고, 재설치하였으나 로그인창 문제가 해결되지 않았습니다. 현재 Virtual Box 네트워크 환경 설정입니다. 관련이 있는지는 모르겠지만, VBoxNetDHCP 프로세스 종료 후에도 진행하였으나 동일한 현상이 발생했습니다. 해당 문제를 해결할 방법 또는 추가로 시도할 방법이 있을까요? 답변 기다리겠습니다. 감사합니다.

  • Hadoop
  • bigdata
  • Impala
  • Kafka
  • redis
  • 데이터 엔지니어링
  • ZooKeeper
  • Flume
드인 댓글 1 좋아요 1 조회수 532

부록_실무로 배우는 빅데이터 기술-확장하기(유튜브 강의)

미해결

15일간의 빅데이터 파일럿 프로젝트

부록_실무로 배우는 빅데이터 기술-확장하기(유튜브 강의) 강의 교안 PPT를 받고 싶습니다 제공 가능한지 문의드립니다

  • Hadoop
  • bigdata
  • 데이터 엔지니어링
  • Impala
  • Flume
  • Kafka
  • redis
  • ZooKeeper
댓글 1 좋아요 0 조회수 596

zeppelin 오류

미해결

15일간의 빅데이터 파일럿 프로젝트

안녕하세요! 좋은 강의 잘 보고 있습니다~ 제플린 파트에서 다음과 같은 오류를 만나게되었는데 혹시 제가 놓친 부분이 있을까요?? 오류 메세지만으로는 알기가 좀 어렵네요 ㅠ 작성 내용은 예제 소스에서 biz_date 부분만 바꾸었습니다.

  • bigdata
  • Hadoop
  • redis
  • ZooKeeper
  • Kafka
  • 데이터 엔지니어링
  • Flume
  • Impala
엄창용 댓글 2 좋아요 1 조회수 680

redis helm chart 6.2.5 bitnami 관련

미해결

대세는 쿠버네티스 (Helm편)

안녕하세요.. 늦었지만, 새해 복많이 받으세요 제가 정확한 질문을 하고 있는지 의문이 들지만, 좀 이유를 알고 싶어서요.. bitnami에서 작성한 redis(6.2.5-debian-10-r34)를 보고 있는데 생성된 pod의 시간이 좀 달라서, 고쳐보려고 timezone과 관련한 부분을 vvolumemount를 하려고 하는데 pod를 yaml을 작성하는데가 없어보여서, 추가를 어떻게 해야할 지 모르겠네요 #registry: docker.io #repository: bitnami/redis #tag: 6.2.5-debian-10-r34 ## Specify a imagePullPolicy master: initContainers: - name: redis volumeMounts: - name: tz-config mountPath: /etc/localtime extraVolumes: - name: tz-config hostPath: path: /usr/share/zoneinfo/Asia/Seoul extraVolumeMounts: - name: tz-config mountPath: /etc/localtime 이렇게 추가를 하면 master pod가 사라져서 어떻게 해야할지 모르겠네요..

  • redis
  • kubernetes
jaecheon.jeong 댓글 1 좋아요 1 조회수 549

mac으로 진행해도 큰 문제 없을까요?

미해결

15일간의 빅데이터 파일럿 프로젝트

Mac으로 환경 구성 하려고 하는데 앞으로 수업 내용들이 전부 Window 기준으로 되어있다고 하셔서, mac 사용시 혹시 크게 불편한 부분이 있나요?

  • mac
  • redis
  • Flume
  • Impala
  • 데이터 엔지니어링
  • Kafka
  • ZooKeeper
  • bigdata
  • Hadoop
댓글 1 좋아요 0 조회수 367

카프카 아키텍처 (3/3) 질문

해결됨

15일간의 빅데이터 파일럿 프로젝트

멀티 브로커(Broker1, Broker2)와 Multi Node를 가지는 아키텍처에 대해서 설명해주셨는데요. 중간에 각 Broker에 있는 Topic들을 하나도 묶을 수 있다는 내용이 있는데 정확히 어떤 의미인가요? Broker들끼리 서로 데이터를 공유한다는 말인가요? Consumer 1과 Consumer2가 같은 저장소를 바라본다는 말씀이 Node 1에 접근하더라도 Node 2에 있는 데이터에 접근 할 수 있다는 의미인가요?

  • Hadoop
  • bigdata
  • 데이터 엔지니어링
  • redis
  • Kafka
  • ZooKeeper
  • Flume
  • Impala
김주영 댓글 1 좋아요 0 조회수 279

virtualbox error

해결됨

15일간의 빅데이터 파일럿 프로젝트

vitualbox 최신 버전으로 설치하고 강의에 나와있는 부분을 따라서 실행하다가 클러스터 설치 중 다음과 같은 에러가 발생합니다. vitualbox 다른 버전으로 설치하면 아예 실행도 안됩니다. (강의자료 19페이지 수행 중 에러 발생)

  • bigdata
  • Hadoop
  • Kafka
  • redis
  • Flume
  • 데이터 엔지니어링
  • Impala
  • ZooKeeper
김주영 댓글 1 좋아요 0 조회수 380

java 버전 선택 관련 질문

해결됨

15일간의 빅데이터 파일럿 프로젝트

1. java 버전으로 1.8을 설치한다고 하셨는데 1.8로 설치하는 이유를 알고 싶습니다. 2. 환경 변수에 이미 JAVA_HOME이 있으면 어떻게 해야하나요? 3. 이클립스 installer를 다운받고 실행했더니 다음과 같이 뜨는데 어떤 것을 설치해야하나요 4. vitualbox download 하는 부분에서 no longer supported라고 명시되어있음에도 다운받아서 사용하는 이유를 알고 싶습니다. 5. 파일질라를 사용하는 대신에 scp 나 rsync 명령어를 사용하여 진행할 수 있을까요

  • java
  • bigdata
  • Hadoop
  • 데이터 엔지니어링
  • Impala
  • ZooKeeper
  • Kafka
  • Flume
  • redis
김주영 댓글 1 좋아요 0 조회수 646

접근제어 보안 구조관련 질문

해결됨

15일간의 빅데이터 파일럿 프로젝트

아파치센트리의 경우 중앙에 서버를 두고 주변 노드들에게 접근 권한을 주는 것으로 이해를 했는데 커베로스는 클라이언트마다 서버를 따로따로 두는 것인가요? 커베로스도 KDC를 하나 두고 각 클라이언트들이 인증을 요청해서 티켓을 받는 방식인가요? 아, 아파치 센트리에서는 노드들에게 센트리 에이전트를 설치하는 대신 커베로스에서는 인증 요청하는 방식으로 진행되는 것인가요?

  • 아파치센트리
  • 커베로스
  • bigdata
  • Hadoop
  • 데이터 엔지니어링
  • redis
  • ZooKeeper
  • Flume
  • Impala
  • Kafka
김주영 댓글 1 좋아요 1 조회수 377

tail -f flume~ 오류

미해결

15일간의 빅데이터 파일럿 프로젝트

[root@server02 flume-ng]# tail -f flume-cmf-flume-AGENT-server02.hadoop.com.log value.serializer = class org.apache.kafka.common.serialization.ByteArray Serializer INFO org.eclipse.jetty.server.Server: jetty-9.3.25.v2018 0904, build timestamp: 2018-09-05T06:11:46+09:00, git hash: 3ce520221d0240229c86 2b122d2b06c12a625732 INFO org.eclipse.jetty.server.AbstractConnector: Started ServerConnector@470d2611{HTTP/1.1,[http/1.1]}{0.0.0.0:41414} INFO org.eclipse.jetty.server.Server: Started @5342ms INFO org.apache.kafka.common.utils.AppInfoParser: Kafka version: 2.2.1-cdh6.3.2 INFO org.apache.kafka.common.utils.AppInfoParser: Kafka commitId: null INFO org.apache.flume.instrumentation.MonitoredCounterGr oup: Monitored counter group for type: SINK, name: DriverCarInfo_KafkaSink: Succ essfully registered new MBean. INFO org.apache.flume.instrumentation.MonitoredCounterGr oup: Component type: SINK, name: DriverCarInfo_KafkaSink started INFO org.apache.kafka.clients.Metadata: Cluster ID: lhtw uwZxS2CI85Bn_v6BuQ 재시작 했는데도 안되네요 ㅠㅠ 문제점이 무엇일까요?

  • Hadoop
  • bigdata
  • ZooKeeper
  • Impala
  • Kafka
  • Flume
  • redis
  • 데이터 엔지니어링
코드몽키 댓글 2 좋아요 0 조회수 549

yum install 에러 질문입니다.

미해결

15일간의 빅데이터 파일럿 프로젝트

yum install -y gcc* 공지에 있는대로 한 후에는 다음과 같은 에러가 납니다.. 답변 부탁드립니다. [root@server02 ~]# yum install -y gcc* Loaded plugins: fastestmirror, refresh-packagekit, security Setting up Install Process Loading mirror speeds from cached hostfile http://vault.centos.org/6.10/os/x86_64/repodata/repomd.xml: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. It was impossible to connect to the Red Hat servers. This could mean a connectivity issue in your environment, such as the requirement to configure a proxy, or a transparent proxy that tampers with TLS security, or an incorrect system clock. Please collect information about the specific failure that occurs in your environment, using the instructions in: https://access.redhat.com/solutions/1527033 and open a ticket with Red Hat Support. http://vault.centos.org/6.10/extras/x86_64/repodata/repomd.xml: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. http://vault.centos.org/6.10/updates/x86_64/repodata/repomd.xml: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. Resolving Dependencies --> Running transaction check ---> Package gcc.x86_64 0:4.4.7-23.el6 will be installed --> Processing Dependency: cpp = 4.4.7-23.el6 for package: gcc-4.4.7-23.el6.x86_64 --> Processing Dependency: cloog-ppl >= 0.15 for package: gcc-4.4.7-23.el6.x86_64 ---> Package gcc-c++.x86_64 0:4.4.7-23.el6 will be installed --> Processing Dependency: libstdc++-devel = 4.4.7-23.el6 for package: gcc-c++-4.4.7-23.el6.x86_64 --> Processing Dependency: libmpfr.so.1()(64bit) for package: gcc-c++-4.4.7-23.el6.x86_64 ---> Package gcc-gfortran.x86_64 0:4.4.7-23.el6 will be installed ---> Package gcc-gnat.x86_64 0:4.4.7-23.el6 will be installed --> Processing Dependency: libgnat-devel = 4.4.7-23.el6 for package: gcc-gnat-4.4.7-23.el6.x86_64 --> Processing Dependency: libgnat = 4.4.7-23.el6 for package: gcc-gnat-4.4.7-23.el6.x86_64 ---> Package gcc-java.x86_64 0:4.4.7-23.el6 will be installed http://vault.centos.org/6.10/os/x86_64/repodata/5f7694d9c6c4a41dee56f51a965c3426ae2f685d6a9fb99d2e5a255c7bec0864-filelists.sqlite.bz2: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. Error: failure: repodata/5f7694d9c6c4a41dee56f51a965c3426ae2f685d6a9fb99d2e5a255c7bec0864-filelists.sqlite.bz2 from base: [Errno 256] No more mirrors to try.

  • Kafka
  • ZooKeeper
  • redis
  • Impala
  • 데이터 엔지니어링
  • Flume
  • bigdata
  • Hadoop
강한 도마뱀 댓글 2 좋아요 0 조회수 3548

zookeeper오류...

미해결

15일간의 빅데이터 파일럿 프로젝트

2021-07-11 17:25:26,567 [myid:] - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread@1118] - Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error) 2021-07-11 17:25:26,568 [myid:] - WARN [main-SendThread(localhost:2181):ClientCnxn$SendThread@1245] - Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect java.net.ConnectException: Connection refused at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:350) at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1224) putty에서 zookeeper-client를 실행시키면 자꾸 반복되서 나오는데 무슨 오류일까요... 구글링을 통해 해결하려는데 쉽지 않아서 여쭤봅니다 ㅠㅠ...

  • bigdata
  • Hadoop
  • Kafka
  • Flume
  • 데이터 엔지니어링
  • ZooKeeper
  • Impala
  • redis
흰색남자 댓글 1 좋아요 0 조회수 3044

redis와 nodejs 관련해서 강의가 있을까요?

미해결

nodeJS 와 Redis 대규모 서비스를 통한 예제가 있을까요? 관련 강의가 있으면 좋을 것 같은데 아니면 간단한 강의라도 있으면 좋겠습니다.

  • redis
  • nodejs
GODOT 댓글 0 좋아요 0 조회수 172

[Q : 섹션3. flask + redis 서비스 실행하기 실습편] Internal Server Error

미해결

도커 쓸 땐 필수! 도커 컴포즈

브라우저에서 접속을 시도하면 internal server error 라고 뜨면서 정상작동하지 않습니다. 위 로그 기록 참고하셔서 조치 방법을 알려주시면 고맙겠습니다.

  • InternalServerError
  • flask
  • docker
  • redis
JJ 댓글 2 좋아요 1 조회수 889

인기 태그

인프런 TOP Writers

주간 인기글