안녕하세요. confluent kafka 에서 consumer 뛰운 상태 입니다. SimpleProducer.java 작성 후, Run 하면 아래 로그 발생 합니다. SLF4J(W): No SLF4J providers were found. consumer에서 메시지 출력 하지 않습니다. 검색해 보니, This warning , i.e. not an error, message is reported when no SLF4J providers could be found on the class path. Placing one (and only one) of the many available providers such as slf4j-nop.jar slf4j-simple.jar , slf4j-reload4j.jar , slf4j-jdk14.jar or logback-classic.jar on the class path should solve the problem. 어디를 수정 해서, 적용 해야 할지 잘 모르겠습니다. 강의 내용 따라서, Gradle 설정 하고, jdk를 확인 해보니, 17 oracle jdk 가 보이지 않아, jbrskd-17로 설정해서 빌드 했습니다. (제 intellij에서 add > oracle 17jdk가 안 보입니다???) 검토 하시고 답변 부탁 드립니다.
안녕하세요, 프로듀서 전송 부분에 대해 강의를 듣던 중 궁금한 점이 있습니다. 최대 한 번 전송 외에는 ack를 받고 다음 메시지를 전송한다고 설명하셨는데, 비동기 전송은 ack와 상관 없이 지속적으로 메시지를 전송할 수 있는거 아닌가요? 메시지 a,b,c 3개를 보낸다고 했을 때 ack = 0의 경우는 a,b,c를 보내고 오는 ack에 대해 신경 쓰지 않는것이고, ack != 0의 경우 비동기라면 마찬가지로 전송은 ack 여부와 상관 없이 a,b,c를 보내고 대신 ack 여부에 따라 특정 메시지에 대한 재전송이 이루어 지는 것이 아닌지 궁금합니다. 즉, ack 여부에 따라 a이후 b를 전송하는 것이 결정되는게 맞는지 궁금합니다.
안녕하세요. 저는 1년차 개발자 입니다. 현재는 회사를 그만 두고 공부를 마치고 취업 준비를 하고 있습니다. 권철민 개발자님의 강의를 접하고 너무 좋아서, kafka 3개의 모두 수강하고 마지막 강의를 듣고 있습니다. 지식을 모두에거 공유한다는 것이 너무 존경스럽고 개발자가 가져야하는 자세와 덕목이라 생각하고 배우게 되었습니다. 감사합니다. 실무에서 실제로 사용 하고 싶어서 집에서 AWS에 환경을 구축 해보고 싶습니다. 하지만 비용이 청구 된다는 것에 두려움을 가지고 있습니다. AWS는 실제로 한번도 없지만 클라우드 환경에 대한 선수 지식과 AWS사용 법등은 숙지하고 있지만, 비용적인 측면에서 기술을 사용하는데 있어 비용이 어떤 정책으로 측정 되는지 알고 있는게 없어 너무 걱정입니다. confluent kafka 와 apache kafka 사용법에 차이는 별로 없다고 하셧지만, 그래도 배운 confluent kafka로 aws를 구축 하고 싶은 마음이지만 몇가지 궁금 한게 있습니다. 현재 현업에서는 confluent kafka 와 apache kafka 둘 중 어떤것이 많이 사용되며, 선호 되는 것이 어떤건가요? 현업에서는 실제로 구축한다면, 강의에서와 같이 Ubuntu AWS에서 만들어서,kafka를 설치하여 사용 하나요? 아니면 제공 되어지는 Saas를 통해 사용하나요? 보통 어떤것을 사용하나요? 아니면 다른 방법이 있나요? 실무에서 사용 하려면 kafka가 무료가 아니라고 알고 있습니다. confluent kafka 와 apache kafka 둘다 무료가 아닌건가요? AWS사용 비용외 별도 비용을 지불 하고 사용 해야 하는 건가요?, 아니면 Saas를 사용하면 AWS비용을 포함하여 비용이 청구 되나요? confluent kafka 와 apache kafka 둘다 똑같은 환경을 구축 한다면, 비용적 측면에서 어떤것이 저렴 한가요? 아니면 걱정 할 정도의 비용 차이가 나지 않는 건가요? 실제 현업에서 어느 정도 규모에서 사용 되며, 작은 규모, 중간 규모, 큰 규묘 에서 대략 비용이 대략 한달 얼마 정도 청구 되나요? 급하게 두서 없이 작성한거 같네요. 긴 글 읽어 주셔서 감사합니다.
일단 ElasticbeanStalk에서는 상태가 Travis연결 시도 전에는 Pending, 연결 시도 후에는 No data가 뜹니다. 제 .travis.yml 파일 코드는 다음과 같습니다 sudo: required language: generic services: - docker before_install: - echo "start creating an image with dockerfile" - docker build -t minseokkim6823/docker-react-app -f Dockerfile.dev ./ script: - docker run -e CI=true minseokkim6823/docker-react-app npm run test -- --coverage deploy: provider: elasticbeanstalk edge: true region: "ap-northeast-2" app: "docker-react-app" env: "Docker-react-app-env-1" bucket_name: "elasticbeanstalk-ap-northeast-2-845428038664" bucket_path: "docker-react-app" on: branch: master access_key_id: $AWS_ACCESS_KEY secret_access_key: $AWS_SECRET_ACCESS_KEY 이 결과 travis ci 에서 이런 결과가 계속나옵니다..... 무엇이 문제 일까요?
안녕하세요, 인텔리제이에서 클라이언트 프로듀서 생성 후 데이터 전송 시 브로커를 찾을 수 없다는 에러 로그가 자꾸 발생해서, server.properties 의 advertised.listeners에서 저희가 사용하는 고정 IP를 직접 작성해주니 해결되었는데요, 이렇게 하니 외부 클라이언트에서 192.168.56.101 주소로 전송한 데이터는 VM에서 콘솔 컨슈머를 통해 read 할 때 localhost 로 접근 시 조회가 되지 않습니다. 혹시 Host PC에서 VM의 브로커에 send 할 때 advertised.listeners 값을 고정 IP로 등록해주어야 하는 이유가 있는지, 그리고 이렇게 등록 시 VM 내부에서도 localhost 참조가 불가능해지는게 맞는지 알 수 있을까요?
안녕하세요, producer의 send 로직을 보면 Serialization을 먼저 수행하고 Partitioner에서 파티션을 결정 짓는것으로 보이는데요, key 값이 존재하는 경우 key 값에 대한 hash 알고리즘을 통해 파티셔너에서 파티션을 결정한다고 하였는데 직렬화 되어버리면 hash는 bytes 값에 대한 hash가 수행되는 건가요?? 만약 맞다면, 파티셔너도 특정 키를 가진 데이터에 대해서 원하는 파티션을 지정하도록 커스터마이징이 가능한 것으로 알고 있는데, 파티셔너를 커스터마이징한다면 key 값을 직렬화 하고 그것에 대한 해시알고리즘을 적용해서 파티션 넘버를 반환하도록 짜야하는 것인지 궁금합니다.
안녕하세요. 수업 잘 듣고 있습니다. 다름이 아니라, 카프카 수업을 듣고, 영상을 카프카로 넘겨서 다시 웹으로 받는 작업을 테스트 하고 있습니다. 그런데 캠cam을 연결할 때는 제대로 데이터가 잘 넘어가서 잘 보여지는데, rtmp와 같은 미디어 서버에서 받은 영상 정보를 카프카로 넘기면 영상이 진행이 안되고, 계속 1초 전으로 되돌아가는 이상한 현상이 발생합니다. 마치 재생을 시켰더니 다시 처음부터 재생하는 느낌... 이 해결을 위해서 카프카 설정을 만져야 하는지 프로듀서 쪽을 건들어야 할 지 감이 안 와서 질문 드립니다. 감사합니다.
안녕하세요, docker volume 설정에 관해서 궁금한 점이 있어 질문드립니다. (상황설명) postgres 컨테이너 올리는 내용을 참고하여 mariadb 컨테이너를 올리고자 하는 상황입니다. (docker-compose.yaml에서 mariadb 컨테이너 내용 추가 --> docker compose up --> dbeaver 연결) (질문) 도커의 경우 컨테이너를 내리면 데이터가 모두 사라지기 때문에, 데이터를 영속적으로 저장하고 있기 위해서 볼륨을 설정한다고 이해했습니다. 제가 이해한 바에 따르면 DB 컨테이너에서 볼륨을 지정했을 때엔, 도커를 재기동해도 데이터가 남아있게 되는 것인데 --> 도커 재기동시 dbeaver mariadb의 테이블과 데이터가 사라지게 되는 상황 이 맞는 걸까요..? 도커 재기동시에도 dbeaver 데이터를 남겨두고 싶은데 제가 볼륨 설정을 잘못한 것인지? 혹은 제가 볼륨에 대한 이해한 것이 잘못 되었다면 어떻게 설정해야 재기동시에도 dbeaver mariadb 데이터가 남아있을 수 있을지? 여쭤봅니다. *도커 재기동 => docker compose down / docker compose up -d (참고내용) #docker-compose.yaml services: mariadb: image: mariadb:10 container_name: mariadb-container environment: MYSQL_USER: user MYSQL_PASSWORD: passwd MYSQL_ROOT_PASSWORD: root_pw MYSQL_DATABASE: mariadb TZ: Asia/Seoul volumes: - mariadb-db-volume:/var/lib/mysql/data restart: always ports: - 3307:3306 networks: network_custom: ipv4_address: 172.28.0.2 ... volumes: postgres-db-volume: mariadb-db-volume: networks: network_custom: driver: bridge ipam: driver: default config: - subnet: 172.28.0.0/16 gateway: 172.28.0.1 # sudo docker volume ls # sudo docker inspect dhkim_mariadb-db-volume #volume mount directory cd /var/lib/docker/volumes/dhkim_mariadb-db-volume/_data ls -al #도커재기동시 dbeaver 화면(table 사라짐)
안녕하세요. 트리거룰 기능 관련해서 질문드립니다. 강의에는 1개 이상 스킵, 컴플리트, 모두 컴플리트 이런 식의 조건만 소개되어 있는데, 특정 테스크를 지정해서 설정하는 방법은 없나요? 예를 들어, 5개 상위 테스크 중에 2,4번 테스크가 완료되는 경우에만 실행한다, 이런 식의 조건이 가능한지 궁금합니다. 별개로 airflow2 강의도 계획 중이신지 궁금합니다!
SimpleHttp 오퍼레이터로 서울시 공공데이터 API 받아오기위해 커넥션 작성 중 test버튼이 비활성화 되어있습니다. 구글링을 통해 해당 도커 airflow-webserver 의 ariflow.cfg 상태변수 test_connection = Enabled로 변경 후 도커를 내렸다 다시 올렸는데도 그대로 test 버튼이 비활성화 되어있습니다. 해결 방법이 궁금합니다. 참고로 저는 unbuntu 22 버전에 실습 중 입니다.
15.97 src/components/header/Header.tsx(1,8): error TS6133: 'React' is declared but its value is never read. 15.97 src/components/header/Header.tsx(6,19): error TS6133: 'setIsLogin' is declare d but its value is never read. 15.98 src/components/header/Header.tsx(9,9): error TS6133: 'border' is declared but its value is never read. 15.99 src/components/htmlEditor/HtmlEditor.tsx(1,8): error TS6133: 'React' is decla red but its value is never read. 15.99 src/components/htmlEditor/HtmlEditor.tsx(2,20): error TS7016: Could not find a declaration file for module '@toast-ui/editor'. '/app/node_modules/@toast-ui/edit or/dist/esm/index.js' implicitly has an 'any' type. 15.99 There are types at '/app/node_modules/@toast-ui/editor/types/index.d.ts', b ut this result could not be resolved when respecting package.json "exports". The '@ toast-ui/editor' library may need to update its package.json or typings. 15.99 src/main.tsx(1,1): error TS6133: 'React' is declared but its value is never r ead. 15.99 src/pages/myPage/MyPost.tsx(1,1): error TS6133: 'React' is declared but its v alue is never read. 15.99 src/pages/post/ReadPage.tsx(1,8): error TS6133: 'React' is declared but its v alue is never read. 15.99 src/pages/post/ReadPage.tsx(4,1): error TS6133: 'search' is declared but its value is never read. 15.99 src/pages/post/ReadPage.tsx(8,19): error TS6133: 'setIsLogin' is declared but its value is never read. ------ failed to solve: process "/bin/sh -c npm run build" did not complete successfully: exit code: 2 이런 오류는 어떡하나요?
안녕하세요, 토픽, 파티션, 브로커의 구조가 잘 이해가 가지 않아서 질문 드립니다. 브로커안에 토픽이 있고 그 토픽은 1개 이상의 파티션들로 구성되어 있는 것 인가요? 파티션 한개가 있으면 토픽 한개는 무조건 존재한다고 할 수 있는건가요? 파티션 여러개를 묶어서 구분할때 지칭하기 위해 토픽이라는 말을 사용하는 것 일까요?
마지막 배포시에 Run echo "***" | docker login -u "***" --password-stdin 2 echo "***" | docker login -u "***" --password-stdin 3 shell: /usr/bin/bash -e {0} 4 Error response from daemon: Get " https://registry-1.docker.io/v2/ ": unauthorized: incorrect username or password 5 Error: Process completed with exit code 1. 에러가 지속적으로 발생합니다. 도커 로그인에 사용되는 유저네임과 비밀번호를 그대로 입력하였음에도 계속해서 발생하는 문제입니다.
안녕하세요 카프카 컨넥트 공부중 schema-registry, debezium 의 존재에 대해서 알게 되었습니다 connect + schema-registry + debezium plugin 을 이용하면 source db에 실시간적으로 등록되는 데이터를 sink db 에 내가 원하는 포맷에 맞게 동기화 시켜주는 것으로 이해하였는데 맞는건가요? 이때 제가 이해한 바로는 카프카 connector, task를 직접 개발해서 jar 파일을 올리지않고 registry schema 에 avro 를 등록해주면 connector 에서 registry 에 등록된 avro 를 읽고 source db 에서 sink db 로 데이터가 동기화 되는건가요? 제가 생각한 예제 (col1, col2,col3 소스테이블에서 from_col1, from_col2 싱크테이블로 동기화) (source) col1[varchar], col2[int], col3[datetime] (sink) from_col1[varchar], from_col2[int] 만약 이게 아니라면 schema-registry 의 용도가 뭔지 알수 있을까요????
