묻고 답해요
161만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨Airflow 마스터 클래스
DB volume 설정 - 컨테이너 재기동시 DBeaver 테이블 사라지는 경우
안녕하세요, docker volume 설정에 관해서 궁금한 점이 있어 질문드립니다. (상황설명)postgres 컨테이너 올리는 내용을 참고하여 mariadb 컨테이너를 올리고자 하는 상황입니다. (docker-compose.yaml에서 mariadb 컨테이너 내용 추가 --> docker compose up --> dbeaver 연결) (질문)도커의 경우 컨테이너를 내리면 데이터가 모두 사라지기 때문에, 데이터를 영속적으로 저장하고 있기 위해서 볼륨을 설정한다고 이해했습니다. 제가 이해한 바에 따르면 DB 컨테이너에서 볼륨을 지정했을 때엔, 도커를 재기동해도 데이터가 남아있게 되는 것인데 --> 도커 재기동시 dbeaver mariadb의 테이블과 데이터가 사라지게 되는 상황이 맞는 걸까요..? 도커 재기동시에도 dbeaver 데이터를 남겨두고 싶은데 제가 볼륨 설정을 잘못한 것인지? 혹은 제가 볼륨에 대한 이해한 것이 잘못 되었다면 어떻게 설정해야 재기동시에도 dbeaver mariadb 데이터가 남아있을 수 있을지? 여쭤봅니다. *도커 재기동 => docker compose down / docker compose up -d(참고내용)#docker-compose.yamlservices: mariadb: image: mariadb:10 container_name: mariadb-container environment: MYSQL_USER: user MYSQL_PASSWORD: passwd MYSQL_ROOT_PASSWORD: root_pw MYSQL_DATABASE: mariadb TZ: Asia/Seoul volumes: - mariadb-db-volume:/var/lib/mysql/data restart: always ports: - 3307:3306 networks: network_custom: ipv4_address: 172.28.0.2 ... volumes: postgres-db-volume: mariadb-db-volume: networks: network_custom: driver: bridge ipam: driver: default config: - subnet: 172.28.0.0/16 gateway: 172.28.0.1#sudo docker volume ls#sudo docker inspect dhkim_mariadb-db-volume#volume mount directorycd /var/lib/docker/volumes/dhkim_mariadb-db-volume/_datals -al#도커재기동시 dbeaver 화면(table 사라짐)
-
미해결Airflow 마스터 클래스
trigger rule 설정 질문
안녕하세요. 트리거룰 기능 관련해서 질문드립니다. 강의에는 1개 이상 스킵, 컴플리트, 모두 컴플리트이런 식의 조건만 소개되어 있는데, 특정 테스크를 지정해서 설정하는 방법은 없나요?예를 들어, 5개 상위 테스크 중에 2,4번 테스크가 완료되는 경우에만 실행한다, 이런 식의 조건이 가능한지 궁금합니다. 별개로 airflow2 강의도 계획 중이신지 궁금합니다!
-
미해결따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
docker_compose시
Learn React를 바꿔도 바로바로 적용이 안됩니다.docker-compose.yml은 아래와 같이 작성했습니다version: "3" services: react: build: context: . dockerfile: Dockerfile.dev ports: - "3000:3000" volumes: - /usr/src/app/node_modules - ./:/usr/src/app stdin_open: true
-
미해결Airflow 마스터 클래스
test 버튼 비활성화
SimpleHttp 오퍼레이터로 서울시 공공데이터 API 받아오기위해 커넥션 작성 중 test버튼이 비활성화 되어있습니다.구글링을 통해 해당 도커 airflow-webserver 의 ariflow.cfg 상태변수 test_connection = Enabled로 변경 후 도커를 내렸다 다시 올렸는데도 그대로 test 버튼이 비활성화 되어있습니다. 해결 방법이 궁금합니다.참고로 저는 unbuntu 22 버전에 실습 중 입니다.
-
미해결따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
Dockerfile Dockerfile.dev
Dockerfile.dev에서는 CMD 사용하고Dockerfile에서는 RUN을 사용하는데 차이점이 뭘까요?Dockerfile.dev에서도 RUN 사용하면 안되나요?
-
미해결따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
프론트엔드 도커파일 실행 중 오류
15.97 src/components/header/Header.tsx(1,8): error TS6133: 'React' is declared but its value is never read.15.97 src/components/header/Header.tsx(6,19): error TS6133: 'setIsLogin' is declared but its value is never read.15.98 src/components/header/Header.tsx(9,9): error TS6133: 'border' is declared but its value is never read.15.99 src/components/htmlEditor/HtmlEditor.tsx(1,8): error TS6133: 'React' is declared but its value is never read.15.99 src/components/htmlEditor/HtmlEditor.tsx(2,20): error TS7016: Could not find a declaration file for module '@toast-ui/editor'. '/app/node_modules/@toast-ui/editor/dist/esm/index.js' implicitly has an 'any' type.15.99 There are types at '/app/node_modules/@toast-ui/editor/types/index.d.ts', but this result could not be resolved when respecting package.json "exports". The '@toast-ui/editor' library may need to update its package.json or typings.15.99 src/main.tsx(1,1): error TS6133: 'React' is declared but its value is never read.15.99 src/pages/myPage/MyPost.tsx(1,1): error TS6133: 'React' is declared but its value is never read.15.99 src/pages/post/ReadPage.tsx(1,8): error TS6133: 'React' is declared but its value is never read.15.99 src/pages/post/ReadPage.tsx(4,1): error TS6133: 'search' is declared but its value is never read.15.99 src/pages/post/ReadPage.tsx(8,19): error TS6133: 'setIsLogin' is declared but its value is never read.------failed to solve: process "/bin/sh -c npm run build" did not complete successfully: exit code: 2이런 오류는 어떡하나요?
-
미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
토픽 파티션 브로커 구조
안녕하세요, 토픽, 파티션, 브로커의 구조가 잘 이해가 가지 않아서 질문 드립니다. 브로커안에 토픽이 있고 그 토픽은 1개 이상의 파티션들로 구성되어 있는 것 인가요? 파티션 한개가 있으면 토픽 한개는 무조건 존재한다고 할 수 있는건가요? 파티션 여러개를 묶어서 구분할때 지칭하기 위해 토픽이라는 말을 사용하는 것 일까요?
-
미해결따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
마지막 배포시에 도커 관련 문제
마지막 배포시에 Run echo "***" | docker login -u "***" --password-stdin2 echo "***" | docker login -u "***" --password-stdin3 shell: /usr/bin/bash -e {0}4Error response from daemon: Get "https://registry-1.docker.io/v2/": unauthorized: incorrect username or password5Error: Process completed with exit code 1.에러가 지속적으로 발생합니다. 도커 로그인에 사용되는 유저네임과 비밀번호를 그대로 입력하였음에도 계속해서 발생하는 문제입니다.
-
해결됨[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
connect 관련 질문
안녕하세요 카프카 컨넥트 공부중 schema-registry, debezium 의 존재에 대해서 알게 되었습니다connect + schema-registry + debezium plugin 을 이용하면 source db에 실시간적으로 등록되는 데이터를 sink db 에 내가 원하는 포맷에 맞게 동기화 시켜주는 것으로 이해하였는데 맞는건가요?이때 제가 이해한 바로는 카프카 connector, task를 직접 개발해서 jar 파일을 올리지않고 registry schema 에 avro 를 등록해주면 connector 에서 registry 에 등록된 avro 를 읽고 source db 에서 sink db 로 데이터가 동기화 되는건가요?제가 생각한 예제 (col1, col2,col3 소스테이블에서 from_col1, from_col2 싱크테이블로 동기화)(source) col1[varchar], col2[int], col3[datetime](sink) from_col1[varchar], from_col2[int]만약 이게 아니라면 schema-registry 의 용도가 뭔지 알수 있을까요????
-
미해결따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
트레비스에서 he command "docker run -e CI=true tedkov2024/docker-react-nginx-app npm run test -- --coverage" exited with 127. 형태로 에러가 발생합니다.
he command "docker run -e CI=true tedkov2024/docker-react-nginx-app npm run test -- --coverage" exited with 127. 85.61s$ docker build -t tedkov2024/docker-react-nginx-app -f Dockerfile . 0.60s$ docker run -e CI=true tedkov2024/docker-react-nginx-app npm run test -- --coverage /docker-entrypoint.sh: 47: exec: npm: not found The command "docker run -e CI=true tedkov2024/docker-react-nginx-app npm run test -- --coverage" exited with 127. Done. Your build exited with 1. 무엇이 문제인지 모르겠습니다.
-
미해결따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
설명 파일 보는 곳?
이 설명하는 파일 어디서 볼수 있나요?
-
미해결따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
강의 docker질문
백엔드인 전 mysql이 있는 상태인데프론트엔드가 mysql이 없는 상태라면 프론트엔드를 위해서 강의와 같이 docker로 mysql 환경 설정을 해야하는 건가요?? nginx를 통해서하면 프론트엔드는 mysql를 설치할 필요가 없다고 들었어서요
-
미해결[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
쿼리 상에서 설명 추가방법+단축키도 함께
쿼리상에서 실행되지 않게 설명 추가하는 방법이 어떻게 될까요?이전에 단축키랑 함께 배웠는데 못찾겠네요 ㅠ - 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다)- 이외의 문의등은 평생강의이므로 양해를 부탁드립니다- 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
-
미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
오프셋 커밋이 실패된 이후 consume 하는 경우 문의
안녕하세요.컨슈머에서 오프셋 커밋이 네트워크 등의 장애로 실패하고나면 동일한 컨슈머에서는 해당 오프셋을 다시 읽게 되나요?아니면, 해당 오프셋은 skip 되나요?예를 들어서, 아래와 같이 한 개의 파티션에 10개의 레코드가 있는 경우를 가정해볼게요.(비동기 수동 커밋 가정, 가져오는 레코드 개수는 1개씩) 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 1 ~ 2 번까지는 오프셋 커밋이 정상적으로 이루어지고, 3번을 제외한 4번까지 오프셋 커밋이 되었다고 가정해보면, 다음 poll() 메서드에서는 5번 오프셋을 가져오게 되나요?아니면 3번 오프셋을 다시 조회하게 되나요? 감사합니다.
-
미해결15일간의 빅데이터 파일럿 프로젝트
[공유] DNS_PROBE_FINISHED_NXDOMAIN 문제시
저는 macbook을 사용중이며 intel-chip입니다.M1은 여러차례 자체구성을 시도 하였지만, centOS는 7이였나 8이상부터 m1에서도 설치가 되도록 arm based ios를 제공하였지만 설치를 실패하였고, reddit과 git 커뮤등의 centOS의 설치 이미지를 m1칩에 맞게 리빌드 등의 작업이 필요하다는 등으로 시간이 너무 소요되고 강의를 듣기전 지칠듯하여 skip하였습니다. 제공받은 VM파일로 구성후 크롬에서 cloudera manager 접근시 DNS_PROBE_FINISHED_NXDOMAIN의 문제가 발생하였고, 높은 확율로 hosts의 오타를 의심하였지만 오타는 아니였습니다.DNS 캐시 및 초기화를 진행하였고, 크롬의 캐시 또한 삭제하였습니다. 그래도 동일한 오류로 접근이 불가하여ping과 telnet을 날리니 핑은 날라가나 telnet으로 포트와 함께 날릴시 접근이 불가한것을 확인하였습니다. 올바른 해결방법일지는 모르겠지만 해당 포트가 접근이 불가능하다 판단하여, VM server01에 네트워크 설정에서 > 어댑터 1 > 고급 > 포트 포워딩 > 호스트포트 7180 / 게스트포트 7180으로 세팅하여 정상 접근 확인하였습니다. 저와 같이 이러한 문제를 만나시는 분이 계시면 조금 더 빠른 해결 방법을 찾길 바라며 글 남깁니다. P.S. BigD님 혹 해당 방법이 올바른 방법이 아니라면 잘못된 정보라 표시 부탁드립니다. 제가 아직 강의 초반이기에 해당 설정을 건드리어 후반부의 강의에 영향을 끼칠지에 대한 확신이 없습니다ㅠㅠ
-
해결됨Airflow 마스터 클래스
HDFS, Hive new Connection : apt-get update
HDFS, Hive를 위한 Connection 추가 과정에서 이미지를 빌드하는 부분에서 에러가 발생합니다.아래 명령 실행 후 에러가 발생하며, 에러 부분은 이미지(참고2)로 첨부하였습니다.sudo docker build -t airflow_custom . (참고 - Dockerfile 내용 / airflow 2.8.0 version 설치) (참고2 - 에러로그)
-
미해결Airflow 마스터 클래스
python 오퍼레이터 실행되지 않음
아래 코드 작동을 안합니다 어디가 잘못된 걸까요 operator 생성된게 보이지 않습니다 git pull까지 다한 상태입니다 from airflow import DAG import pendulum import datetime from airflow.operators.python import PythonOperator import random with DAG( dag_id="dags_python_operator", schedule="30 6 * *", start_date=pendulum.datetime(2024, 1, 9, tz="Asia/Seoul"), catchup=False, ) as dag: def select_fruit(): fruit = ['APPLE', 'BANANA', 'ORANGE', 'AVOCADO'] rand_int = random.randint(0,3) print(fruit[rand_int]) py_t1 = PythonOperator( task_id = 'py_t1', python_callable=select_fruit ) py_t1
-
미해결따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
도커 생명주기파트 docker system prune 질문
수업듣기전에 야매로 배워서 몇개 돌려봤었던것들을 수업에서 docker system prune을 사용하면 실행되고 있지 않은 컨테이너, 이미지, 네트워크등이 지워진다고 했는데 컨테이너는 지워졌지만 이미지는 남아있는데 어떤게 잘못된 건가요?
-
미해결따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
맥에서 원본 도표 강의자료
학습환경mac m2sonoma 14.0chrome구글드라이브에서 원본 도표 강의자료를 다운받아서 파일을 열어보면 txt파일로 열려서 사진같이 보이기보단 코드들만 나옵니다.파일의 확장명이나 사용하시는 프로그램 뷰어가 뭔가요?Docker #1과 Docker #2다운받아봤습니다.
-
미해결카프카 완벽 가이드 - 코어편
CLI에서 메시지를 컨슈머로 읽을 때 배치시간에 영향을 받나요?
Key가 없는 메시지의 파티션 분배전략 - 라운드로빈과 스티키 파티셔닝 해당 파트에서 프로듀서가 보낸 메시지를 우선 배치에 넣고 토픽에 삽입한다고 적혀있습니다. 그 전 강의에서 컨슈머가 해당 파티션을 읽고 있고 프로듀서로 값을 보내면 바로바로 읽혔습니다. 이것도 프로듀서에서 보낸 메시지를 배치에서 대기하다가 대기시간이 만료돼서 토픽에 값이 삽입된건가요? 그 시간이 너무 짧아서 실시간으로 읽히는 것처럼 보이는 것으로 이해하면 될까요?