173만명의 커뮤니티!! 함께 토론해봐요.
미해결
[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
다른 영상은 괜찮은데 섹션4는 목소리만 나옵니다. 화면은 블랙화면으로 계속 고정이네요. 다른 섹션은 안그런데... 저만 그런건가요??
미해결
카프카 완벽 가이드 - 코어편
안녕하세요 개발자님 KafkaTimeoutError: Failed to update 입니다. window에서 리눅스로 옴겼더니 왜 그런걸까요? 설정 부분 추가 및 변경 해야 하는 부분이 어디 일까요? client에서 설정을 수정 해야 하나여ㅛ, kafka server.properties 에서 어디를 수정 해야 하나요?
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
강의 내용 똑같이 따라해봐도 redis, node 버전 관련 문제로 실행할 수 없었습니다..! 저는 아래 코드로 테스트 성공했으니 참고 부탁드려요! Dockerfile >>>> node version 16 FROM node:16 WORKDIR /usr/src/app COPY ./ ./ RUN npm install CMD [ "node", "server.js" ] package.json >>> redis version 4.7.0 { "name": "nodejs-docker-compose-app", "version": "1.0.0", "main": "server.js", "scripts": { "start": "node server.js", "test": "echo \"Error: no test specified\" && exit 1" }, "dependencies": { "express": "4.17.1", "redis": "4.7.0" }, "author": "", "license": "ISC", "description": "" } docker-compose.yml version: "3" services: redis-server: image: redis container_name: redis-server restart: unless-stopped expose: - 6379 node-app: depends_on: - redis-server build: context: . dockerfile: Dockerfile container_name: node-app restart: on-failure ports: - "8081:8080" server.js const express = require("express"); const redis = require("redis"); const app = express(); // Redis 클라이언트 생성 const client = redis.createClient({ socket: { host: "redis-server", port: 6379 } }); async function connectToRedis() { let connected = false; while (!connected) { try { await client.connect(); console.log('Connected to Redis'); connected = true; } catch (error) { console.error('Error connecting to Redis:', error); console.log('Retrying in 2 seconds...'); await new Promise(resolve => setTimeout(resolve, 2000)); } } } // Express 엔드포인트 설정 app.get('/', async (req, res) => { try { let number = await client.get('number'); if (number === null) { number = 0; } console.log('Number: ' + number); res.send("숫자가 1씩 올라갑니다. 숫자: " + number); await client.set("number", parseInt(number) + 1); } catch (error) { console.error('Error:', error); res.status(500).send('Redis 연결 오류'); } }); // 서버 시작 전에 Redis 연결 app.listen(8080, async () => { await connectToRedis(); // 서버 시작 시 Redis 연결 시도 console.log('Server is running on port 8080'); }); 모두 저장 후 터미널에서 docker compose down docker compose up --build
미해결
Airflow 마스터 클래스
안녕하세요 강사님 airflow config를 변경하기 위해 시도해보았는데 이렇게 expose를 false->true로 변경하여도 airflow web에서는 변경되지 않아서 혹시 어디가 잘못 되었는지 문의드립니다 그리고 dag인식이 느린 것 같아 dag_dir_list 값을 100으로 변경하였는데 cpu만 괜찮다면 다른 변수들은 수정할 필요가 없을까요?
미해결
Airflow 마스터 클래스
task 연결하기 강의에서 t1 >> [t2, t3] >> t4 t5 >> t4 [t4, t7] >> t6 >> t8 이렇게 작성하셨는데 t1 >> [t2, t3] >> t4 t5 >> [t4, t7] >> t6 >> t8 이렇게 해도 될까요? 순서도 그릴때 task는 무조건 한번씩만 실행되는건가요? t4 [t4,t7] 이렇게 t4를 두번 작성해도 되는지 궁금합니다.
미해결
Airflow 마스터 클래스
안녕하세요 강사님 혹시 vsc에서 airflow관련 함수들의 자동완성을 제공하는 익스텐션이 따로 있나요? 아니면 코드를 원래 전체 작성해야 하나요? 위 그림에 ti.xcom_pull의 경우 ti. 하고 자동완성을 하려고 봤더니 제공하는 함수가 없어서 질문드립니다 근데 뒤에 task_ids는 자동완성이 되네요
미해결
Airflow 마스터 클래스
안녕하세요 강사님 airflow에서 코드를 실행할 때 잘못 작성된 경우나 에러가 있는 경우 디버깅을 해야되는데 일반 코드들 처럼 실행해서 잘못된 부분을 찾으려면 항상 우분투 서버에서만 확인이 가능한가요? 일반 코드들처럼 vscode 자체에서 확인하기는 어려울까요?
미해결
Airflow 마스터 클래스
안녕하세요 dag commit 이후 git pull 당겨오면 webserver 에 dag가 안보이는데 Docker 재시작하면 나타나더라구요 자동으로 반영되게 하는방법 없을까요?
미해결
[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
- 강의 영상에 대한 질문이 있으시면, 상세히 문의를 작성해주시면, 주말/휴일 제외, 2~3일 내에 답변드립니다 (이외의 문의는 평생 강의이므로 양해를 부탁드립니다.) - 강의 답변이 도움이 안되셨다면, dream@fun-coding.org 로 메일 주시면 재검토하겠습니다. - 괜찮으시면 질문전에 챗GPT 와 구글 검색을 꼭 활용해보세요~ - 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요.
미해결
카프카 완벽 가이드 - 커넥트(Connect) 편
강의를 들으면서 헷갈리는 부분이 있는데요. debezium source connector 등록시 설정하는 poll.interval.ms 파라미터는 debezium source connector 가 source db로부터 데이터를 읽어들이는 데 대기하는 시간을 의미하는 걸까요? 아니면 debezium source connector 가 kafka로 토픽을 전송하는데 대기하는 시간을 의미하는 걸까요?
미해결
15일간의 빅데이터 파일럿 프로젝트
[root@server02 ~]# bash -c "source /opt/rh/python27/ebable; pip install psycopg2==2.6.2 --ignore-installed" 해당 부분에서 아래와 같은 오류가 뜨면서 계속 막혀요. bash: /opt/rh/python27/ebable: No such file or directory Collecting psycopg2==2.6.2 Could not fetch URL https://pypi.python.org/simple/psycopg2/ : There was a problem confirming the ssl certificate: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:727) - skipping Could not find a version that satisfies the requirement psycopg2==2.6.2 (from versions: ) No matching distribution found for psycopg2==2.6.2
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요, 강사님. 강의대로 진행했음에도 불구하고 계속 사진처럼 빨갛게 뜹니다. 제가 처음에 클라우데라 매니저 설치할 때 실수를 반복하여 클러스터를 세 번 정도 설치했다가 삭제하고 마지막으로 한 번 더 제대로 설치했는데, 이전에 설치했던 parcel 혹은 다른 잔여 파일이 남아서 그런 걸까요? parcel을 설치할 때마다 c 디스크 공간이 줄어들었던 걸 보면 잔여 파일이 남은 것 같긴 한데 어떻게 삭제해야 할까요?
해결됨
Airflow 마스터 클래스
강의를 들으면서 데이터 엔지니어를 준비하고 있는 학부생입니다. 취업사이트에 데이터 엔지니어를 찾아보면 대게 경력 위주로 채용을 진행하고 있는데 데이터 엔지니어가 신입으로 일을 할 수 있는 방법이 있는 지 ? 아니면 신입으로서 바로 데이터 엔지니어로 일하기는 조금 어려운게 현실인지 궁금하여 글 작성합니다. 괜찮으시다면 데이터엔지니어 직무 입사자가 이런 경험이 있으면 채용하겠다는 부분이 있는 지 알려주시면 감사하겠습니다.
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
트레비스가 유료화되어 챕터8에서 aws설정하는 부분까지만하고 멈춘 상태인데요 ㅎㅎ 이후로는 트레비스를 통해 aws 반영하는 부분인 것 같더라고요. 혹시 남은 트레비스 부분을 제외하고 9장으로 넘어가도 괜찮을지 궁금합니다 ㅎㅎ
해결됨
카프카 완벽 가이드 - ksqlDB
안녕하세요. 섹션 10에 KSQLDB와 Connect 첫 강의 1초짜리에 강의가 존재하는 이유가 강의 자료 파일 공유를 위해서 있는 것으로 유추되는데 아무것도 없는 빈 리스트네요. 혹시 제가 뭔가 놓치거나 강의 업데이트에 이슈가 있었던 것은 아닌지 여쭤보고자 게시글 남깁니다. 참고로 강의 처음에 공유해주신 강의 자료 PPT에는 해당 섹션에 대한 장표가 누락돼 있습니다. 감사합니다.
미해결
Airflow 마스터 클래스
안녕하세요 airflow 관련 자격증이 있는지 궁금합니다. 구글링 해보니 따로 안나오는 것 같아서요..! 보통 어떤식으로 airflow 사용역량을 어필 할 수 있는지 궁금합니다 .
미해결
15일간의 빅데이터 파일럿 프로젝트
(사진)
미해결
15일간의 빅데이터 파일럿 프로젝트
(사진)
해결됨
Airflow 마스터 클래스
op_args와 op_kwargs 등 파라미터를 전달하는 함수를 사용할 때 task 파라미터를 사용해서 하는 방법은 따로 설명이 없는데 이렇게 함수에 파라미터를 전달해서 사용할 때는 파이썬오퍼레이터를 항상 써야만하는 건가요?
미해결
15일간의 빅데이터 파일럿 프로젝트
APi오류가 뜹니다..
