묻고 답해요
167만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결카프카 완벽 가이드 - 커넥트(Connect) 편
debezium source connector에서 `poll.interval.ms` 파라미터
강의를 들으면서 헷갈리는 부분이 있는데요. debezium source connector등록시 설정하는 poll.interval.ms 파라미터는 debezium source connector가 source db로부터 데이터를 읽어들이는 데 대기하는 시간을 의미하는 걸까요? 아니면 debezium source connector가 kafka로 토픽을 전송하는데 대기하는 시간을 의미하는 걸까요?
-
미해결15일간의 빅데이터 파일럿 프로젝트
psycopg2==2.6.2. 에러
[root@server02 ~]# bash -c "source /opt/rh/python27/ebable; pip install psycopg2==2.6.2 --ignore-installed" 해당 부분에서 아래와 같은 오류가 뜨면서 계속 막혀요. bash: /opt/rh/python27/ebable: No such file or directoryCollecting psycopg2==2.6.2 Could not fetch URL https://pypi.python.org/simple/psycopg2/: There was a problem confirming the ssl certificate: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:727) - skipping Could not find a version that satisfies the requirement psycopg2==2.6.2 (from versions: )No matching distribution found for psycopg2==2.6.2
-
미해결15일간의 빅데이터 파일럿 프로젝트
호스트 불량 문제에 관하여
안녕하세요, 강사님. 강의대로 진행했음에도 불구하고 계속 사진처럼 빨갛게 뜹니다. 제가 처음에 클라우데라 매니저 설치할 때 실수를 반복하여 클러스터를 세 번 정도 설치했다가 삭제하고 마지막으로 한 번 더 제대로 설치했는데, 이전에 설치했던 parcel 혹은 다른 잔여 파일이 남아서 그런 걸까요? parcel을 설치할 때마다 c 디스크 공간이 줄어들었던 걸 보면 잔여 파일이 남은 것 같긴 한데 어떻게 삭제해야 할까요?
-
해결됨Airflow 마스터 클래스
안녕하세요 대학생 질문드립니다
강의를 들으면서 데이터 엔지니어를 준비하고 있는 학부생입니다.취업사이트에 데이터 엔지니어를 찾아보면 대게 경력 위주로 채용을 진행하고 있는데데이터 엔지니어가 신입으로 일을 할 수 있는 방법이 있는 지 ?아니면 신입으로서 바로 데이터 엔지니어로 일하기는 조금 어려운게 현실인지 궁금하여 글 작성합니다.괜찮으시다면 데이터엔지니어 직무 입사자가 이런 경험이 있으면 채용하겠다는 부분이 있는 지 알려주시면 감사하겠습니다.
-
미해결따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
트레비스가 유료화가 되어 테스트가 어려워 챕터8에서 고민중입니다.
트레비스가 유료화되어 챕터8에서 aws설정하는 부분까지만하고 멈춘 상태인데요 ㅎㅎ이후로는 트레비스를 통해 aws 반영하는 부분인 것 같더라고요. 혹시 남은 트레비스 부분을 제외하고 9장으로 넘어가도 괜찮을지 궁금합니다 ㅎㅎ
-
해결됨카프카 완벽 가이드 - ksqlDB
섹션 10 관련 강의자료
안녕하세요. 섹션 10에 KSQLDB와 Connect 첫 강의 1초짜리에 강의가 존재하는 이유가 강의 자료 파일 공유를 위해서 있는 것으로 유추되는데 아무것도 없는 빈 리스트네요. 혹시 제가 뭔가 놓치거나 강의 업데이트에 이슈가 있었던 것은 아닌지 여쭤보고자 게시글 남깁니다. 참고로 강의 처음에 공유해주신 강의 자료 PPT에는 해당 섹션에 대한 장표가 누락돼 있습니다. 감사합니다.
-
미해결Airflow 마스터 클래스
airflow 자격증명 관련문의
안녕하세요 airflow 관련 자격증이 있는지 궁금합니다. 구글링 해보니 따로 안나오는 것 같아서요..!보통 어떤식으로 airflow 사용역량을 어필 할 수 있는지 궁금합니다 .
-
미해결15일간의 빅데이터 파일럿 프로젝트
하이브쿼리에서 에러가 나요...
-
미해결15일간의 빅데이터 파일럿 프로젝트
하이브쿼리에서 에러
-
해결됨Airflow 마스터 클래스
질문드립니다 4~5강
op_args와 op_kwargs 등 파라미터를 전달하는 함수를 사용할 때 task 파라미터를 사용해서 하는 방법은 따로 설명이 없는데 이렇게 함수에 파라미터를 전달해서 사용할 때는 파이썬오퍼레이터를 항상 써야만하는 건가요?
-
미해결15일간의 빅데이터 파일럿 프로젝트
Hbase에 적재된 데이터 확인시 에러
APi오류가 뜹니다..
-
미해결15일간의 빅데이터 파일럿 프로젝트
파이썬 설치 시 에러
Error: Cannot find a valid baseurl for repo: centos-sclo-rh파이썬 설치 시 계속 에러가 뜹니다.미러설정도 했습니다.
-
미해결[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
데이터 삭제 질문
- 강의 영상에 대한 질문이 있으시면, 상세히 문의를 작성해주시면, 주말/휴일 제외, 2~3일 내에 답변드립니다 (이외의 문의는 평생 강의이므로 양해를 부탁드립니다.)- 강의 답변이 도움이 안되셨다면, dream@fun-coding.org 로 메일 주시면 재검토하겠습니다. - 괜찮으시면 질문전에 챗GPT 와 구글 검색을 꼭 활용해보세요~- 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요. 즐겁게 강의를 수강 중인 수강생입니다. sql 데이터 수정 삭제 문법 이해하기 - 실습 중이름이 김철수인 학생만 삭제하려고 넣으니15:25:41 DELETE FROM students WHERE name = '김철수' Error Code: 1175. You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column. To disable safe mode, toggle the option in Preferences -> SQL Editor and reconnect. 0.000 sec 라고 오류가 떠 gpt에 질문하여 해결하였습니다. 다만 gpt는 안전모드를 해제(일시적 또는 영구적)하거나 기본키(id) 또는 인덱스가 있는 컬럼을 사용하여 삭제하라고 추천합니다. 질문은, 보통 sql 이용 시 안전모드를 해제하고 사용하면 되는 걸까요?아니라면 id가 아닌 컬럼을 선택하여 삭제하는 경우가 거의 없어서 일시적으로 안전모드 해제하고 삭제하는 것이 일반적인 경우일까요?
-
미해결Airflow 마스터 클래스
module 'requests' has no attribute 'post'
토근 발급하는 과정에서 해당 오류로 다음 진도를 못나가고 있습니다..ㅜㅜ이전 서울시 공공데이터 실습하는 과정에서 requests 정상 import 및 문제없이 작동하였는데, 이번 실습에선 module 'requests' has no attribute 'post' 오류가 발생하네요.- 오류를 해결하기 위해 requests.py 파일이 있는지 확인- requests 정상 import 확인- requests reinstall진행하였으나 문제 해결이 되지 않았습니다..혹시 놓친 부분이 있는지 도와주세요. 감사합니다!import requests client_id = '' redirect_url = 'https://example.com/oauth' authorize_code = '' token_url = 'https://kauth.kakao.com/oauth/token' data = { 'grant_type': 'authorization_code', 'client_id': client_id, 'redirect_url': redirect_url, 'code': authorize_code } response = requests.post(token_url, data=data) tokens = response.json() print(tokens) 추가로 아래 AI 답변 관련하여 확인 해보았습니다. 그럼에도 놓친 사항이 있을 수 있으니 함께 확인하여 답변해주시면 감사하겠습니다!
-
미해결따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
강사님 혹시 vscode 어떤 테마 쓰시나요..?
강사님 테마가 너무 좋은거 같아서 그런데.. 찾아봐도 똑같은게 없네요 ㅠㅠ
-
미해결15일간의 빅데이터 파일럿 프로젝트
redis-cli 데이터 적재 확인
HBase에 적재까지는 확인했는데 redis에는 아무것도 안뜹니다...
-
미해결다양한 사례로 익히는 SQL 데이터 분석
쿼리에 대한 질문이 있습니다.
select page_path, count(*) as page_cnt, count(distinct sess.sess_id) as unique_page_cntfrom ga.ga_sess_hits hisjoin ga.ga_sess sesson his.sess_id = sess.sess_idwhere visit_stime >= ('2016-11-01'::date - interval '30 days') and visit_stime < '2016-11-01'and hit_type = 'PAGE'group by page_pathorder by 2 desc;저는 위와 같이 쿼리를 작성했습니다만, 교육 자료에서 temp_01, temp_02로 각각 나눠서 page_cnt와 unique_page_cnt를 구하는 것에 어떠한 장점이 있어서 교안의 쿼리 대로 작성하는지 궁금합니다. 제가 단순히 생각하기에는 비효율적으로 보여서요! 제 쿼리가 비효율적일 수도 있는데, 장단점을 들어보고 싶습니다.
-
미해결15일간의 빅데이터 파일럿 프로젝트
카프카 토픽 생성에서 에러
25/02/26 18:11:20 INFO zookeeper.ZooKeeper: Session: 0x0 closed25/02/26 18:11:20 INFO zookeeper.ClientCnxn: EventThread shut down25/02/26 18:11:20 INFO zookeeper.ZooKeeperClient: [ZooKeeperClient] Closed.Exception in thread "main" kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING at kafka.zookeeper.ZooKeeperClient$$anonfun$kafka$zookeeper$ZooKeeperClient$$waitUntilConnected$1.apply$mcV$sp(ZooKeeperClient.scala:242) at kafka.zookeeper.ZooKeeperClient$$anonfun$kafka$zookeeper$ZooKeeperClient$$waitUntilConnected$1.apply(ZooKeeperClient.scala:238) at kafka.zookeeper.ZooKeeperClient$$anonfun$kafka$zookeeper$ZooKeeperClient$$waitUntilConnected$1.apply(ZooKeeperClient.scala:238) at kafka.utils.CoreUtils$.inLock(CoreUtils.scala:251) at kafka.zookeeper.ZooKeeperClient.kafka$zookeeper$ZooKeeperClient$$waitUntilConnected(ZooKeeperClient.scala:238) at kafka.zookeeper.ZooKeeperClient.<init>(ZooKeeperClient.scala:96) at kafka.zk.KafkaZkClient$.apply(KafkaZkClient.scala:1824) at kafka.admin.TopicCommand$ZookeeperTopicService$.apply(TopicCommand.scala:262) at kafka.admin.TopicCommand$.main(TopicCommand.scala:53) at kafka.admin.TopicCommand.main(TopicCommand.scala)카프카 토픽생성에서 이런 에러가 뜹니다...
-
미해결Airflow 마스터 클래스
Docker 설치 오류 문의드립니다
현재 Mac OS 에서 진행 중입니다.Docker 설치하는데 진행 단계에서 오류가 발생해서 문의드립니다.root@3293a1a48e67:/# service docker start/etc/init.d/docker: 62: ulimit: error setting limit (Invalid argument)제가 찾아본 바로는 구버전이라 해당 오류가 발생한다고 하는데 해결 방법을 따로 알려주실수 있을까요? 그리고 추가적으로 꼭 우분투에 설치해야 강의를 진행할 수 있는 걸까요?우분투 가상환경 없이 도커랑 에어플로우 설치하면 제한이 있는건가요?
-
미해결15일간의 빅데이터 파일럿 프로젝트
HDFS 명령어를 치는데 오류가 납니다