묻고 답해요
158만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
The instance profile aws-elasticbeanstalk-ec2-role associated with the environment does not exist.
https://ginghambagle.tistory.com/162이분 블로그 참고해서 오류 해소했습니다.
-
미해결따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
travis ci가 이제 유료화가 된 것 같습니다;;;
이거 무료로 할 수 있는 방법이 있을까요? 인강 진행이 안되네요.
-
미해결15일간의 빅데이터 파일럿 프로젝트
가상환경 내보내기
파일만 가지고 가서 다른곳에서 실행하고 싶은데 ISO 이미지 포함이 안되도 되나요?? 위 설정대로 하면 가져오기만 해도 실행이 될까요? 초반에 .vbox 머신추가했던것 처럼 하고 싶습니다. 수업 듣는 내내 궁금했는데 저기가 원천으로 사용하는 5개 테이블의 create 문을 알고싶습니다. 어떤 컬럼이 있고 각 컬럼들은 무엇을 의미하는지는 강의나 교안에 잘 안나와 있어서 한눈에 안들어 올때가 있었습니다. 테이블정의서를 그려서 좀 보고 싶습니다.
-
미해결15일간의 빅데이터 파일럿 프로젝트
SpoolDIR 폴더로 옮기
mv를 했는데 파일이 사라지기만 하고 옮겨지지 않습니다
-
미해결15일간의 빅데이터 파일럿 프로젝트
cpu usage 에러
모니터링을 하고 싶은데 위 에러가 뜨더니 이후엔 Magnagement를 켜면 나머지 기능들에 에러가 나서 작동이 아예 안되는 수준입니다.
-
미해결15일간의 빅데이터 파일럿 프로젝트
쿼리 실행시 10000 에러
이런 에러가 자주 나는데 왜 나는 걸까요? 쿼리실행시 가끔 떠서 여쭤봅니다
-
미해결15일간의 빅데이터 파일럿 프로젝트
탐색 과정 중 주제2 진행중 발생 에러
ascii 관련 에러가 났는데 어느 부분에서 고쳐야하는지 모르겠어요
-
미해결15일간의 빅데이터 파일럿 프로젝트
Hue(휴) 설치중 에러
-
미해결다양한 사례로 익히는 SQL 데이터 분석
퍼널 질문드립니다.
안녕하세요해당 데이터셋에는 퍼널의 순서가 있다보니 각단계별 전환율을 구할 수 있었는데요, 다른 데이터의 경우 퍼널의 순서가 없다면 어떻게 분석을 해야할까요? 예를들어 "로그인 > 장바구니 >구매"순서가 아닌"로그인 > 구매" 이렇게 장바구니와 구매를 선택할수 있는 허브역할을 할 수도 있다고 생각되는데요.이부분에서 개인적으로 공부하는데 막히더군요
-
미해결Airflow 마스터 클래스
filesensor가 해당 파일이 있는데 찾지 못하는 경우
안녕하세요, 영상 따라 실습중에 궁금한 점이 있습니다.filesensor로 확인하려는 파일이 존재하는데도 task가 계속 reschedule되고 있는 원인을 모르겠습니다.😭
-
미해결카프카 완벽 가이드 - 코어편
acks 1 이면 비동기가 아니지 않나요?!
제가 공부하다가 든 의문에 대해서 자문자답?을 해봤습니다!혹시 제가 잘못 이해하거나 틀린 개념이 있다면 알려주실 수 있을까요?나의 의문! 비동기 전송할 때, acks = 1 설정이면 Producer는 Leader broker가 메시지 A를 정상적으로 받았는지에 대한 ==Ack 메시지를 받은 후 다음 메시지인 메시지 B를 바로 전송==. 이러면 async 전송이 아닌거 아니야?내 생각어디까지 비동기 처리인지에 대한 경계가 불분명해서 생긴 오해!!1. Main Thread (producer.send() 호출하는 thread) for (seq in 0..19) { producer.send(topic, seq, record) }메인 스레드는 blocking 없이 연속적으로 메시지 전송! -> 비동기 전송!producer 내부[main thread] -> [RecordAccumulator] -> [sender thread] -> [broker]RecordAccumulator는 메시지들을 버퍼링하고 배치로 모음2. sender thread 동작 (acks 1 기준)0번 메시지 전송 -> ack 대기 -> ack 수신 완료1번 메시지 전송 -> ack 대기 -> ack 수신 완료...sender thread는 이젠 메시지의 ack를 받을 때가지 다음 메시지를 보내지 않는다하지만 main thread는 이와 무관하게 계속해서 메시지를 RecordAccumulator에 추가할 수 있다! 결론 main thread 입장에서는 메시지 응답을 기다리지 않고 계속 보낼 수 있으니까 비동기 전송 -> 메시지는 batch에 차곡차곡 쌓임실제 메시지를 전송하는 sender thread는 acks 1 설정으로 leader broker가 보낸 ack를 수신해야 다음 메시지 전송 이렇게 이해했는데 제가 이해한게 맞을까요,,,?
-
미해결Airflow 마스터 클래스
블로그 api 관련 질문
chatGPT&Airflow로 블로그 자동 포스팅하기 강의를 듣고 실습을 하려다가tistory가 api 서비스를 중단되었는 것을 알았는데 혹시 대체 블로그가 있는지 문의드립니다.
-
미해결카프카 완벽 가이드 - 코어편
Producer의 메시지 비동기화 전송 구현 강좌 내용 중 질문
안녕하세요뒷 강의에서 뭔가 말씀해주실것같긴한데성급해서 먼저 질문드립니다. 동기, 비동기 발송 시 설정한 ack 모드(1 혹은 -1)에 따라 Exception이 발생하면 send thread에서 재전송을 한다고 말씀해주셨는데요 강의 중 작성해주신 아래 코드에서 else부분에서 error 처리(캐치)부분을 넣는것과 별개로재전송은 따로 이루어진다 라고 이해하면될까요? // KafkaProducer message send kafkaProducer.send(producerRecord, (metadata, exception) -> { if(exception == null) { // 로그출력부분 } else { // 에러 처리부분 logger.error("exception error from broker" + exception.getMessage()); } });
-
미해결Airflow 마스터 클래스
dag_run 주기적으로 삭제
안녕하세요 강사님! 실습중에 궁금한게 생겨서 질문드립니다! dag이 실행될때 저장되는 dag_run 데이터는 주기적으로 삭제해도 airflow 스케줄 실행에 문제가 발생하진 않나요?? postgres도 EC2 내부에 docker-compose로 띄워놔서 혹시나 주기적으로 지워주면 리소스를 줄일 수 있을까 해서요!
-
미해결Airflow 마스터 클래스
강의 내용이 일부 잘린 것으로 보입니다!
안녕하세요! 항상 강의 잘 듣고 있습니다다른 강의와 달리 실습 코드에 대한 설명 없이 바로 airflow 실행으로 화면이 넘어가는 것으로 보입니다!혹 강의 영상의 일부가 잘린 것인가 하여 문의를 드립니다(해당 영상 4분 30초 기준)
-
해결됨카프카 완벽 가이드 - 코어편
자문자답: 데이터 누락된다고 하시는 분 참고하세요.
안녕하세요. 선생님께서 제공해주신 예제 코드에 아주 작은 오해의 소지로 인해 데이터 누락이 된다는 분들이 계셔, 글 남깁니다. 선생님께서 제공해주신 코드의 로직에는 문제가 없습니다~!다만, OrderDTO에 테이블 컬럼이 총 7개인데, txt 스크립트에서 send해서 split하는 array의 갯수는 총 8개입니다. 따라서, makeOrderDTO()하는 부분에서 index를 DB 테이블에 알맞게 작성해 주셔야 합니다~! console에서 에러 다 출력해 주는데, 예제코드 그대로 복붙해서 보시면 그냥 뭐가 문제죠? 라고 할 수 있지만, 자세히 보시면 에러가 발생하는 걸 알 수 있습니다. <수정 전> <수정 후>
-
미해결[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
mysql 설치가 되지 않습니다.
아래와 같은 에러로 mysql의 설치가 되지 않습니다. 분명, 제어판에서 mysql을 모두 삭제하고 다시 재설치를 진행하였는데도 불구하고, 계속해서 에러가 발생하여 강의 진행이 어렵습니다. Beginning configuration step: Writing configuration file Saving my.ini configuration file... Saved my.ini configuration file. Ended configuration step: Writing configuration file Beginning configuration step: Updating Windows Firewall rules Adding a Windows Firewall rule for MySQL92T on port 3306. Attempting to add a Windows Firewall rule with command: netsh.exe advfirewall firewall add rule name="Port 3306" protocol=TCP localport=3306 dir=in action=allow 확인됨 Successfully added the Windows Firewall rule. Adding a Windows Firewall rule for MySQL92T on port 33060. Attempting to add a Windows Firewall rule with command: netsh.exe advfirewall firewall add rule name="Port 33060" protocol=TCP localport=33060 dir=in action=allow 확인됨 Successfully added the Windows Firewall rule. Ended configuration step: Updating Windows Firewall rules Beginning configuration step: Adjusting Windows service Attempting to grant the required filesystem permissions to the 'NT AUTHORITY\NetworkService' account. Granted permissions to the data directory. Granted permissions to the install directory. Adding new service New service added Ended configuration step: Adjusting Windows service Beginning configuration step: Initializing database (may take a long time) Attempting to run MySQL Server with --initialize-insecure option... Starting process for MySQL Server 9.2.0... Failed to start process for MySQL Server 9.2.0. Database initialization failed. Ended configuration step: Initializing database (may take a long time)
-
미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
안녕하세요. 처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요 파티션을 늘린다다는것은 카프카 설정에서 설정할 수 있을 것 같은데.. 컨슈머를 늘린다는것은 eks 에서 본다면 pod를 더 늘린다고 보면 될까요? 그리고 일반적으로 컨슈머 서버는 서버 1개마다 컨슈머 1개만 할당하는 방식으로 운영하시는지 궁금합니다.(서버 1개에 5개의 토픽을 구독 vs 서버 1개당 토픽구독은 1개만)
-
미해결[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
강의 결과 질문 - SQLD, 데이터베이스 설계, 프로젝트 구축 하여 취업
안녕하세요.잔재미코딩님 인트로만 몇가지 보다가, 강의 12개 구매한 유저 입니다.저를 비롯하여 많은 분이 궁금하실만한 내용을 문의 드립니다! 현재 저는-python 기반의 django프로젝트를 따라치는 것으로만 블로그, 게시판만 만들었습니다.막상 혼자 만들려고 하면 막막해서 익숙해질때까지 해보자는 마음으로 약 10개정도 처음부터 끝까지 따라하고 따라했는데도 리팩토링은 가능하지만, 혼자 구축하기는 약간 어려움이 있습니다.-SQL의 경우에도 기초 구문이나 명령문 실행으로 인한 결과등은 알아도 데이터 설계는 5개 이상만 연결하려고 해도 약간은 막막하더라구요.총 학습기간은 파이썬 + 장고 + sql +html, css, javascript 로만 처음부터 지금까지 약 2년정도는 공부한 것 같은데, 방향성이 모호해서 그랬는지, 너무 덕지덕지 가져와서 기워붙였는지 실질적으로 스스로 할 수 있는 것은 많이 없습니다. 이런 상태에서 잔재미코딩 님의 강의 12강의 모두 학습하고 나서 기대할 수 있는 결과로는-sqld 가뿐히 합격할 정도-데이터베이스 어떤 모습이여도 너무 고급정도가 아닌 중급정도라도 수월하게 설계하고 만들 수 있을 정도-원하는 프로젝트 왠만한 것은 다 만들 수 있을까요?그렇기에 나아가서 취업적 역량을 가지고 충분히 취업할 수 있게 될까요?
-
해결됨[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
지마켓 파일 불러왔는데, 테이블이 생성이 안됩니다
섹션8 - 30강 에서 시키는대로 CREATE DATABASE bestproducts USE bestproducts 하고 데이터 items, ranking 파일 불러왔는데요문제없이 실행이 되는데 테이블에 추가가 안됩니다 (새로고침 해도 안뜸)문제를 풀어볼 수가 없어서 답변 부탁드립니다