게시글
질문&답변
2024.04.24
Pull 쿼리 제약에 대한 이유
안녕하십니까. 네 말씀하신바와 비슷합니다. Topic을 바로 소스로 해서 table을 적용하기에는 너무 연산비용이 많이들고 그렇다고 rocksdb 에서 바로 관리하려고 해도 어쩠든 메모리나 추가적인 데이타용량이 너무 많이 들어서 아예 기능구현을 제한한거로 추정됩니다. 감사합니다
- 0
- 1
- 27
질문&답변
2024.04.24
셋팅 문제
안녕하십니까 기존 nw 스키마의 테이블이 삭제 되지 않았는데 데이타를 입력 해서 그런것 같습니다 Drop table 로 nw 스키마의 테이블들을 모두 지우시고 다시 데이타를 입력해 보시기 바랍니다 Postgresql은 최신버전이 아니어도 됩니다 감사합니다
- 0
- 1
- 16
질문&답변
2024.04.20
client encoding 관련 질문 드립니다
안녕하십니까, postgresql DB가 문자열 Encoding이 UTF8 되어 있어야 하는데 EUC_KR로 되어 있군요. DB 문자열을 UTF8로 변경하기 힘들면 set client_encoding을 EUC_KR이 아닌 EUC-KR 로 변경해 보시겠습니까? 감사합니다.
- 0
- 3
- 51
질문&답변
2024.04.16
order_items에 주문번호가 없는 order_id를 가진 orders데이터 찾기
안녕하십니까, b 테이블인 nw.order_items에 order_id가 null인 값은 아예 없습니다. Left outer join은 왼쪽 집합(테이블)을 기준으로 조인을 하되, 왼쪽 집합 데이터 중에 조인되지 않는 값도 그대로 결과로 보여 달라는 의미 입니다. 가령 orders 테이블 a의 order id가 1001 1002 1003 이 있고 order_items의 order_id가 1001 1002 이 있다면 orders a left join order_items b on a.order_id = b.order_id 를 하게 되면 1001, 1001 1002, 1002 1003, null 이 나오게 됩니다. 즉 orders 1003 order_id에 매핑되는 order_items order_id가 없지만 조인시 필터링하지 않고 그대로 왼쪽 집합을 유지하되, 오른쪽 집합의 order_id 값은 null값이 할당되게 됩니다. 감사합니다.
- 0
- 2
- 55
질문&답변
2024.04.15
Schema Registry 스키마 호환성 질문
안녕하십니까, 강의 칭찬해 주셔서 넘 감사드립니다. 1, 2번 모두에 대한 답변은 아래와 같습니다. Schema Registry에 Schema가 변경되어도 기존에 기동되는 Producer와 Consumer는 여전히 이전 버전 Schema를 바라보고 있기 때문에 자동으로 Producer와 Consumer에 반영되지 않습니다. 때문에 신규 버전 Schema를 반영하려면 Producer/Consumer는 재기동이 되어야 반영이 됩니다. 자동 반영이 되지 않는 이유로는 (개인적인 생각으로) 첫번째로, Schema Registry를 사용하는 분산 데이터 처리 솔루션들은 각자 고유한 영역이 있습니다. 빅데이터 솔루션들은 일반적으로 느슨한 형태로 다른 라이브러리들을 참조해 왔지만, 일체형으로 Schema Registry를 포함하려는 노력은 하지 않습니다. 마찬가지로 Schema Registry 역시 느슨한 협력을 원하지, 직접적으로 다른 분산 처리 솔루션들을 통제하려 하지 않습니다. 두번째로는 Producer/Consumer를 수동으로 내리지 않고, 자동으로 반영하는 절차는 위험을 가져올 요소도 많습니다. 분산 데이터 처리 솔루션들이 연결되어 작업하는 환경에서는 특정 스키마의 변경이 반드시 일관적으로 모두가 이를 다 반영하지 않을 수도 있습니다. 때문에 신규 스키마의 버전 반영은 Producer 또는 Consumer 재 기동이라는 사용자 수동 개입이 더 나은 운영 편리성을 제공할 수 있습니다. 3번 질문의 경우, 제가 많은 사이트를 확인해 본건 아니지만, Connector의 자동 스키마 변경은 적용하지 않습니다. 이유는 강의에서 계속 말씀드리지만, 자동 스키마 적용은 오류를 발생 시킬 여지가 많습니다. 때문에 스키마의 변경이 발생하면 Source Connector, Sink Connector Down 후 Source DB의 Schema, Target DB의 스키마를 모두 변경 후 다시 재기동합니다. 감사합니다.
- 0
- 1
- 48
질문&답변
2024.04.14
여러 개의 파티션을 가지는 메시지 전송 실습 / 질문
안녕하십니까, 지금 Producer 만드신 소스 코드가 무엇인지는 모르겠지만, key값이 없는 메시지가 특정 partition으로만 전송된다면 Producer에서 Custom Partitioning을 구현해서 특정 partition으로만 전송하게 되어 있는 것으로 보입니다. producer 소스코드를 먼저 확인해 보시고, 섹션 3. Java 기반 Producer 구현 실습 및 Producer 내부 메커니즘 이해 - 02 의 맨 마지막 강의 영상들이 Custom Partitioner 구현하기 이오니 강의 참조 해보셨으면 합니다. 감사합니다.
- 0
- 2
- 64
질문&답변
2024.04.12
회원가입 시 Customer type 구분
안녕하십니까, 아무거나 선택해도 무방할 것 같습니다. 직장이 있으시면 직장 선택 후 직장명을 입력해도 될 것 같은데, 먼저 개인을 해보시면 어떨까 싶습니다. 감사합니다.
- 0
- 2
- 60
질문&답변
2024.04.10
YOLOv3 loss 계산 질문
안녕하십니까? YOLOv3의 경우 logistic regression을 이용하여 anchor box의 objectness를 예측하는데 ground truth와의 IoU가 최고인 anchor box의 경우에만 1을 할당하고 나머지 anchor box의 objectness score는 무시한다고 이해했습니다. => 네, 맞습니다. loss를 계산할 때 모든 grid에 있는 모든 anchor box에 대해서 loss를 계산하는 것이 아니라, 학습 데이터에서 Iou가 최고인 anchor box에 대해서 학습 시마다 어떻게 예측을 했는지, 그리고 그에 따른 loss값을 계산하는 방식으로 되어 있습니다. 다만 no object loss인 경우에는 이와 반대로 IOU가 최고인 anchor box를 제외한 나머지 anchor box들에 대해서 loss를 계산합니다. 그러면 이미지에 객체가 하나가 있을 경우, 생성된 전체 anchor box 중에 객체의 ground truth와 IoU가 가장 높은 하나의 objectness score만 1이고 나머지 anchor box의 objectness score는 모두 0이 되는 건가요? 그리고 이 값을 이용해서 Object Confidence Loss가 계산되는건가요? => 네 맞습니다. 객체가 하나만 있다면 해당 객체가 소속된 anchor box의 ground truth object score는 1입니다. 그리고 학습 모델이 해당 객체가 소속된 anchor box의 예측 object score값을 계산하는데, 이 차이가 바로 loss가 됩니다. 그리고 전체 object loss는 앞에서 말씀드린 ground truth에 해당하는 object loss + ground truth가 아닌 anchor들의 no obj loss의 총합으로 계산됩니다. 감사합니다.
- 0
- 1
- 73
질문&답변
2024.04.10
<4장 랜덤 포레스트 실습> 강의에서
안녕하십니까, 강의를 잘 듣고 계시다니, 저도 기쁘군요 ^^ 둘다 최적의 파라미터를 적용하지만, 적용되는 데이터 세트가 다릅니다. GridSearchCV에서 X_train, y_train을 다시 학습과 검증으로 CV 횟수만큼 나누어서 학습 후 검증, 학습 후 검증을 반복하면서 성능 평가를 수행하고, cv 횟수 만큼 반복하면서 평균 성능 평가가 가장 좋았을 때의 하이퍼 파라미터를 계산해 줍니다. 하지만 이와 다르게 테스트 데이터 세트를 적용한 최종 평가는 결과가 달라질 수 있습니다. 평가를 위한 데이터 세트가 다르기 때문에 성능 평가 결과가 달라집니다. 감사합니다.
- 0
- 1
- 55
질문&답변
2024.04.10
수료증 발급문의
안녕하십니까, 수료증 발급 기준이 무엇인지 저도 잘 모르겠습니다. 이건 제가 설정하지 않고, 인프런에서 자동으로 설정한 것 같습니다. 인프런에 질문하는 메뉴가 어디 있을 것 같은데, 함 찾아보셔서 거기에 문의해 보시고, 정 못찾으시겠으면, 저한테 다시 글 남겨주시면 제가 문의해 보겠습니다. 감사합니다.
- 0
- 1
- 46