안녕하세요 M2 mac 환경입니다. mysql 및 mysql banch 설치하였고 mysql banch에서 실행 버튼만 누르면 자동으로 프로그램이 종료됩니다 ㅠ mysql 접속이 안되서 그런건가 하고 확인해보니까 mac시스템 설정에서 mysql에 들어가서 start mysql server을 클리하면 계속 start stop (초록 빨강)으로 깜빡거리는 현상도 있음을 발견햇어요 ㅠ 열심히 구글링했는데 도저히 해결책을 찾지 못해 글남겨요 ㅠ 8.0.32 arm64 설치했고요 ㅠ
안녕하세요 강의에서 멀티브로커 상에서 producer로 데이터를 집어 넣는 것은 실습을 하는데요 데이터를 읽을 때는 kafka-dump-log를 사용해서 읽습니다. 혹시 consumer를 사용해가지고는 멀티 브로커 상에서는 읽을 수 없나요? confluent kafka community 버전에서는 불가능한 건가요? 가능하다면 스크립트를 알려주시면 감사하겠습니다.
안녕하세요 수업 질문입니다. 저만 그런건지 age index를 생성하기 전인데도 불구하고, age로 sort 할 경우 성능이 오히려 3배 가량 향상됩니다.. ㅜㅜ sort를 작성할 경우 수업과 동일하게 sort_key_generator는 나타나지 않고, documents returned도 0 으로 표기 됩니다. 하지만 explain 탭이 아닌 documents탭에서는 정렬방식이 적용 되어 문제없이 조회되는 걸로 보아 문법을 작성을 잘못 한것 같지않고, sort를 작성하면 explain이 제대로 나타나지 않아 헤매이고있습니다. index의 장점을 직접 체험하기 위해 데이터는 약 100만개 정도 생성한 상태로 따라해보는데, 의도와는 다른 현상이 나타나 질문드립니다!!
안녕하세요! 조금 애매한 부분이 있어서요! - 브로커 3대 토픽 2개 파티션 - rf 설정 2 - 로 만약에 설정을 한다면, 각 브로커에 토픽 2개씩 설정이 된거고, 파티션은 2개로 설정했기에 브로커 3개에서 라운드로빈으로 설정이 되는건가요? 이게 .. 어렵네요. 브로커 3대. 딱설정하고.. 토픽이 2개라고한다면 각 브로커마다 토픽이 테이블처럼 있을거고.. 이제 파티션을 라운드로빈으로 돌려서 설정을 해야하는데.. 이게맞는거지 ㅠㅠㅠ
안녕하세요 spark 공부하면서 취준하고 있는 대학생입니다. 좋은 강의 제공해주셔서 감사합니다 :-) 다름이 아니라, 코드에 궁금한 점이 생겨서 문의 드립니다. mmlspark lightgbm 설치 후에 아래에 있는 코드를 실행 해야 하나요? Hyperlink로 접속을 해 봤는데 오류가 있는 거 같습니다. 스파크 프레임워크로 처음 공부를 해 봐서 제가 틀린 걸 수도 있습니다. 도움 부탁드립니다:-)
안녕하세요 강사님, 유익한 강의 감사드립니다. 멀티 노드 카프카 클러스터 부분을 EC2(t2.micro) 인스턴스에서 실습중에 문제가 생겨 질문드립니다. 1. 주키퍼 기동 2. 브로커1 기동 3. 브로커2 기동 4. 브로커3 기동 순서로 실행중에 브로커3을 기동하면 브로커 1이 중지되는 현상입니다. 다시 브로커1을 기동하면 브로커2가 중지되는걸 보면 브로커 3대가 함께 실행되지 않는것 같습니다. 바쁘시겠지만 도움 주시면 정말 감사드리겠습니다!
안녕하세요. 좋은 강의 감사합니다. TrainValidationSplit 수강 중 질문이 있습니다. TrainValidationSplit를 이용하여 학습과 검증 비율을 trainRatio 파라미터를 이용하여 나누게 되는데, TrainValidationSplit을 사용할 시 randomSplit은 사용할 필요가 없나요? 아니면 사용하는 경우가 있을까요? CrossValidator은 교차 검증 k fold 방식으로 알고 있는데, randomSplit에서 나눈 비율로 교차 검증을 진행하는 걸로 이해하면 될까요? 예를 들면 randomSplit 0.8(학습) 0.2(검증) 으로 나누었다면, 해당 비율로 교차검증을 진행하는지 궁금합니다. 마지막으로 현재 업무에서 스파크 스트리밍을 사용하고 있고 scala 기반으로 되어 있기 때문에 scala를 이용한 ml 도입을 고려하고 있습니다. 이때 강의에서 진행하는 pyspark과 비교하여 제공하지 않는 기능이라던지 고려해야 할 사항이 있을까요? 감사합니다!
m1 맥북사용자인데, 강사님 가이드에 따라 virtural box에 ubuntu를 해보려니, 설치가 안도고 계속 virtural box가 오류가 나서, 그냥 맥의 로컬에 설치하여 강의를 쫓아가고 있어요. 그런데, connector 부팅시 오류가 발생합니다. connect-distributed $CONFLUENT_HOME/etc/kafka/connect-distributed.properties groupId를 바꿔도 봐도 동일합니다. 해당 포트도 중복되나 싶어서 다른 것으로 바꿔도 동일합니다. 확인해 주실 수 있을까요? [2023-02-12 01:06:44,572] ERROR [Worker clientId=connect-1, groupId=connect-cluster-b] Uncaught exception in herder work thread, exiting: (org.apache.kafka.connect.runtime.distributed.DistributedHerder:334) java.lang.IllegalStateException: There are no in-flight requests for node 0 at org.apache.kafka.clients.InFlightRequests.requestQueue( InFlightRequests.java:62 ) at org.apache.kafka.clients.InFlightRequests.completeNext( InFlightRequests.java:70 ) at org.apache.kafka.clients.NetworkClient.handleCompletedReceives( NetworkClient.java:872 ) at org.apache.kafka.clients.NetworkClient.poll( NetworkClient.java:569 ) at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.poll( ConsumerNetworkClient.java:265 ) at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.pollNoWakeup( ConsumerNetworkClient.java:306 ) at org.apache.kafka.clients.consumer.internals.ConsumerCoordinator.poll( ConsumerCoordinator.java:536 ) at org.apache.kafka.clients.consumer.KafkaConsumer.updateAssignmentMetadataIfNeeded( KafkaConsumer.java:1262 ) at org.apache.kafka.clients.consumer.KafkaConsumer.poll( KafkaConsumer.java:1231 ) at org.apache.kafka.clients.consumer.KafkaConsumer.poll( KafkaConsumer.java:1211 ) at org.apache.kafka.connect.util.KafkaBasedLog.poll( KafkaBasedLog.java:315 ) at org.apache.kafka.connect.util.KafkaBasedLog.readToLogEnd( KafkaBasedLog.java:351 ) at org.apache.kafka.connect.util.KafkaBasedLog.start( KafkaBasedLog.java:201 ) at org.apache.kafka.connect.storage .KafkaConfigBackingStore.start( KafkaConfigBackingStore.java:294 ) at org.apache.kafka.connect.runtime.AbstractHerder.startServices( AbstractHerder.java:132 ) at org.apache.kafka.connect.runtime.distributed.DistributedHerder.run ( DistributedHerder.java:320 ) at java.base/java.util.concurrent.Executors$RunnableAdapter.call( Executors.java:577 ) at java.base/java.util.concurrent.FutureTask.run( FutureTask.java:317 ) at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker( ThreadPoolExecutor.java:1144 ) at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run( ThreadPoolExecutor.java:642 ) at java.base/java.lang.Thread.run( Thread.java:1589 ) [2023-02-12 01:06:44,582] INFO Stopped http_localhost8084@30cecdca{HTTP/1.1, (http/1.1)}{ localhost:8084 } (org.eclipse.jetty.server.AbstractConnector:381)
[리뉴얼] 처음하는 MongoDB(몽고DB) 와 NoSQL(빅데이터) 데이터베이스 부트캠프 [입문부터 활용까지] (업데이트)
안녕하세요 mongodb 수강 중 궁금한게 생겨서 질문드립니다. 현재 studio 3t로 데이터 입출력 하고있는데, putty로 우분투 접속 후 'sudo service mongod start' 후에 Studio 3T 접속한것과 putty를 실행하지 않고 Studio 3T 접속한 것의 차이를 모르겠습니다. 퍼티로 몽고DB 스타트를 하지 않아도 3T에서 데이터베이스 커넥트가 잘 되고 데이터 입출력도 잘 되더라구요 퍼티 실행 후 몽고DB start를 하는 이유가 무엇인가요?? 좋은 강의 잘 듣고있습니다 감사합니다!
도커 컨테이너를 run 명령어로 실행 시 컨테이너가 계속 새로 생성이 되는데요, 이런 식으로 사용하는 것이 맞는 건가요? 도커 start [컨테이너 네임] 으로 실행하면 기존에 있던 컨테이너가 다시 실행되는데요. run 명령어를 사용할 거면 이전에 만들어진 컨테이너를 자동으로 삭제하던가 해야 할텐데 현실에서는 어떤 방식으로 관리하는 지 궁금합니다.
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 강사님 공부하다가 궁금한게 생겨서 질문드립니다. 현재 클러스터 구성으로 실습을 진행중인데 broker 3개의 cluster에서 replication factor를 1로 설정하였습니다. 여기서 3번 브로커에 test라는 토픽을 생성후에 bootstrap-server 에 1,2번 서버를 넣고 토픽조회시 test 토픽이 조회가 되던데 복제본이 존재하지않는 상황에서 어떻게 조회가 되는건가요? 클러스터 구성시 자동으로 토픽을 공유하는건가요? 3번 브로커에 test라는 토픽을 생성하였고 복제본도 존재하지않고 리더파티션과 통신하는걸로 알고있는데 리더파티션이 3번에 존재함에도 불구하고 브로커 1번이나 2번을 기준으로 topic에 붙어서 producer에서 메시지가 보내지는 이유가 궁금합니다. 감사합니다.
