173만명의 커뮤니티!! 함께 토론해봐요.
미해결
다양한 사례로 익히는 SQL 데이터 분석
기존 문의사항 보고 작성해주신 답편대로 다 따라햇는데 ga_export 용량이 커서 스크립트 업로드가안돼요 DBEAVER 용량을 20,000M 이상으로 키울 경우 DBEAVER 실행이안돼요.. 텍스트 에디터 사용하여 복+붙해도 용량이 크다고안됩니다. 해결방법 알려주세요ㅠㅠㅠ
미해결
갖고노는 MySQL 데이터베이스 by 얄코
🛑 이곳에 질문하지 마세요!!! 질문은 강의페이지에 안내드린 방식으로 이메일로 보내주세요! ⭐ 강의질문은 꼭 이렇게 보내주세요! | 얄코 (yalco.kr)
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
안녕하세요 카프카 스트림즈 학습중에 궁금한 점이 있어 질문드립니다. 예를 들어 말씀드리겠습니다 kstream 으로 변경되는 상품의 가격 정보를 받아온다고 가정하고, ktable 로 해당 상품의 마스터성 정보를 받는다고 해보겠습니다. 카프카 스트림즈를 써도 결국엔 카프카 브로커에 로그로 쌓이는 것이고, 로그 압축이나 삭제 정책에 따라 A라는 상품의 정보가 있다가 사라질 수 있을 것 같은데요 4월 1일에는 A상품의 정보(상품이름, 판매처 등)가 로그에 있어서 데이터를 읽어올수 있었지만 4월4일에는 기간이 지나 삭제되었다거나 하는 경우가 있을 것 같아서요 카프카 스트림즈를 띄우는 서버의 메모리나 로컬 디스크에 모든 내용을 가지고 있는 건지가 궁금하구요 만약 해당 서버에 데이터가 있다면 서버가 다운되거나 했을때 리밸런싱 혹은 서버가 재시작 되었을때 사라진 로컬데이터의 복구 기능이 구현되어있는 건지 궁금합니다 또한 로컬에 저장된다면 그동안 스트림을 거쳐간 모든 데이터를 가지고 있는건지.. 데이터가 대용량이 된다면 로컬 머신의 저장공간을 고려해야하는지 궁금합니다 그리고.. 만약 카프카 스트림엔 데이터가 없고 rdb등의 저장소에 데이터가 있다면 이걸 가져와서 쓸수 있는지도 궁금합니다
미해결
15일간의 빅데이터 파일럿 프로젝트
가상서버 이미지 다운시 전체 용량을 다운로드 못받네요. 확인 후 다시 링크 주시면 감사하겠습니다.
미해결
카프카 완벽 가이드 - 코어편
안녕하세요. 강의 잘 수강중입니다. 다름 아니라, kafka에서 elastic search로 저장하는 일을 조만간 할 예정입니다. 본 과정을 다 수강하고 나면 그런 응용력이 생길지요? 아니면 connect 편 까지 다 수강해야 elastic search에 저장하는 응용력을 키울 수 있을지 문의드립니다. 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요~선생님, 강의를 잘 해 주셔서 현재 RStudio를 진행하고 있는데 클라우라가 작동 되지 않습니다. 강의 후반에 오면서 메모리 문제가 발생했는데 어떻게 조치해야 합니까? 이전에 질문 조회를 해서 불필요한 파일 삭제하고, hadoop fs -setrep 1 /명령도 실행해 보았습니다. 클라우데라 현상태는 아래와 같습니다,, 제 PC사양은 RAM 32GB이고 아래와 같습니다
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
안녕하세요 강사님 제 노트북은 windows 11 인데 docker desktop이 처음엔 실행이 잘되었는데 최근부터 docker desktop을 실행시키면 docker desktop starting이 무한 로딩 되다가 결국 fail 됩니다. 첨부한 사진과 같은 에러창이 뜨는데 구글링해서 나온 방법 대부분 적용해봤는데도 실행이 안되고 있어요,, 정 안되겠으면 가상 os를 이용해야 할 것 같은데 혹시 해결책이 있을까요..?? 1주일넘게 안되고 있으니 답답하네요ㅜㅠ
미해결
카프카 완벽 가이드 - 커넥트(Connect) 편
안녕하세요. 강의를 들으며 테스트 해보던 도중에 질문이 있습니다. mysql -> elasticsearch 로 데이터 마이그레이션에 connector 를 활용하려고 테스트를 하고 있습니다. 그래서 DB 에 있는 여러 테이블 중 필요한 일부 테이블만 커넥터 생성 시 등록하려고 합니다. 하지만, 이후에 같은 DB 내에 다른 테이블도 필요해지는 상황이 올 경우가 생길텐데 이런 경우에 어떻게 대응하는 것이 좋은 방법인지 궁금합니다. 이런 요구사항들이 생길 때마다 커넥터를 하나씩 더 등록 -> 같은 DB 를 바라보는 커넥터가 여러개이면 비효율적이지 않을까 싶었습니다. 이런 상황을 대비해서 커넥터 등록시 DB 내의 모든 테이블을 등록 -> DB 내에 꽤 많은 테이블이 있어 카프카의 스토리지 및 비용 등의 문제가 있지 않을까 싶었습니다. 위의 방법 정도로 생각이 드는데, 조언 부탁드립니다.
해결됨
카프카 완벽 가이드 - 커넥트(Connect) 편
안녕하세요 선생님 가상머신 우분투에 올려서 터미널로 프로듀싱한 레코드를 스프링에서 컨슈밍해서 보려고하는데 터미널 컨슈머에서는 정상으로 레코드를 받아오는데 스프링에서는 브로커에 닿지 않는 것 같은데 혹시 서버 프로퍼티 문제일까요? 어떻게 하면 브로커에 연결이 될까요 ? package com.example; import com.fasterxml.jackson.core.JsonProcessingException; import com.fasterxml.jackson.core.type.TypeReference; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import org.apache.kafka.common.serialization.StringDeserializer; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import com.fasterxml.jackson.databind.ObjectMapper; import java.time.Duration; import java.util.*; public class SimpleConsumer { private final static Logger logger = LoggerFactory.getLogger(SimpleConsumer.class); private final static String TOPIC_NAME = "test"; private final static String BOOTSTRAP_SERVERS = "localhost:9092"; private final static String GROUP_ID = "test-group"; public static void main(String[] args) { Properties configs = new Properties(); configs.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, BOOTSTRAP_SERVERS); configs.put(ConsumerConfig.GROUP_ID_CONFIG, GROUP_ID); configs.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); configs.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(configs); consumer.subscribe(Arrays.asList(TOPIC_NAME)); while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1)); for (ConsumerRecord<String, String> record : records) { logger.info("record:{}", record); String message = record.value(); System.out.println(message); } } } 구동시 에러 [main] INFO org.apache.kafka.clients.consumer.ConsumerConfig - ConsumerConfig values: allow.auto.create.topics = true auto.commit.interval.ms = 5000 auto.offset.reset = latest bootstrap.servers = [localhost:9092] check.crcs = true client.dns.lookup = default client.id = client.rack = connections.max.idle.ms = 540000 default.api.timeout.ms = 60000 enable.auto.commit = true exclude.internal.topics = true fetch.max.bytes = 52428800 fetch.max.wait.ms = 500 fetch.min.bytes = 1 group.id = test-group group.instance.id = null heartbeat.interval.ms = 3000 interceptor.classes = [] internal.leave.group.on.close = true isolation.level = read_uncommitted key.deserializer = class org.apache.kafka.common.serialization.StringDeserializer max.partition.fetch.bytes = 1048576 max.poll.interval.ms = 300000 max.poll.records = 500 metadata.max.age.ms = 300000 metric.reporters = [] metrics.num.samples = 2 metrics.recording.level = INFO metrics.sample.window.ms = 30000 partition.assignment.strategy = [class org.apache.kafka.clients.consumer.RangeAssignor] receive.buffer.bytes = 65536 reconnect.backoff.max.ms = 1000 reconnect.backoff.ms = 50 request.timeout.ms = 30000 retry.backoff.ms = 100 sasl.client.callback.handler.class = null sasl.jaas.config = null sasl.kerberos.kinit.cmd = /usr/bin/kinit sasl.kerberos.min.time.before.relogin = 60000 sasl.kerberos.service.name = null sasl.kerberos.ticket.renew.jitter = 0.05 sasl.kerberos.ticket.renew.window.factor = 0.8 sasl.login.callback.handler.class = null sasl.login.class = null sasl.login.refresh.buffer.seconds = 300 sasl.login.refresh.min.period.seconds = 60 sasl.login.refresh.window.factor = 0.8 sasl.login.refresh.window.jitter = 0.05 sasl.mechanism = GSSAPI security.protocol = PLAINTEXT security.providers = null send.buffer.bytes = 131072 session.timeout.ms = 10000 ssl.cipher.suites = null ssl.enabled.protocols = [TLSv1.2] ssl.endpoint.identification.algorithm = https ssl.key.password = null ssl.keymanager.algorithm = SunX509 ssl.keystore.location = null ssl.keystore.password = null ssl.keystore.type = JKS ssl.protocol = TLSv1.2 ssl.provider = null ssl.secure.random.implementation = null ssl.trustmanager.algorithm = PKIX ssl.truststore.location = null ssl.truststore.password = null ssl.truststore.type = JKS value.deserializer = class org.apache.kafka.common.serialization.StringDeserializer [main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka version: 2.5.0 [main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka commitId: 66563e712b0b9f84 [main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka startTimeMs: 1679530659001 [main] INFO org.apache.kafka.clients.consumer.KafkaConsumer - [Consumer clientId=consumer-test-group-1, groupId=test-group] Subscribed to topic(s): test [main] WARN org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-test-group-1, groupId=test-group] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. [main] WARN org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-test-group-1, groupId=test-group] Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected [main] WARN org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-test-group-1, groupId=test-group] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. [main] WARN org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-test-group-1, groupId=test-group] Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected [main] WARN org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-test-group-1, groupId=test-group] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. [main] WARN org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-test-group-1, groupId=test-group] Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected [main] WARN org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-test-group-1, groupId=test-group] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. [main] WARN org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-test-group-1, groupId=test-group] Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected [main] WARN org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-test-group-1, groupId=test-group] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. [main] WARN org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-test-group-1, groupId=test-group] Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected server properties ----------------------------------------------------- ++ 로컬 터미널에서는 스프링에 정상적으로 연동이 되는데 가상머신에서 띄운 터미널은 로컬터미널과 같은 토픽인데도 컨슈밍을 하지 않습니다 (스프링에도 가상머신에 띄운 프로듀서 레코드 전송은 안되는데 로컬 터미널 프로듀서에서 보낸 것은 받음 ) 로컬 가상머신 위와 같이 동시에 각각 터미널에 같은 토픽, 부트스트랩서버로 보냈는데 각각 터미널에서만 통신이 되는 것 같습니다 public class SimpleConsumer { private final static Logger logger = LoggerFactory.getLogger(SimpleConsumer.class); private final static String TOPIC_NAME = "study"; private final static String BOOTSTRAP_SERVERS = "localhost:9092"; private final static String GROUP_ID = "test-group"; public static void main(String[] args) { Properties configs = new Properties(); configs.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, BOOTSTRAP_SERVERS); configs.put(ConsumerConfig.GROUP_ID_CONFIG, GROUP_ID); configs.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); configs.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(configs); consumer.subscribe(Arrays.asList(TOPIC_NAME)); while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1)); for (ConsumerRecord<String, String> record : records) { logger.info("record:{}", record); String message = record.value(); System.out.println("message : " + message); } } } } [main] INFO com.example.SimpleConsumer - record:ConsumerRecord(topic = study, partition = 0, leaderEpoch = 0, offset = 3, CreateTime = 1679534086551, serialized key size = 1, serialized value size = 3, headers = RecordHeaders(headers = [], isReadOnly = false), key = 4, value = aaa) message : aaa [main] INFO com.example.SimpleConsumer - record:ConsumerRecord(topic = study, partition = 0, leaderEpoch = 0, offset = 4, CreateTime = 1679534345840, serialized key size = 1, serialized value size = 3, headers = RecordHeaders(headers = [], isReadOnly = false), key = 5, value = 555) message : 555 위에 터미널 프로듀서로 보낸 값만 넘어옵니다 이상입니다 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요. 빅디님의 책과 강의로 열심히 따라가고 있는데 여러 업무를 병행하다보니 강의의 반도 진행하지 못했습니다. 강의를 들으면 정말 제가 알지 못했던 분야를 너무 쉽게 알아가는 기쁨에 가슴이 뛰는데 업무에 치이면서 살다보니 어느덧 강의 만료일이 다가 왔습니다. 혹시 기간 연장을 조금 더 해주실수 있다면 부탁드리겠습니다. 이 강의는 꼭 완료하고 싶습니다. 부탁드리겠습니다. 감사합니다.
미해결
카프카 완벽 가이드 - 코어편
안녕하세요~ 강의 항상 잘듣고있습니다ㅎㅎ 배치사이즈를 작게하면 성능이 낮아지고 배치사이즈를 크게하면 ack유실시 중복처리가 많아져서 배치사이즈를 크게하고 ack(commit)을 전체가 아닌 일부분만 할 수 없을까? 생각하게되었어요. 예를들어서 1000개 배치로 가져오고 10개까지 commit, 100개까지커밋, .... 요런것도 가능할려나요?.?
미해결
스파크 머신러닝 완벽 가이드 - Part 1
안녕하세요. SPARK 2 강의는 언제 오픈할 예정일까요?
해결됨
mongoDB 기초부터 실무까지(feat. Node.js)
아래 명령어를 통해 transaction이 실패했을 때 원복한다고 하는데, 저런 것은 catch문에 넣어야 하는 것이 맞나요? 아니면 if else로 문제점을 발견했을 때 처리하게 하는 걸까요? 즉, 저 코드를 실제로 사용할 때, 어떤 모습으로 들어가는 지 궁금합니다. session.abortTransaction()
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
플랜도 1달러 카드 승인과 구독완료했는데 계속 이러네요...
미해결
데이터베이스 중급(Modeling)
이 테이블을 만들고 나서 데이터를 넣으려고 시도하면 오류가 발생합니다. sql mysql> insert into 신부(신부명) values("김신부"); 오류 메세지 Cannot add or update a child row: a foreign key constraint fails (`test2`.`신부`, CONSTRAINT 신부_FK FOREIGN KEY (`신부ID`) REFERENCES 신랑 (`신랑ID`)) 어떻게 하면 오류없이 데이터를 삽입할 수 있나요??
미해결
스파크 머신러닝 완벽 가이드 - Part 1
안녕하세요. 강의 수강 하면서 많은 도움이 되었습니다. 실무에서 Spark ML를 통해 학습한 모델을 저장 후 서빙할 때 어떤 방식으로 진행하는지 궁금하여 질문 드립니다. 저는 이전에 파이썬 사이킷런을 이용할 때, tensorflow 도커 이미지를 이용하여, rest api로 웹 서비스에서 사용할 수 있도록 진행 했었는데, Spark ML로 학습한 모델도 동일하게 진행하면 되는지 다른 방식으로 진행하는지 궁금합니다. 또한, 강의에서 LightGBM이 Spark 분산처리로 진행할 때, 성능이 좋지 못하게 나온다 라고 보여주셨는데, 실무에서 분류 계열 지도학습을 할때, 랜덤포레스트 또는 XGBoost를 주로 사용 하시는지도 궁금합니다! 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 지금까지 강의 잘 따라오고 있었는데요 spark ssh 접속하여 shell 실행 후 smartcar_master_df 생성까지 잘 되었는데 smartcar_master_df 조회를 하면 아래와 같은 오류가 발생합니다. 구글링해서 찾아봐도 해결이 안되는데 도움 부탁드립니다. >> 오류메세지 >> WARN cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
미해결
mongoDB 기초부터 실무까지(feat. Node.js)
이거 지워줘야합니다. 안그러면 /:blgoId get 요청 할 때, "error": "commentCount is not defined" 에러 나옵니다. 또, 여기 주석처리 풀어줘야합니다. 안그러면 다음강의에서, comment Post 할 때 "Cannot read properties of undefined (reading 'push')" 에러나요. 수업에서는 이부분에대한 조작없이 이미 되어있는 상태로 진행되고 나오지 않습니다. 다른 분들은 이거 다 알아서 해결하고, 수업진행하신건가;; 에러나서 진행이 안될텐데;; 게시판에 질문들이 없네요. ㅡㅡ;
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요. 업무를 병행하면서 학습을 하기 쉽지가 않네요... 혹시 연장 신청이 가능할지 궁금해서 문의 남깁니다. 가능하다면 꼭 좀 부탁드리겠습니다. 감사합니다.
미해결
카프카 완벽 가이드 - 커넥트(Connect) 편
안녕하세요. 선생님 강의를 듣고 kafka connect 매커니즘에 대해 상세하게 알게 됐습니다. 다만, 실무에 적용을 하는 도중 문제에 봉착해 도움을 구하고자 문의드립니다. 현재 debezium mysql connector를 사용하여 source 데이터는 topic으로 저장하는데 성공하였지만, 해당 데이터를 mongodb 에 저장하는데 저장/업데이트는 정상적으로 되지만 delete 시 반영이 안되는 문제가 있습니다. RDB와는 다르게 mongodb sink connector는 insert.mode는 지원하지 않고 write model Strategy 를 활용하는 걸로 보이는데, 아래와 같이 sink connector를 설정할 경우 account_id 를 key 로 해서 업데이트는 가능한데, 삭제는 안되네요? "connector.class": "com.mongodb.kafka.connect.MongoSinkConnector", "document.id.strategy":"com.mongodb.kafka.connect.sink.processor.id.strategy.PartialValueStrategy", "document.id.strategy.partial.value.projection.list":"account_id", "document.id.strategy.partial.value.projection.type":"AllowList", "writemodel.strategy":"com.mongodb.kafka.connect.sink.writemodel.strategy.ReplaceOneBusinessKeyStrategy", 혹시 Source 에서 입력, 업데이트, 삭제를 mongodb에 반영하려면 어떻게 해야 되는지 알 수 있을까요? 감사합니다.
