173만명의 커뮤니티!! 함께 토론해봐요.
미해결
다양한 사례로 익히는 SQL 데이터 분석
안녕하세요. 윈도우 11 사용하고 있습니다. 실습 자료를 복원하는데 아래와 같은 문구가 나오면서 안 됩니다 .. 해결방법이 있을까요 ? unrecognized win32 error code: 123pg_restore: error: could not open input file "C:\Users\DS\Documents\???\????_?????_????\data_schema.backup": Invalid argument
해결됨
Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기
서버를 계속 켜두고 싶어서 사용하지 않는 노트북에 2gb ubuntu desktop을 설치했는데, 강의를 진행하는데 문제 없을까요? 해당 노트북은 다른 용도로는 전혀 사용하지 않고, 강의내용은 다른 pc에서 Xshell과 크롬 데스크톱 화면 공유를 활용하면서 실행하려고 해요.
해결됨
ELK 스택 (ElasticSearch, Logstash, Kibana) 으로 데이터 분석
curl -XPUT 'localhost:9200/basketball/_mappings' -d @basketball_mapping.json -H 'Content-Type:application/json' { "properties" : { "team" : { "type" : "text", "fielddata" : true }, "name" : { "type" : "text", "fielddata" : true }, "points" : { "type" : "long" }, "rebounds" : { "type" : "long" }, "assists" : { "type" : "long" }, "blocks" : { "type" : "long" }, "submit_date" : { "type" : "date", "format" : "yyyy-MM-dd" } } } curl -XPOST 'localhost:9200/_bulk' --data-binary @bulk_basketball.json { "index" : { "_index" : "basketball", "_id" : "1" } } {"team" : "Golden States Warriors","name" : "Stephen Curry", "points" : 30,"rebounds" : 3,"assists" : 4, "blocks" : 5, "submit_date" : "2016-10-11"} { "index" : { "_index" : "basketball", "_id" : "2" } } {"team" : "Golden States Warriors","name" : "Stephen Curry","points" : 32,"rebound" : 5,"assist" : 8, "blocks" : 5, "submit_date" : "2016-10-13"} { "index" : { "_index" : "basketball", "_id" : "3" } } {"team" : "Golden States Warriors","name" : "Stephen Curry","points" : 28,"rebound" : 2,"assist" : 3, "blocks" : 1, "submit_date" : "2016-10-17"} { "index" : { "_index" : "basketball", "_id" : "4" } } {"team" : "Golden States Warriors","name" : "Stephen Curry","points" : 36,"rebound" : 1,"assist" : 2, "blocks" : 1, "submit_date" : "2016-11-20"} { "index" : { "_index" : "basketball", "_id" : "5" } } {"team" : "Golden States Warriors","name" : "Stephen Curry","points" : 36,"rebound" : 1,"assist" : 2, "blocks" : 1, "submit_date" : "2016-11-25"} { "index" : { "_index" : "basketball", "_id" : "6" } } {"team" : "Golden States Warriors","name" : "Stephen Curry","points" : 32,"rebound" : 1,"assist" : 4, "blocks" : 1, "submit_date" : "2016-11-28"} { "index" : { "_index" : "basketball", "_id" : "7" } } {"team" : "Utah Jazz","name" : "Rudy Gobert", "points" : 3,"rebounds" : 11,"assists" : 4, "blocks" : 7, "submit_date" : "2016-10-12"} { "index" : { "_index" : "basketball", "_id" : "8" } } {"team" : "Utah Jazz","name" : "Rudy Gobert","points" : 4,"rebound" : 13,"assist" : 8, "blocks" : 5, "submit_date" : "2016-10-14"} { "index" : { "_index" : "basketball", "_id" : "9" } } {"team" : "Utah Jazz","name" : "Rudy Gobert","points" : 8,"rebound" : 10,"assist" : 3, "blocks" : 6, "submit_date" : "2016-10-18"} { "index" : { "_index" : "basketball", "_id" : "10" } } {"team" : "Utah Jazz","name" : "Rudy Gobert","points" : 12,"rebound" : 9,"assist" : 2, "blocks" : 6, "submit_date" : "2016-11-10"} { "index" : { "_index" : "basketball", "_id" : "11" } } {"team" : "Utah Jazz","name" : "Rudy Gobert","points" : 12,"rebound" : 14,"assist" : 2, "blocks" : 7, "submit_date" : "2016-11-22"} { "index" : { "_index" : "basketball", "_id" : "12" } } {"team" : "Utah Jazz","name" : "Rudy Gobert","points" : 8,"rebound" : 10,"assist" : 4, "blocks" : 5, "submit_date" : "2016-11-27"} { "index" : { "_index" : "basketball", "_id" : "13" } } {"team" : "Washington Wizards","name" : "John Wall","points" : 8,"rebound" : 1,"assist" : 13, "blocks" : 2, "submit_date" : "2016-10-18"} { "index" : { "_index" : "basketball", "_id" : "14" } } {"team" : "Washington Wizards","name" : "John Wall","points" : 13,"rebound" : 2,"assist" : 12, "blocks" : 3, "submit_date" : "2016-11-10"} { "index" : { "_index" : "basketball", "_id" : "15" } } {"team" : "Washington Wizards","name" : "John Wall","points" : 15,"rebound" : 3,"assist" : 12, "blocks" : 3, "submit_date" : "2016-11-22"} { "index" : { "_index" : "basketball", "_id" : "16" } } {"team" : "Washington Wizards","name" : "John Wall","points" : 22,"rebound" : 4,"assist" : 14, "blocks" : 3, "submit_date" : "2016-11-27"}
미해결
[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다) - 이외의 문의등은 평생강의이므로 양해를 부탁드립니다 - 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다 - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. mysql_basic 강의안 노트북에서 https://www.fun-coding.org/00_Images 여기서 가져오는 이미지들이 다 안보이는데 저만 그런걸까요..?
해결됨
mongoDB 기초부터 실무까지(feat. Node.js)
선생님, 안녕하세요! 좋은 강의 정말로 감사드립니다! 이번 강의를 보면서, 궁금한 게 생겼는데요. 이번강의에서 인덱스를 생성하면서, 탐색속도가 훨씬 빨라진다는 걸 알게되었습니다. 기존에 생성되어있는 (인덱스가 걸려있지 않은)데이터들에도 인덱스를 걸어주면 더 빨라지는 걸로 보이는데요. 그런데, 이번 강의에서 인덱스를 걸고 데이터를 생성하면, 인덱스를 걸지않았을 때보다 생성시간이 오래걸리는 부분이 있었습니다. 그렇다면 기존에 인덱스가 걸려있지않은 데이터들에 새로 인덱스를 걸 때는 기존 데이터들에 인덱스를 새로 걸어주는 건가요?
해결됨
mongoDB 기초부터 실무까지(feat. Node.js)
선생님, 안녕하세요. 좋은 강의 너무 감사드립니다. 답변도 잘해주셔서 너무 감사드려요! 이번 강의를 들으면서, Blog.updateMany( { "comments.user": userId }, { $pull: { comments: { user: userId } } } ) 이 구문이 나왔는데요. 여기서 updateMany의 첫번째 변수인 { "comments.user": userId }, 는 comments배열의 user가 userId인 객체를 찾는거고, { $pull: { comments: { user: userId } } } 여기서도 comments배열안의 user가 userId인 객체를 찾는 거라서, 사실상 같은거를 두번 써준 게 아닌가요?? 그래서 const [user] = await Promise.all([ User.findOneAndDelete({ _id: userId }), Blog.deleteMany({ "user._id": userId }), Blog.updateMany( { "comments.user": userId } // { $pull: { comments: { user: userId } } } ), Comment.deleteMany({ user: userId }), ]); 이런식으로 updateMany의 두번째 변수만 Blog.updateMany( { "comments.user": userId } // { $pull: { comments: { user: userId } } } ), 이런식으로 주석처리를 해줬습니다. 그러자 { "err": "Cast to ObjectId failed for value \"2023-07-03T10:17:04.313Z\" (type Date) at path \"user\" because of \"BSONError\"" } 이런 에러가 나왔어요. 그래서 확인해보니, User.findOneAndDelete({ _id: userId }), Blog.deleteMany({ "user._id": userId }), Comment.deleteMany({ user: userId }), updateMany말고 다른 구문들은 다 실행이 됬더라구요. 그래서 user도 삭제되고 블로그도 삭제되고, comment도 삭제되었지만 blog안의 user가 작성한 comment는 pull되지 않아서 그대로 남아있었습니다. 그런데 여기서 궁금한게, promise.all로 묶어서 같이 실행하면, 하나라도 에러가 나면 바로 실행을 중단하고 에러를 배출한다고 배운 것 같은데, Blog.updateMany의 아래 구문인, Comment.deleteMany가 실행됬더라구요. 트랜잭션까지는 아니더라도 updateMany에서 에러가 나면 Comment.deleteMany는 실행이 안될 줄 알았는데, 이거까지 실행된 거를 보면, Promise.all에서는 전부 순서없이 비동기로 동시에?실행되는 걸까요?
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
위 이미지처럼 파일 열어보니 대부분 다 잘려있는데 병합된 버전으로 다시 업데이트해서 올릴 계획이 있으실까요?
미해결
제주 하간디 이신 데이터들 Python으로 몬딱 분석해불게
제주지역에 해당하는 데이터만 뽑는 과정을 def cleaning(location): if location == '제주': return location else: return np.nan 로 하셨는데, raw_log[raw_log['지역(시도)']=='제주'].reset_index(drop=True) 로 하면 안되나요? 혹시 함수를 작성하는 경우가 메모리 상에서 좀 더 효율적인건가요?
해결됨
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
안녕하세요 멱등성 프로듀서를 사용할꺼면 기본 값이 retry가 INTEGER MAX, acks=all로 설정이 되는데 꼭 이 기본 값을 같이 사용해야지만 멱등성 프로듀서를 사용할 수 있는건가요?? 강의 마지막에 Consumer에서 단 한 번만 데이터를 처리할 수 있게 만들 수 있다고 하셨는데 이건 어떻게 하는 건지 알 수 있을까요?
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
안녕하세요. 질문이 두 가지 있습니다. 강의에선 node_modules가 호스트에 없어서 참조에서 제외하고, 나머지 소스코드는 존재하여 전부 참조하는식으로 진행이 되었는데, 그럼 docker build시 COPY ./ ./ 이부분은 아예 필요가없는거 아닌가요? 이미지에 이미 소스가 존재할텐데, 강의처럼 볼륨참조 설정을 넣어주면 컨테이너 생성 시, 이미 존재하는 소스는 호스트에서 가져와서 덮어쓰기된다고 이해하면 될까요?
해결됨
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
파티션 개수를 늘리면 프로듀서의 처리량이 늘어나는 게 맞을까요? 이게 맞다면 왜 파티션 개수를 늘리면 프로듀서의 처리량이 늘어나는 지 알 수 있을까요? 파티션이 2개라고 했을 때 프로듀서의 데이터를 넣는 게 파티션 A 넣고 파티션 B 넣고 파티션 A 넣고 이렇게 되면 파티션 하나 일 때랑 별 차이가 없을 것 같아서 질문 드립니다.
해결됨
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
안녕하세요 강의를 듣다보니 CommitAsync는 commitSync에 비해서 데이터 처리가 일시적으로 중단되지 않아서 더 좋아보이는데 CommitAsync의 단점은 없을까요? 운영환경에서도 보통 CommitAsync를 사용하시나요?
해결됨
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
kafka Producer를 사용할 때 Key 값을 사용하거나 커스텀 파티셔너를 사용하면 특정 파티션으로만 데이터를 넣을 수 있는데 특정 파티션으로 데이터를 넣는 가장 큰 이유가 데이터의 순서를 보장하기 위해서 인가요?? 아니면 다른 이유도 있을까요?? 강의를 들어보면서 순서가 중요하지 않다면 Producer key나 커스텀 파티셔너를 안 사용해도 될 것 같아서 질문드립니다.
해결됨
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
안녕하세요 LAG가 있을 때 컨슈머를 추가하는 것도 해결 방법 중 하나라고 하셨는데 정확히 어떻게 추가를 하는건지 알 수 있을까요? 예를 들어 Kafka 토픽 : test-topic 기존 컨슈머 그룹 이름 : test-consumer-group 기존 컨슈머 : 127.0.0.1 서버에서 a.jar 파일을 사용하는 컨슈머이고 test-consumer-group에 속해 있음 여기서 컨슈머를 추가하면 127.0.0.2 신규 서버를 하나 만들고 기존과 똑같이 a.jar 파일을 사용하면서 기존 test-consumer-group에 추가하고 test-topic을 컨슘하게 만들기만 하면 되는건가요??
미해결
15일간의 빅데이터 파일럿 프로젝트
좋은 강의에 항상 신경써주셔서 감사합니다 미처 수강하지 못한 부분이 있어서 수강을 하고자 합니다 너무 좋은 강의에 감사드리며 요청드립니다
미해결
스파크 머신러닝 완벽 가이드 - Part 1
안녕하세요. 강사님, 수업을 잘 듣고 있습니다! 다름이 아니라 spark_xgboost_lightgbm에서 버전이 바뀌면서 앞선 댓글을 통해 SparkXGBClassifier로 수정하여 해결은 하였으나, 새로 바뀐 XGB에서는xgb_model.feature_importances 이부분이 나오질 않아서, 혹시 SparkXGBClassifier의 featureImportances 를 보려면 어떻게 해야하는지 from mmlspark.lightgbm import LightGBMClassifier import mlflow lgbm_classifier = LightGBMClassifier(featuresCol="features", labelCol="label", numLeaves=100, maxDepth=10, numIterations=100) lgbm_model = lgbm_classifier.fit(train_sdf) -> 이부분부터 값이 나오질 않습니다. 오류메시지 org.apache.spark.SparkException: Job aborted due to stage failure: Task 4 in stage 73.0 failed 1 times, most recent failure: Lost task 4.0 in stage 73.0 (TID 285) (ip-번호.us-west-2.compute.internal executor driver): java.lang.NoSuchMethodError: com.microsoft.ml.lightgbm.lightgbmlib.new _doubleArray(J)Lcom/microsoft/ml/lightgbm/SWIGTYPE_p_double; 이 두부분에 대해서 문의 드립니다!
해결됨
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
안녕하세요 세그먼트가 00000.log, 00010.log, 00020.log가 있다고 하고 Consumer가 30번 offset까지 읽었을 때 offset 10 ~ 19번까지를 다시 읽고 싶으면 00010.log 파일을 사용하면 되는걸까요??
해결됨
mongoDB 기초부터 실무까지(feat. Node.js)
선생님 안녕하세요. 강의 정말 잘듣고 있습니다. 감사드립니다. 강의를 보다가 궁금한 점이 생겼는데요. 블로그에 코멘트를 넣을 때, 이렇게 했는데, const comment = new Comment({ content, user, blog }); await Promise.all([ comment.save(), Blog.updateOne({ _id: blogId }, { $push: { comments: comment } }), ]); 저는 처음에 이걸 보고 comment 콜렉션에 들어가는 다큐먼트와 blog에 들어가는 comment의 Id 가 다를 거라고 생각했어요. comment의 id는 디비에 직접 삽입 된 후에 반환될 거라고 생각했습니다. 그래서 promise.all을 이용해 한번에 처리하는 게 아니라, 순차적으로 await을 붙여서 해줘야 한다고 생각했었는데요. 그런데 결과를 보니 comment의 id와 블로그에 들어가 있는 comment의 id가 같더라구요. 정말 신기했습니다. 그래서 궁금한게, comment의 id는 const comment = new Comment({ content, user, blog }); 이 시점에서 생성되는 건가요? 아니면 다른 뭔가가 있을까요?? 궁금합니다~
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
안녕하세요, 강의 잘 봤습니다. 카프카의 실제 운영관점의 질문을 드리고자 합니다. 상황에 따라 다르겠지만, 카프카 브로커의 권장 cpu 스펙이 있을까요? 카프카 브로커의 cpu사용률은 무엇에 크게 좌우될지 궁금합니다. 예를들면, 토픽 및 파티션의 수에 비례한다든지, 메시지 사이즈에 비례한다든지 질문드리는 이유는 카프카를 신규 구성 예정인데요, 내부적으로 테스트 해봤을때 업무량에 크게 좌우되지는 않는 것 같았는데, 파티션 수가 많은 경우에 튀어 보이긴 합니다. 참고로 압축기능은 사용하지 않습니다.
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
elasticbeanstalk에 배포시 다음과 같은 에러가 뜹니다. 강사님께서 올려주신 linux2 버전 소스들을 참고했습니다. dockerfile과 docker-compose.yml 은 아래와 같습니다. 저는 elasticbeanstalk가 docker-compose 파일을 토대로 이미지를 생성하고 컨테이너를 생성한다고 이해했습니다. 구글링을 해봐도 잘 모르겠어서 진도를 못나가겠습니다... 부탁드립니다 ㅠㅠㅠ
