강의자료요청
미해결
[핵집] 2025 빅데이터 분석기사(필기)_과목 1~2
안녕하세요! 빅데이터분석기사필기 1~2과목 신청하였습니다. 저도 통합 강의자료 주시면 감사하겠습니다! s2613517@naver.com
- 빅데이터
- bigdata
최지우
댓글 1
좋아요 0
조회수 826
묻고 답해요
172만명의 커뮤니티!! 함께 토론해봐요.
mac os ) zip 파일 dataframe 오류
미해결
스파크 머신러닝 완벽 가이드 - Part 1
안녕하세요 :-) 수업 잘 듣고 있습니다. 다름이 아니라 맥os 환경에서 보여지는 파일 형태가 달라서 문의드립니다. 맥 os 환경에서는, order_products_prior.csv.zip 파일을 풀고나면 하나의 csv파일만 나옵니다. 강의 동영상에서 처럼 압축을 푼 뒤에 여러가지의 파일과 폴더가 묶여 나오지 않습니다. 따라서 zip 파일 안에서 csv 파일을 다시 압축을 하고 싶지만 정상적으로 되지 않습니다. 제가 혹시나 해서 압축을 푼 뒤에 다시 csv 파일을 압축해 보았지만 결과는 다른 수강자님께서 겪고 있으셨던 화면과 동일했습니다. (zip 파일안에 다양한 파일이 존재한다는 오류) 혹시 제가 잘못하고 있던 것이라면 첨언 부탁드립니다 감사합니다.
- apache-spark
- 데이터 엔지니어링
- 머신러닝 배워볼래요?
- bigdata
lsb9938
댓글 1
좋아요 0
조회수 688
카프카 Consumer 작동 에러 (p.134)
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 수강 중 아래 실습 진행이 어려워 질문 드립니다. 수집 파일럿 실행 5단계에서 카프카 Consumer 작동 실습시 Resetting offset 문구가 뜨며 데이터 확인이 안됩니다. 시뮬레이터 재실행 및 스마트카 상태 정보 다시 옮겨 보았지만 안되었습니다. car-batch-log 를 확인했을때 위와 같이 뜨는데 상관없는지 궁금합니다. [오류문구] [root@server02 ~]# kafka-console-consumer --bootstrap-server server02.hadoop.com :9092 --topic SmartCar-Topic --partition 0 23/01/09 18:47:52 INFO utils.Log4jControllerRegistration$: Registered kafka:type =kafka.Log4jController MBean 23/01/09 18:47:52 INFO consumer.ConsumerConfig: ConsumerConfig values: auto.commit.interval.ms = 5000 auto.offset.reset = latest bootstrap.servers = [ server02.hadoop.com:9092 ] check.crcs = true client.dns.lookup = default client.id = connections.max.idle.ms = 540000 default.api.timeout.ms = 60000 enable.auto .commit = false exclude.internal.topics = true fetch.max.bytes = 52428800 fetch.max.wait.ms = 500 fetch.min.bytes = 1 group.id = console-consumer-96835 heartbeat.interval.ms = 3000 interceptor.classes = [] internal.leave.group .on.close = true isolation.level = read_uncommitted key.deserializer = class org.apache.kafka.common.serialization.ByteArray Deserializer max.partition.fetch.bytes = 1048576 max.poll.interval.ms = 300000 max.poll.records = 500 metadata.max.age.ms = 300000 metric.reporters = [] metrics.num.samples = 2 metrics.recording.level = INFO metrics.sample.window.ms = 30000 partition.assignment.strategy = [class org.apache.kafka.clients.consumer .RangeAssignor] receive.buffer.bytes = 65536 reconnect.backoff.max.ms = 1000 reconnect.backoff.ms = 50 request.timeout.ms = 30000 retry.backoff.ms = 100 sasl.client.callback.handler.class = null sasl.jaas.config = null sasl.kerberos.kinit.cmd = /usr/bin/kinit sasl.kerberos.min.time.before.relogin = 60000 sasl.kerberos.service.name = null sasl.kerberos.ticket.renew.jitter = 0.05 sasl.kerberos.ticket.renew.window.factor = 0.8 sasl.login.callback.handler.class = null sasl.login.class = null sasl.login.refresh.buffer.seconds = 300 sasl.login.refresh.min.period.seconds = 60 sasl.login.refresh.window.factor = 0.8 sasl.login.refresh.window.jitter = 0.05 sasl.mechanism = GSSAPI security.protocol = PLAINTEXT send.buffer.bytes = 131072 session.timeout.ms = 10000 ssl.cipher.suites = null ssl.enabled.protocols = [TLSv1.2, TLSv1.1, TLSv1] ssl.endpoint.identification.algorithm = null ssl.key.password = null ssl.keymanager.algorithm = SunX509 ssl.keystore.location = null ssl.keystore.password = null ssl.keystore.type = JKS ssl.protocol = TLS ssl.provider = null ssl.secure .random.implementation = null ssl.trustmanager.algorithm = PKIX ssl.truststore.location = null ssl.truststore.password = null ssl.truststore.type = JKS value.deserializer = class org.apache.kafka.common.serialization.ByteArr ayDeserializer 23/01/09 18:47:53 INFO utils.AppInfoParser: Kafka version: 2.2.1-cdh6.3.2 23/01/09 18:47:53 INFO utils.AppInfoParser: Kafka commitId: unknown 23/01/09 18:47:53 INFO consumer.KafkaConsumer: [Consumer clientId=consumer-1, gr oupId=console-consumer-96835] Subscribed to partition(s): SmartCar-Topic-0 23/01/09 18:47:53 INFO clients.Metadata: Cluster ID: AWKsMltnSBSo2f2sVF2P-g 23/01/09 18:47:53 INFO internals.Fetcher: [Consumer clientId=consumer-1, groupId =console-consumer-96835] Resetting offset for partition SmartCar-Topic-0 to offs et 14. 감사합니다.
- Hadoop
- bigdata
- 데이터 엔지니어링
- ZooKeeper
- Impala
- Flume
- Kafka
- redis
ldy242
댓글 2
좋아요 0
조회수 912
가상머신 로그인 콘솔 창 문제
해결됨
15일간의 빅데이터 파일럿 프로젝트
안녕하세요, 15일간의 빅데이터 파일럿 프로젝트 강의 수강생입니다. 유익한 강의 감사합니다. 설명을 잘해주셔서 큰 어려움 없이 듣고 있습니다. 다만, VM 환경 구성 중 로그인 관련 문제 가 생겨서 질문드립니다. Server01과 Server02 에서 모두 로그인을 요청 하고 있으며, 다음 단계 로 진행할 수 없습니다. 윈도우11 PC에서 Virtual Box 버전은 VirtualBox 6.1.40 입니다. 강의와 동일한 5 버전이 지원되지 않아서 가장 가까운 6.1.40 버전 과 최신 7 버전 으로 설치했습니다. C, D 드라이브 용량은 200GB 이상 여유공간이 있으며, SSD입니다. 아래는 과거 게시판 질문 답변과 구글링을 바탕으로 시도한 방법입니다. Virtual Box 삭제 및 설치 - 6, 7 버전 모두 시도 / Server01, Server02 파일 재다운로드 -> Host-Only Ethernet Adapter를 찾지 못하는 경우가 있었으나, Virtual Box의 Host-Only Ethernet Adapter 재설정 후 접속해도 로그인창이 나왔습니다. Host-Only Ethernet Adapter 에러 Failed to open/create the internal network 'HostInterfaceNetworking-VirtualBox Host-Only Ethernet Adapter' (VERR_INTNET_FLT_IF_NOT_FOUND). Failed to attach the network LUN (VERR_INTNET_FLT_IF_NOT_FOUND). 결과 코드: E_FAIL (0x80004005) 구성 요소: ConsoleWrap 인터페이스: IConsole {872da645-4a9b-1727-bee2-5585105b9eed} -> 해당 에러는 새로운 Host-Only Ethernet Adapter를 추가하여 해결되었습니다. ->Server02, 01 순서로 실행하고, 각각 하나씩 실행도 했습니다. 윈도우 제어판 Host-Only Ethernet Adapter 설정 -> 윈도우 제어판 네트워크 설정에서 Host-Only Ethernet Adapter 사용 안함으로 설정하고, 재설치하였으나 로그인창 문제가 해결되지 않았습니다. 현재 Virtual Box 네트워크 환경 설정입니다. 관련이 있는지는 모르겠지만, VBoxNetDHCP 프로세스 종료 후에도 진행하였으나 동일한 현상이 발생했습니다. 해당 문제를 해결할 방법 또는 추가로 시도할 방법이 있을까요? 답변 기다리겠습니다. 감사합니다.
- Hadoop
- bigdata
- Impala
- Kafka
- redis
- 데이터 엔지니어링
- ZooKeeper
- Flume
드인
댓글 1
좋아요 1
조회수 522
부록_실무로 배우는 빅데이터 기술-확장하기(유튜브 강의)
미해결
15일간의 빅데이터 파일럿 프로젝트
부록_실무로 배우는 빅데이터 기술-확장하기(유튜브 강의) 강의 교안 PPT를 받고 싶습니다 제공 가능한지 문의드립니다
- Hadoop
- bigdata
- 데이터 엔지니어링
- Impala
- Flume
- Kafka
- redis
- ZooKeeper
댓글 1
좋아요 0
조회수 580
메뉴 중에 '카페라떼'에 해당하는 가격만 보고 싶을 때는?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요, 강의를 듣다가 궁금해서 질문을 남겨 봅니다. df.loc[1, "가격"] 이렇게 해주면 4600 이렇게 해당하는 가격이 나오는 건 알겠는데요. 혹시 카페라떼의 행번호르 선택하지 않고, 순수하게 "카페라떼"여기에 해당하는 가격만을 검색해서 볼 수 있는 방법은 알 수 없을까요? 듣다보면 알려주실 거 같긴 한데, 갑자기 궁금해져서 이런저런 방법을 시도해도 안 돼서 이렇게 여쭙습니다.
- bigdata
- 머신러닝 배워볼래요?
- python
- pandas
- 빅데이터분석기사
onlykaggle
댓글 1
좋아요 1
조회수 360
기출예제세트2 중에서 작업형 제2유형 질문있습니다.
해결됨
빅분기 실기 1Day Class(R)
- #### [[ 작업형 제 2유형 ]] #### # 차량 가격을 예측하기 위해 선형 회귀분석을 활용하고자 한다. # 종속변수: Price # 독립변수: Age, KM, HP, Automatic, cc, ABS, Airco # 상기 조건을 기반으로 CD 플레이어가 있는 차량 데이터로 모델을 생성했을 때, # 해당 모델을 기준으로 모든 조건이 동일하다고 할 때 3개월을 더 운전했다면 # 차량 가격의 변화량을 정수부분만 출력하시오. # ※ Age는 차량 출고 후 실사용 기간을 월 단위로 기록한 변수 # 답안 예시: 123 1번 floor(as.numeric(coef(model)[2]*3)) 1번으로 하면 -542 2번 as.integer(as.numeric(coef(model)[2]*3)) 2번으로 하면 -541 인데요 문제에서처럼 정수부분만 출력하시오 이러면 1번처럼으로 해야 하나요 2번으로 해야 하나요 강의에서는 1번으로 설명하셨는데...... 좀 더 자세한 설명 부탁드립니다.^^~
- bigdata
너굴너굴
댓글 1
좋아요 1
조회수 241
구름 IDE
미해결
빅데이터 분석기사 시험 실기(Python)
10강 연습문제1에서 구름 IDE에 코드 복사해서 똑같이 실행했는데 실행화면에 아무것도 안뜨는데 왜그럴까요..ㅠㅠ
- python
- bigdata
김보희
댓글 2
좋아요 0
조회수 738
강사님의 Notion 페이지를 어떻게 접속하나요?
미해결
한 방에 끝! 빅데이터분석기사 실기 작업형
강사님, 안녕하세요. 첫 번째 "강의 소개 및 방향성 제시" 강의를 이수하고 Notion에 회원가입을 했습니다. 강사님의 Notion페이지 접속하려면 별도 URL을 알아야 하나요?
- notion
- bigdata
hgsmile855
댓글 2
좋아요 0
조회수 394
교재비 확인
해결됨
[2026 신규] 데이터분석 준전문가(ADsP) 자격증
안녕하세요? 이번에 빅분기 시험을 준비하는 겸 ADsP 준비를 하고자 이번 강의를 신청하게 되었습니다. 궁금한 내용이 있는데, 메일로 교재 관련 문의를 드리니까 15,000원으로 알려주시더라구요. 그래서 홈페이지 가격이 오른거라면 업데이트를 요청드리고자 합니다. 관련 내용 확인 부탁드립니다. 감사합니다!!
- bigdata
- R
- ADsP
Yonggu Choi
댓글 1
좋아요 0
조회수 237
좋은 강의 감사합니다.
미해결
[2026 신규] 데이터분석 준전문가(ADsP) 자격증
안녕하세요 강사님, 이번에 새롭게 강의를 수강하게 된 수강생입니다. 교재는 어디서 다운받을 수 있는지 문의 드립니다. 이메일 aqaq404@naver.com 입니다
- bigdata
- R
- ADsP
댓글 1
좋아요 0
조회수 212
zeppelin 오류
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요! 좋은 강의 잘 보고 있습니다~ 제플린 파트에서 다음과 같은 오류를 만나게되었는데 혹시 제가 놓친 부분이 있을까요?? 오류 메세지만으로는 알기가 좀 어렵네요 ㅠ 작성 내용은 예제 소스에서 biz_date 부분만 바꾸었습니다.
- bigdata
- Hadoop
- redis
- ZooKeeper
- Kafka
- 데이터 엔지니어링
- Flume
- Impala
엄창용
댓글 2
좋아요 1
조회수 667
mac으로 진행해도 큰 문제 없을까요?
미해결
15일간의 빅데이터 파일럿 프로젝트
Mac으로 환경 구성 하려고 하는데 앞으로 수업 내용들이 전부 Window 기준으로 되어있다고 하셔서, mac 사용시 혹시 크게 불편한 부분이 있나요?
- mac
- redis
- Flume
- Impala
- 데이터 엔지니어링
- Kafka
- ZooKeeper
- bigdata
- Hadoop
댓글 1
좋아요 0
조회수 342
카프카 아키텍처 (3/3) 질문
해결됨
15일간의 빅데이터 파일럿 프로젝트
멀티 브로커(Broker1, Broker2)와 Multi Node를 가지는 아키텍처에 대해서 설명해주셨는데요. 중간에 각 Broker에 있는 Topic들을 하나도 묶을 수 있다는 내용이 있는데 정확히 어떤 의미인가요? Broker들끼리 서로 데이터를 공유한다는 말인가요? Consumer 1과 Consumer2가 같은 저장소를 바라본다는 말씀이 Node 1에 접근하더라도 Node 2에 있는 데이터에 접근 할 수 있다는 의미인가요?
- Hadoop
- bigdata
- 데이터 엔지니어링
- redis
- Kafka
- ZooKeeper
- Flume
- Impala
김주영
댓글 1
좋아요 0
조회수 267
virtualbox error
해결됨
15일간의 빅데이터 파일럿 프로젝트
vitualbox 최신 버전으로 설치하고 강의에 나와있는 부분을 따라서 실행하다가 클러스터 설치 중 다음과 같은 에러가 발생합니다. vitualbox 다른 버전으로 설치하면 아예 실행도 안됩니다. (강의자료 19페이지 수행 중 에러 발생)
- bigdata
- Hadoop
- Kafka
- redis
- Flume
- 데이터 엔지니어링
- Impala
- ZooKeeper
김주영
댓글 1
좋아요 0
조회수 368
java 버전 선택 관련 질문
해결됨
15일간의 빅데이터 파일럿 프로젝트
1. java 버전으로 1.8을 설치한다고 하셨는데 1.8로 설치하는 이유를 알고 싶습니다. 2. 환경 변수에 이미 JAVA_HOME이 있으면 어떻게 해야하나요? 3. 이클립스 installer를 다운받고 실행했더니 다음과 같이 뜨는데 어떤 것을 설치해야하나요 4. vitualbox download 하는 부분에서 no longer supported라고 명시되어있음에도 다운받아서 사용하는 이유를 알고 싶습니다. 5. 파일질라를 사용하는 대신에 scp 나 rsync 명령어를 사용하여 진행할 수 있을까요
- java
- bigdata
- Hadoop
- 데이터 엔지니어링
- Impala
- ZooKeeper
- Kafka
- Flume
- redis
김주영
댓글 1
좋아요 0
조회수 634
접근제어 보안 구조관련 질문
해결됨
15일간의 빅데이터 파일럿 프로젝트
아파치센트리의 경우 중앙에 서버를 두고 주변 노드들에게 접근 권한을 주는 것으로 이해를 했는데 커베로스는 클라이언트마다 서버를 따로따로 두는 것인가요? 커베로스도 KDC를 하나 두고 각 클라이언트들이 인증을 요청해서 티켓을 받는 방식인가요? 아, 아파치 센트리에서는 노드들에게 센트리 에이전트를 설치하는 대신 커베로스에서는 인증 요청하는 방식으로 진행되는 것인가요?
- 아파치센트리
- 커베로스
- bigdata
- Hadoop
- 데이터 엔지니어링
- redis
- ZooKeeper
- Flume
- Impala
- Kafka
김주영
댓글 1
좋아요 1
조회수 363
tail -f flume~ 오류
미해결
15일간의 빅데이터 파일럿 프로젝트
[root@server02 flume-ng]# tail -f flume-cmf-flume-AGENT-server02.hadoop.com.log value.serializer = class org.apache.kafka.common.serialization.ByteArray Serializer INFO org.eclipse.jetty.server.Server: jetty-9.3.25.v2018 0904, build timestamp: 2018-09-05T06:11:46+09:00, git hash: 3ce520221d0240229c86 2b122d2b06c12a625732 INFO org.eclipse.jetty.server.AbstractConnector: Started ServerConnector@470d2611{HTTP/1.1,[http/1.1]}{0.0.0.0:41414} INFO org.eclipse.jetty.server.Server: Started @5342ms INFO org.apache.kafka.common.utils.AppInfoParser: Kafka version: 2.2.1-cdh6.3.2 INFO org.apache.kafka.common.utils.AppInfoParser: Kafka commitId: null INFO org.apache.flume.instrumentation.MonitoredCounterGr oup: Monitored counter group for type: SINK, name: DriverCarInfo_KafkaSink: Succ essfully registered new MBean. INFO org.apache.flume.instrumentation.MonitoredCounterGr oup: Component type: SINK, name: DriverCarInfo_KafkaSink started INFO org.apache.kafka.clients.Metadata: Cluster ID: lhtw uwZxS2CI85Bn_v6BuQ 재시작 했는데도 안되네요 ㅠㅠ 문제점이 무엇일까요?
- Hadoop
- bigdata
- ZooKeeper
- Impala
- Kafka
- Flume
- redis
- 데이터 엔지니어링
코드몽키
댓글 2
좋아요 0
조회수 527
caret 패키기 설치가 안됩니다.
미해결
빅데이터분석기사 실기대비 (R 활용)
caret 패키기 설치가 안됩니다. ============오류메세지============= 경고메시지(들): In install.packages("caret") : 패키지 ‘recipes’의 설치가 0이 아닌 종료 ==================================
- caret패키기
- bigdata
이종범
댓글 1
좋아요 1
조회수 1346
yum install 에러 질문입니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
yum install -y gcc* 공지에 있는대로 한 후에는 다음과 같은 에러가 납니다.. 답변 부탁드립니다. [root@server02 ~]# yum install -y gcc* Loaded plugins: fastestmirror, refresh-packagekit, security Setting up Install Process Loading mirror speeds from cached hostfile http://vault.centos.org/6.10/os/x86_64/repodata/repomd.xml: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. It was impossible to connect to the Red Hat servers. This could mean a connectivity issue in your environment, such as the requirement to configure a proxy, or a transparent proxy that tampers with TLS security, or an incorrect system clock. Please collect information about the specific failure that occurs in your environment, using the instructions in: https://access.redhat.com/solutions/1527033 and open a ticket with Red Hat Support. http://vault.centos.org/6.10/extras/x86_64/repodata/repomd.xml: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. http://vault.centos.org/6.10/updates/x86_64/repodata/repomd.xml: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. Resolving Dependencies --> Running transaction check ---> Package gcc.x86_64 0:4.4.7-23.el6 will be installed --> Processing Dependency: cpp = 4.4.7-23.el6 for package: gcc-4.4.7-23.el6.x86_64 --> Processing Dependency: cloog-ppl >= 0.15 for package: gcc-4.4.7-23.el6.x86_64 ---> Package gcc-c++.x86_64 0:4.4.7-23.el6 will be installed --> Processing Dependency: libstdc++-devel = 4.4.7-23.el6 for package: gcc-c++-4.4.7-23.el6.x86_64 --> Processing Dependency: libmpfr.so.1()(64bit) for package: gcc-c++-4.4.7-23.el6.x86_64 ---> Package gcc-gfortran.x86_64 0:4.4.7-23.el6 will be installed ---> Package gcc-gnat.x86_64 0:4.4.7-23.el6 will be installed --> Processing Dependency: libgnat-devel = 4.4.7-23.el6 for package: gcc-gnat-4.4.7-23.el6.x86_64 --> Processing Dependency: libgnat = 4.4.7-23.el6 for package: gcc-gnat-4.4.7-23.el6.x86_64 ---> Package gcc-java.x86_64 0:4.4.7-23.el6 will be installed http://vault.centos.org/6.10/os/x86_64/repodata/5f7694d9c6c4a41dee56f51a965c3426ae2f685d6a9fb99d2e5a255c7bec0864-filelists.sqlite.bz2: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. Error: failure: repodata/5f7694d9c6c4a41dee56f51a965c3426ae2f685d6a9fb99d2e5a255c7bec0864-filelists.sqlite.bz2 from base: [Errno 256] No more mirrors to try.
- Kafka
- ZooKeeper
- redis
- Impala
- 데이터 엔지니어링
- Flume
- bigdata
- Hadoop
강한 도마뱀
댓글 2
좋아요 0
조회수 3525
인기 태그
인프런 TOP Writers
주간 인기글
- 🚀 끝까지 만들어 본 적 있나요? | 실서비스 완성 + 수익 창출 모임 💰 catalyst collectiv
- 🚀 IT 공부는 했는데 왜 아직도 안 될까요? | AI와 함께 실무 중심 IT 모임 🤖 NOESIS
- 🚀 끝까지 만들어 본 적 있나요? | 실서비스 완성 + 수익 창출 모임 💰 catalyst collectiv
- 🚀 끝까지 만들어 본 적 있나요? | 실서비스 완성 + 수익 창출 모임 💰 catalyst collectiv
- 🚀 IT 공부는 했는데 왜 아직도 안 될까요? | AI와 함께 실무 중심 IT 모임 🤖 NOESIS