묻고 답해요
131만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
수강기한 연장 이벤트 신청 합니다.
안녕하세요 이번에 데이터 엔지니어 직무로 취업을 준비하고 있습니다.데이터 엔지니어가 되기 위해서 여러 강의들을 찾던중에 빅데이터 파이프라인에 대해서 이렇게 자세히 설명해주는 강의는 처음이였습니다. 남은 강의 잘 듣고 데이터 엔지니어가 되기 위해서 열심히 더 공부하도록 하겠습니다.
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
m1 mac에서의 실습환경
안녕하세요! m1 맥북으로 실습을 하려고 합니다.커뮤니티에 전부 window 관련 질문들만 있어 질문드려요 !맥북 사용시에 권장하는 환경 설정 방법을 알려주실수 있을까요? 다른분 질문에 답변으로 docker는 권장하지 않는다고 하셔서 UTM으로 우분투를 설치해보려고 했는데 에러가 계속 발생해서 어려움에 겪고 있습니다 ㅜ (virtual box 는 m1 맥에서 지원이 안되는 상황이구요..)
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
수강신청 프로모션 신청했습니다 ㅎㅎ
예전에 취준생 프로모션으로 현재 수업 잘듣고 있습니다ㅎㅎ 일년기한 연장 프로모션도 연 것 같아 구글설문지에 신청했습니다 10월이면 기한이 종료될 예정이라 연장부탁드립니다~~
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
수강기한 연장 이벤트 신청 합니다.
안녕하세요 강사님~.밑에 수강기한 1년 연장 이벤트 진행한다고 보았는데여기에 써도 되는건지 모르겠는데 괜찮으시다면 연장좀 부탁드리겠습니다.감사합니다~!
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
Hadoop 기본 제공 MapReduce 실행 에러
`bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input output_notice` 명령으로 wordcount 예제를 실행해보려고 하는데 자꾸만 에러가 납니다. Namenode도 초기화해보고, jps 입력해서 노드들이나 매니저들이 정상적으로 동작하고 있는지, 헬스체크 통해서도 용량이 부족하지는 않는지 확인하고 돌려보는데도 문제가 발생하네요.
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
Selenium 실습_chromedriver 에러 문의
안녕하세요 실습1강 팔로우중 문의사항이 생겨 글 드립니다. chrome 과 chrome driver 설치하여 selenium 실행 시, 아래와 같은 에러로 실행이 되지않습니다. 해당 에러를 해결하기위해chrome/chrome-driver 버전 맞춰서 설치selenium 다운그레이드 및 재설치 등 버전별 검토chromedriver 경로: find 명령어 사용하여 조회기타 코드 추가chrome_options = webdriver.ChromeOptions()chrome_options.add_argument('--headless') ... 어떤 수정이 필요한건지 알 수 있을까요?에러메세지Traceback (most recent call last): File "/home/ian/2023_BIGDATA/5_selenium.py", line 11, in <module> driver = webdriver.Chrome('/home/ian/2023_BIGDATA/chromedriver') File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/chrome/webdriver.py", line 76, in init RemoteWebDriver.__init__( File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/webdriver.py", line 157, in init self.start_session(capabilities, browser_profile) File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/webdriver.py", line 252, in start_session response = self.execute(Command.NEW_SESSION, parameters) File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute self.error_handler.check_response(response) File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace)selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally. (unknown error: DevToolsActivePort file doesn't exist) (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.) 실습 코드from selenium.webdriver.common.by import Byfrom selenium import webdriverchrome_options = webdriver.ChromeOptions()chrome_options.add_argument('--headless')chrome_options.add_argument('--no-sandbox')chrome_options.add_argument("--single-process")chrome_options.add_argument("--disable-dev-shm-usage")driver = webdriver.Chrome('/home/ian/2023_BIGDATA/chromedriver')driver.implicitly_wait(2)driver.get('https://www.daum.net/')
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
Replica Placement 질문
안녕하세요. 영상 7분 30초 경에 있는 ppt가 Replica Placement 를 설명해주고 있는데요.1번 단계에서 local rack에 replica를 하나 생성한다고 되어있는데 생성 위치가 same node of local rack 인가요? 아니면 different node of local rack 인가요?그림을 보면 same node of local rack 인데, 같은 노드에 replica를 배치하면 어떤 의미가 있나 궁금해서 질문 드립니다.감사합니다.
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
안녕하세요! 블로그 관련 질문드립니다
안녕하세요 강의 열심히 듣고있는 대학생입니다.최근 블로그를 시작하려고 준비 중입니다평소 강의 들으면서 노션에 정리한 내용들을블로그에 게시해도 괜찮을까요? 우선 이론과 실습은 설치 과정만 게시하려고 생각중입니다..!
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
실습 1과 Virtualbox 질문
안녕하세요! 제 OS는 윈도우인데요, 강의 섹션 1을 듣다가 궁금한 점이 있어서 질문을 올리게 되었습니다.강의 소개에 [OS] 우분투 or 리눅스[머신사양]- Aws t2.medium 2 Core 4GB // ec2 free.tier 참석은 가능 - Virtualbox 이용하여 위 OS로 참석가능이라고 안내되어 있는데요, 섹션 1 Data Acquisition [Basic] Crawling and Scraping(Urlib, BS4, Selenuim)을 실습할때부터 virtualbox 설치 후 우분투 환경에서 실습해야되는건지 궁금합니다.즉, 강의(섹션 15개) 중에서 어떤 섹션부터 리눅스와 그 Virtualbox 가 필요한지 궁금합니다! 섹션 1의 이론강의를 본 후 실습영상을 보고 따라하려고 하는데, 이때 윈도우에서도 가능한건지 아니면 지금부터 virtualbox상에서 우분투로 진행해야 되는건지 궁금합니다.감사합니다!
-
미해결ELK 스택 (ElasticSearch, Logstash, Kibana) 으로 데이터 분석
에러 확인 부탁드립니다
아래 에러 원인과 해결방법좀 부탁드려요(py310) user@user-desktop:~/Desktop/ELK$ curl -XGET localhost:9200 curl: (52) Empty reply from server
-
미해결ELK 스택 (ElasticSearch, Logstash, Kibana) 으로 데이터 분석
우분투 16.04 에 엘라스틱 서치 설치시 에러
연결이 거부된다고 뜹니다 ㅠ
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
스파크로 HDFS 구동하기
안녕하세요~ 대학교 한 학기처럼 탄탄하게 빅데이터 파이프라인 관련해서 차근차근 다뤄주시니 도움이 되고 있습니다. Spark Advanced 과정에서 Spark를 자세히 다루면서 학습하고 있습니다 혹시 과제가 있던데? 데이터를 Data Storage에서 배운 HDFS 위에 적재하고 Spark를 돌리면 너무 좋을 것 같은데 혹시 이 부분에 대해서도 가이드 해주시나요?감사합니다.
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
[섹션5] 실습 2 수업에서 S3 advanced assignment 질문 드립니다.
안녕하세요, 선생님. 이 글의 제목에 관련된 질문을 드리고 싶습니다.저는 코딩을 할 때 주로 Windows 환경에서 해왔고 그래선지 Python code를 실행시킬 때 script 실행을 하는 경험이 없었고 함수 지향 프로그래밍을 하면서 네임 내장 함수를 써가며 script 실행 시 argument를 사용하게 끔 코딩해본 적이 없습니다.본 강의에서 앞선 수업 때 이런 내용에 대해 다뤄주신 적이 있다면 모르겠지만, 그게 아니다보니 선생님께서 이 수업에서 내주신 숙제가 조금 overtraining처럼 느껴집니다. 관련 자료를 뒤져가며 공부하는게 도움이 될 수도 있겠지만 사정이 있어서 빠르게 본 강의를 마스터하고 싶은 마음이 큽니다. 선생님께서 답안을 주시면 그것가지고 공부를 하고 싶습니다. 허락해주신다면요.. 감사합니다.
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
본 강의에서 사용되는 OS
안녕하세요, 선생님. 강의에서 사용되는 Linux를 혹시 Docker 위에서 돌려도 괜찮을까요? 제가 Docker 사용에 능숙하지는 못해서 GUI환경은 구축하지 못했는데 혹시 CLI로만 수업을 따라간다고 했을 때 문제가 생기는 점이 있을지 궁금합니다.
-
미해결IT인을 위한 ELK 통합로그시스템 구축과 활용
_search keyword1 AND keyword2 질문
AND 띄어쓰기를 URI Encoding 처리 해야하는 경우가 있나요? 브라우저에서 직접 실행할때만 필요한건지_search?q=keyword1 AND keyword2 는 keyword1과 keyword2를 조회한다고 했는데 정확히 keyword1, keyword2를 모두 포함한 doc을 출력하는게 맞죠? OR 명령어도 있다고해서 질문드립니다.
-
미해결IT인을 위한 ELK 통합로그시스템 구축과 활용
elk ssl/tls 통신 설정 방법 문의드립니다.
교육을 보면서 현재 회사에서도 적용하려고 공부 중에 있습니다.모니터링 서버로 사용하기 위해서 SSL/TLS 암호화를 설정하고 싶습니다.간단한 강의 부탁드릴 수 있을까요?아니면 참고할만한 자료가 있으시면 공유 부탁드리겠습니다.엘라스틱 다큐 뒤지면서 이것저것 해보고 있는데 생각처럼 잘 안되네요.제가 원하는 그림은 다음과 같습니다.부탁드립니다.