현재 로컬에서 강의 내용에 나온대로 부하테스트를 돌려봤는데요. 이걸 바탕으로 AWS EC2에 배포하고 부하테스트를 해보려고 합니다. 하지만 현재 프리티어를 사용하고 있어 비용문제는 어떻게 되는지가 궁금합니다. 여기서 궁금한 부분은 다음과 같습니다. EC2 환경에서도 똑같이 하면 되는건지? 트래픽을 보내면 요금이 청구될텐데 어떻게 해야하는지?
안녕하세요 선생님 빅데이터 분석에 관심이 있어 파이썬을 1도 모르는 상태에서 시작해 현재 선생님의 강의를 통해 많은 도움을 받고 있습니다. 현재 텍스트 마이닝 분석 방법으로 쓴 논문들을 보면 쇼핑몰 댓글 부터 해서 각종 SNS(페이스북, 인스타그램 등)의 댓글을 분석한 논문들을 많이 살펴볼 수 있는데 현재 파이썬 초보로서 데이터를 수집하는 과정(웹크롤링)이 제일 중요하고도 어려운 것 같습니다. 현재 텍스톰이나 빅카인즈 같은 웹사이트를 이용하는 것 말고 파이썬 으로 다양한 데이터를 직접 웹크롤링 해서 데이터를 수집하는 방법을 집중적으로 다룬 강의는 거의 찾아보기 어렵더라구요..ㅠㅠ 블로그 등에 검색해보면 코드가 공개된 것도 있지만 여기저기 코드 방식이 다 다양하고 막상 적용해서 실행해보면 또 에러 생기고 이유는 모르겠고 답답하더라구요. SNS 채널 및 쇼핑몰 댓글 등을 웹크롤링 하는 과정을 하나하나 다 보여주는 강의가 있으면 좋겠다고 생각하고 있는데 혹시 이렇게 여러 채널의 웹크롤링 과정만 다룬 강의를 올려주실 계획은 없으신지요?
보안 그룹 규칙 1 (TCP, 22, 0.0.0.0/0) 제거 유형 정보 ssh 프로토콜 정보 포트 범위 정보 소스 유형 정보 위치 무관 원본 정보 0.0.0.0/0 설명 - 선택 사항 정보 보안 그룹 규칙 2 (TCP, 80, 0.0.0.0/0) 제거 유형 정보 HTTP 프로토콜 정보 포트 범위 정보 소스 유형 정보 위치 무관 원본 정보 0.0.0.0/0 설명 - 선택 사항 정보 프로토콜, 포트 범위 및 소스가 동일한 보안 그룹 규칙이 이미 이 보안 그룹에 추가되었습니다. 각 규칙에는 프로토콜, 포트 범위 및 소스의 고유한 조합이 있어야 합니다. 위처럼 설정을 했을때 경고 창이 나오며 인스턴스가 만들어 지지 않는데 왜 그럴까요
https://github.com/egoing/django-tutorial-src 현재 컴퓨터 공학과로 편입하고 군복무중입니다. 복무중 토이프로젝트(to do list) 하나정도는 만들고 cs의 기본은 떼고 가자해서 파이썬을 배우고 장고를 배우고 있었습니다. 그리고 디자인 패턴을 공부하고 가장 쉽게 가르친다는 생활코딩의 장고 강의를 보면서 하려고 하는데 위 링크의 myapp의 views.py 에서 읽고 쓰고 수정하고 삭제하는 crud를 구현하는 코드를 잘 이해하지 못하겠어서 고민입니다. 분명 장고가 어떻게 구동되는 방식도 아는데 조금 무슨 개념을 몰라서 이해를 못하는지 답답합니다. 제가 그 부분의 코드를 이해하려면 어떤 공부를 먼저 해야할까요..?
안녕하세요. "실무로 배우는 빅데이터 기술" 교재와 15일간의 빅데이터 파일럿 프로젝트 강의에 열정을 쏟고 있는 학생입니다. 커뮤니티 게시판에 '고민있어요' 배너를 보고, 제 학습과 관련된 고민을 나누고자 글을 쓰게 되었습니다. 제 경험을 간단히 소개하자면, 약 2년간 직장에서 파이썬을 활용하여 크롤링, 분산 처리, API, DB 관리 등을 통해 데이터 수집 및 모델링 업무를 해왔습니다. 이후 데이터 엔지니어로 전환하면서, 본격적으로 이 분야를 공부하기 시작했습니다. Hadoop 생태계나 리눅스는 이전에는 이름만 들어본 적이 있었는데, 이번 강의를 통해 직접 프레임워크를 구축하고 설정하며, 데이터를 쌓아보는 경험은 정말 뜻깊습니다. 특히 Cloudera나 Git에서 'bigdata2nd-master' tar 파일을 받아 시스템을 구축하는 과정을 통해 전체적인 워크플로우와 업무에 대한 이해를 넓힐 수 있었던 점은 다른 어떤 강의보다 만족스러웠습니다. 처음 프레임워크를 하나하나 구축하고 설정하는 과정이 매우 어렵게 느껴졌는데, 이번 강의를 통해 크게 성장할 수 있었습니다. 강의 중 강사님께서는 프레임워크 자체에 집착하기보다는, 요구사항을 통해 세부적인 요구사항을 도출하고, 이를 해결하는 방법에 중점을 두라는 조언을 주셨습니다. 프레임워크가 어떻게 활용되는지를 이해하고, 실제 문제 해결에 적용하는 방향으로 학습하라는 조언은 매우 감사했습니다. 하지만, 저의 고민은 여기서 시작됩니다. 저만의 공부와 업무를 진행할 때, 대부분의 경우 도커 컨테이너 내에서 conf, yaml, Dockerfile 등을 직접 구성하거나 수정해야 할 것으로 압니다. Cloudera를 사용하지 않고 직접 프레임워크를 설계하며 공부를 해보고 싶은데, 이에 관련된 다른 강의나 학습 방향에 대한 조언을 구할 수 있을까요? 긴 글 읽어주셔서 감사합니다.
안녕하세요 박재성님! 강의 잘 봤습니다!! 강의를 완강하고 제가 만든 웹 애플리케이션 배포하고 싶어 도전하고 있는데 문제가 생겨 질문을 드립니다!! EC2에서 docker로 spring boot와 mysql를 띄우려고 하는데 이미지 빌드까지는 아무런 문제가 없으나 컨테이너를 띄우는 순간 터미널이 동작하지 않습니다. 또, 인스턴스와의 연결을 끊고 재연결하려고 해도 연결조차 안되는 상황이 많습니다. 결국 인스턴스를 재부팅하는데 똑같은 과정에서 항상 멈춥니다. 제가 생각하기에는 EC2 프리티어 사양이 낮아서 발생하는 문제 같은데 강의 초반부에 프리티어도 나름 괜찮은 사양이라고 말씀하셔서 제가 옳바르게 생각하고 있는지 잘 모르겠습니다! 스스로 해결하려고 했는데 도무지 모르겠어서 질문을 남깁니다! 혹시라도 짐작가는 부분이 있으시다면 알려주실 수 있을까요? 감사합니다!!!
안녕하세요! 큰돌님! 먼저 좋은 강의를 만들어주셔서 감사합니다. 덕분에 많은 걸 배우고 있어요! 저는 2월 달에 졸업을 앞두고 있고, 데이터 파이프라인을 설계하고 ETL을 개발하는 데이터 엔지니어가 꿈인 28살입니다.. 학교를 늦게 들어가서 시간이 많이 지체되었는데요. 취업을 위해서 어떤 방향으로 나아가야 할지 고민이 되어 이렇게 글을 작성하게 되었습니다. 현재 알고리즘은 백준 실버 1이고, 꾸준히 공부하고 있습니다. 프로젝트는 너무 간단한 걸 제외하면 혼자 AWS 서버리스 기반 프로젝트를 한 것이 전부입니다. 그리고 이 과정에서 AWS 아키텍트 어소시에이트 자격증까지 취득했습니다. 이러한 상황에서 프로그래머스 데이터 엔지니어링 데브옵스나 SW 마에스트로를 준비하고 있는데요. 솔직히 말해서 꼭 붙을거라는 보장도 없고 주변 사람들에 비해 나이도 적지 않은 거 같아서 취업에 대한 조바심이 납니다.. 본론을 말씀드리자면, 앞으로 국비교육을 준비하는게 최선일까요? 아니면 이런 스펙을 가지고 있더라도 더 독학하여 취업을 우선시 하는게 최선일까요? 혼자 고민을 많이 해봤는데 도저히 결론이 나질 않아 질문드립니다 ㅠㅠ 바쁘실텐데 답변해주시면 감사하겠습니다!
인프라에 대해 처음 공부하는 터라 막막함이 있어 강의를 수강하기 시작했는데요. 강의를 듣기 전 미션을 수행하려고 보니 네트워크와 리눅스 지식은 조금 있지만 도커나 was에 대한 학습 내용을 보니 저에게는 어려움이 다가왔습니다. 먼저 미션을 수행하기 전에 아래 도커공부를 먼저 하고 인프라 미션을 수행해야할까요? https://www.brainbackdoor.com/infra-workshop/docker-container
[실전]텍스톰 TEXTOM 실전 강의: 빅데이터 논문 작성을 위한 텍스트 분석/텍스트마이닝
N-gram 분석은 N개 단어의 연쇄를 확률적인 수치를 산출하고 시각화하는 방법으로 대용량의 문서에서 특정 단어 뒤에 위치하는 단어나 음절의 빈도를 정량적인 수치로 나타낼 수 있다(Kang & Lee, 20019). 단어 간 연결방향이 화살표를 통해 시각화되며 화살표의 굵기 크기를 통해 연결강도가 결정된다(Yoo et al., 2019). 또한 연관 단어 간 관계성을 분석하면 단어간 관계 파악에 용이다하다(Kim, 2020). 본 연구에서는 Textom에서 제공하는 N-gram 텍스트마이닝 기법 시 데이터의 흐름과 이해를 하기 위해 가장 먼저 기초 분석 자료로 활용되는 기법이기도 하다. 단어빈도에 기반한 분석은 전체 문서 내에서 특정 단어의 풀현 빈도를 나타낸다. 문서 내에 특정 단어가 등장하는 횟수를 나타내며 이수치값이 클수록 문서에서 자주 사용하는 단어임을 의미한다(Jang et al.,2018). 높은 출현 빈도를 나타내는 단어는 대체로 연구주제와 관련된 함축된 의미를 내재하고 핵심 단어로 작용 할 수도 있다(Lee,2022).