빅데이터/텍스트마이닝 분석법 (LDA,BERTtopic,감성분석,CONCOR with ChatGPT)
안녕하세요 선생님 제가 LDA분석방법으로 연구를 진행중인데 이 LDA분석 방법의 단점을 개선한 방법으로 딥러닝 방식인 BERTopic 분석 방법이 최근 등장해서 연구논문에 조금씩 등장하는걸 확인했습니다. 그래서 이 분석 방법에 흥미가 생겨 어떻게 할 수 있는지 인터넷, 책 등을 아무리 찾아봐도 직접적으로 연구에 어떻게 적용해서 하는 건지, 딥러닝 방식이라 학습시키는 데이터(말뭉치)는 또 어떻게 준비하는 건지.. 도통 모르겠고 도움을 받을 수 있는 길이 없는거 같아서 답답한 마음에 한번 여쭤봅니다. 혹시 연구논문에 적용가능한 BERTopic 분석 방법에 대한 강의를 올려주실 계획은 없으실지 궁금합니다!
안녕하세요 비전공자 직장인입니다. 퇴근후 딴짓 님 강의를 열심히 듣고 있습니다. 현재 작업형2 모의문제 2를 혼자서 풀고 있는데, 단순한 결측치 찾고, 샘플 찾고, 그런 것들은 하겠는데 이거를 모델링 하는 거에서부터 사실 멘붕입니다. 작업형1 모의문제를 풀 때도 똑같이 강의를 듣던것보다 더 어려워서 멘붕이 왔었습니다. 일단은 모르겠는 부분은 인지한 상태로 다시 반복하겠다는 의지로 계속 강의를 듣는 게 맞겠죠? 반복이 답이겠죠??
선생님, 강의 열심히 보고 있는데 제가 5월 중순부터 시작하면서 조금 일찍 시작했는데도 불구하고 암기 할 게 너~~~~~~무 많아서 큰일입니다 ㅠㅠ 단권화 시키려고 실기용 교재를 샀는데 정말 정말 이것만큼은 꼭! 외우고 가야하는 코드나 문법같은거를 정리해주실 수 있나요? (강의나...파일로) 사실 고득점 합격은 바라지도 않고 60점 턱걸이로라도 너무 붙고싶습니다!
안녕하세요. 대기업쪽에서 일을 하다보니, 클라우드가 아닌 로컬기반으로 개발을 해야하는 상황입니다. 저는 SAP ERP 라는 솔루션 개발자라서, 웹개발은 Todo list 정도는 만들 수 있지만 큰 전문성은 없습니다. 이런 경우 어떤 기술 스텍이 좋을까요? 제가 사람을 고용해서 혹은 제가 배워서 개발을 하게 될 것 같은데, Svelte가 여전히 괜찮을까요? Supabase, Vercel 은 클라우드 기반이라.. 이럴 때는 어떤 대안이 좋을지 .. 궁금합니다. 대기업이지만 해외라서 기회가 많이 있습니다. 전문분야와 함께 웹개발까지 가능하다면 큰 기회가 많을 것 같아서 새로운 분야를 시작해보려고 합니다.
안녕하세요. 초보자를 위한 BigQuery(SQL) 입문 잘 들었습니다. 생각보다 재미가 있어서 계속 해보려 하는데 무엇을 해야할지 잘 몰라서 고민입니다. 강의 후반부에 "앞으로 배우면 좋을 내용" 에 있는 순서대로 해보려 했습니다. 공식 문서와 블로그 글을 통해 ARRAY, STRUCT의 기본 공부를 했습니다. 다음으로 넘어가 복잡한 데이터 가공하기 부분을 하고 있습니다. 우선 bigquery의 공개 데이터를 사용해 보자는 생각을 했고 Google Trends datasets과 COVID-19 Public Datasets을 살펴봤습니다. 세부사항과 데이터를 보며 어떤 것을 의미하는지까지는 알 수 있었습니다. 다만 이후부터 어떻게 해야할지 감이 안 왔습니다. 강의를 수강할 때는 예제 문제들이 있으니 배운 것을 적용할 수 있었는데, 처음 보는 데이터고 어떤 목적을 갖고 분석을 해야할지 모르겠습니다. bigquery 프로젝트 예제를 찾아봤지만 마땅한게 없었습니다. 혹시 이 강의를 수강하고 연습해 보기 좋은 dataset과 어떤 방식으로 프로젝트를 진행해야 할지 알고 싶습니다.
안녕하세요 선생님 빅데이터 분석에 관심이 있어 파이썬을 1도 모르는 상태에서 시작해 현재 선생님의 강의를 통해 많은 도움을 받고 있습니다. 현재 텍스트 마이닝 분석 방법으로 쓴 논문들을 보면 쇼핑몰 댓글 부터 해서 각종 SNS(페이스북, 인스타그램 등)의 댓글을 분석한 논문들을 많이 살펴볼 수 있는데 현재 파이썬 초보로서 데이터를 수집하는 과정(웹크롤링)이 제일 중요하고도 어려운 것 같습니다. 현재 텍스톰이나 빅카인즈 같은 웹사이트를 이용하는 것 말고 파이썬 으로 다양한 데이터를 직접 웹크롤링 해서 데이터를 수집하는 방법을 집중적으로 다룬 강의는 거의 찾아보기 어렵더라구요..ㅠㅠ 블로그 등에 검색해보면 코드가 공개된 것도 있지만 여기저기 코드 방식이 다 다양하고 막상 적용해서 실행해보면 또 에러 생기고 이유는 모르겠고 답답하더라구요. SNS 채널 및 쇼핑몰 댓글 등을 웹크롤링 하는 과정을 하나하나 다 보여주는 강의가 있으면 좋겠다고 생각하고 있는데 혹시 이렇게 여러 채널의 웹크롤링 과정만 다룬 강의를 올려주실 계획은 없으신지요?
안녕하세요 '실습용 스키마 설치 이슈 시 적용하세요'라는 강의편에 맥북에서 create schema nw; 이렇게 DBeaver에서 실행을 하면 아래와 같은 에라가 뜨네요 ㅠ SQL Error [42501]: ERROR: permission denied for database postgres
안녕하세요. "실무로 배우는 빅데이터 기술" 교재와 15일간의 빅데이터 파일럿 프로젝트 강의에 열정을 쏟고 있는 학생입니다. 커뮤니티 게시판에 '고민있어요' 배너를 보고, 제 학습과 관련된 고민을 나누고자 글을 쓰게 되었습니다. 제 경험을 간단히 소개하자면, 약 2년간 직장에서 파이썬을 활용하여 크롤링, 분산 처리, API, DB 관리 등을 통해 데이터 수집 및 모델링 업무를 해왔습니다. 이후 데이터 엔지니어로 전환하면서, 본격적으로 이 분야를 공부하기 시작했습니다. Hadoop 생태계나 리눅스는 이전에는 이름만 들어본 적이 있었는데, 이번 강의를 통해 직접 프레임워크를 구축하고 설정하며, 데이터를 쌓아보는 경험은 정말 뜻깊습니다. 특히 Cloudera나 Git에서 'bigdata2nd-master' tar 파일을 받아 시스템을 구축하는 과정을 통해 전체적인 워크플로우와 업무에 대한 이해를 넓힐 수 있었던 점은 다른 어떤 강의보다 만족스러웠습니다. 처음 프레임워크를 하나하나 구축하고 설정하는 과정이 매우 어렵게 느껴졌는데, 이번 강의를 통해 크게 성장할 수 있었습니다. 강의 중 강사님께서는 프레임워크 자체에 집착하기보다는, 요구사항을 통해 세부적인 요구사항을 도출하고, 이를 해결하는 방법에 중점을 두라는 조언을 주셨습니다. 프레임워크가 어떻게 활용되는지를 이해하고, 실제 문제 해결에 적용하는 방향으로 학습하라는 조언은 매우 감사했습니다. 하지만, 저의 고민은 여기서 시작됩니다. 저만의 공부와 업무를 진행할 때, 대부분의 경우 도커 컨테이너 내에서 conf, yaml, Dockerfile 등을 직접 구성하거나 수정해야 할 것으로 압니다. Cloudera를 사용하지 않고 직접 프레임워크를 설계하며 공부를 해보고 싶은데, 이에 관련된 다른 강의나 학습 방향에 대한 조언을 구할 수 있을까요? 긴 글 읽어주셔서 감사합니다.
조금 긴 글이지만 적어보겠습니다. [백그라운드] 우선, 저는 고등학교는 한양공업고등학교 컴퓨터네트워크과를 졸업했습니다. C, C++, Java와 네트워크나 임베디드 관련 내용을 배우는 학과였습니다. 그리고 졸업 후에 미국에 주립대학교에 입학했으나, 4학년 1학기를 마치고 군대 문제와 집안 사정으로 한국으로 돌아왔습니다. 졸업은 못하고 온 상태입니다. 여러 사정으로 미국으로 돌아가지 못하고 한국에서 웹 개발자로 취업해서 지금까지 커리어를 이어오고 있습니다. 코로나 때 미국에서 원격 교육이 많이 생겼고, 운이 좋게도 원격으로 수업이 가능한 대학교에 3학년으로 편입하게 돼서 2024년 중반기 또는 하반기에 졸업 예정입니다. 학교의 수업은 시간이 정해진게 아니라 자율로 진도가 나가기 때문에 그 부분은 자유롭습니다. 현재 회사는 스타트업인데 작년에 큰 연봉을 약속 받고 이직을 했으나 올해 초부터 약속이 지켜지지 않았고, 이직을 고민하던 중에 어린 시절부터 꿈이였던 게임 프로그래머가 되기 위해서 회사에 역으로 딜을 제한해서 내년에 학원과 공부에 대한 시간을 보장 받는 대가로(현재도 100% 원격으로 일하고 있습니다.)남게 됐습니다. 근데 아무래도 나이도 있고, 제 인생을 걸고 하는 도전이라 궁금하고 두려움이 좀 있습니다. 제가 환경적으로 제한하지 않으면 공부를 집중적으로 하지 않는 성격이라 올해 학원을 등록하는 방향이 아니라면 잠시 꿈을 접고 타 회사로 이직을 하려고 합니다. [고민] 최근에 이름 있는 학원 5곳을 방문했습니다. 그중에서 마음에 들었던 곳은 쥬신, 어소트락, KGCA입니다. 아무래도 최종 목표가 그래픽스 엔지니어가 되는 것이라서 자체적으로 엔진을 만들어 볼 수 있는 기관에서 수업을 듣는 것이 좋다는 판단이 됐습니다. 그런데 어느 학원이 좋을지 의문입니다. 우선, 어소트락과 KGCA는 취업자에 대해서 조금 감추는 느낌을 받았습니다. 그래서 어떤 학원이 그나마 나을지 여쭤볼 분이 루키스님 말고는 없어서 이렇게나마 글을 올립니다 ㅠㅠ 제가 존경하는 프로그래머 분들이 대부분 그래픽스 엔지니어셨습니다. 그래서 저 또한 그래픽스 엔지니어가 되고 싶은데, 어느 부분을 중점적으로 공부해야하는지 궁급합니다. 그래픽스 엔지니어면 파트는 엔진 프로그래머쪽으로 지원하면 될지 아니면 또 다른 방향성이 있을지 궁금합니다 (클라이언트로 취업 후 다른 파트 등).
클라 프로그래머를 지망하는 학생입니다. 현재 컴공과 3학년이구요 게임 개발에 관심이 있어 선생님 강의를 보면서 및 여러 책들을 보면서 컴공지식, win api, c c++ , 자료구조 알고리즘 등을 공부하고 있는데요 이제 도대체 뭘 해야할지 감이 안잡힙니다. 너무 양이 방대해서 갈피를 못잡는 상황이랄까요 win api directx 유니티 언리얼 등 뭘 배워야할지도 모르겠고, 내가 언제쯤 돌아가는 게임을 만들 수 있을까라는 막연하뉴생각도 듭니다. 이제 3학년으로 올라가는 상황에서 남들보다 취업에 있어서는 시간이 좀 있는편이라고 생각하는데, 어떤식으로 공부해야할지 감이 안잡히는 상황이라.. 선생님께 조언을 부탁드려봅니다. 지금 c++, 자구 알고리즘 기초는 잡혀있는 상태고, 선생님 올인원 강의도 다 들었는데 이제 뭘 해야 좋을지.. 막막합니다. 학원을 다녀야 할까도 생각해보지만 지방이라 주변에 좋은 학원이 없기도 하구요
