빅데이터/텍스트마이닝 분석법 (LDA,BERTtopic,감성분석,CONCOR with ChatGPT)
안녕하세요 선생님 제가 LDA분석방법으로 연구를 진행중인데 이 LDA분석 방법의 단점을 개선한 방법으로 딥러닝 방식인 BERTopic 분석 방법이 최근 등장해서 연구논문에 조금씩 등장하는걸 확인했습니다. 그래서 이 분석 방법에 흥미가 생겨 어떻게 할 수 있는지 인터넷, 책 등을 아무리 찾아봐도 직접적으로 연구에 어떻게 적용해서 하는 건지, 딥러닝 방식이라 학습시키는 데이터(말뭉치)는 또 어떻게 준비하는 건지.. 도통 모르겠고 도움을 받을 수 있는 길이 없는거 같아서 답답한 마음에 한번 여쭤봅니다. 혹시 연구논문에 적용가능한 BERTopic 분석 방법에 대한 강의를 올려주실 계획은 없으실지 궁금합니다!
안녕하세요 비전공자 직장인입니다. 퇴근후 딴짓 님 강의를 열심히 듣고 있습니다. 현재 작업형2 모의문제 2를 혼자서 풀고 있는데, 단순한 결측치 찾고, 샘플 찾고, 그런 것들은 하겠는데 이거를 모델링 하는 거에서부터 사실 멘붕입니다. 작업형1 모의문제를 풀 때도 똑같이 강의를 듣던것보다 더 어려워서 멘붕이 왔었습니다. 일단은 모르겠는 부분은 인지한 상태로 다시 반복하겠다는 의지로 계속 강의를 듣는 게 맞겠죠? 반복이 답이겠죠??
선생님, 강의 열심히 보고 있는데 제가 5월 중순부터 시작하면서 조금 일찍 시작했는데도 불구하고 암기 할 게 너~~~~~~무 많아서 큰일입니다 ㅠㅠ 단권화 시키려고 실기용 교재를 샀는데 정말 정말 이것만큼은 꼭! 외우고 가야하는 코드나 문법같은거를 정리해주실 수 있나요? (강의나...파일로) 사실 고득점 합격은 바라지도 않고 60점 턱걸이로라도 너무 붙고싶습니다!
안녕하세요 코딩센세님! 주먹구구식의 양치기로 알고리즘에 접근하다가 좌절했지만 선생님의 강의를 보고 다시 의지를 불태우고 있는 수강생입니다. 모든 강의를 다 보지는 않았지만 냅색을 접근하는 방식에서 큰 감명을 받았고 나도 할 수 있구나라는 생각을 하면서 열심히 보고있습니다. 그래서 이 부분과 관련해서 의문점이 생겼습니다! Q1. 그리디는 어떻게 접근할까? 완탐적 사고를 통해서 모든 경우의수를 통해 문제를 풀 수 있지만 시간 복잡도를 줄이고자 DP를 사용하게 되고 이보다 더 빨리 찾기 위해서 그리디를 사용하는 것으로 알고 있는데, 이 부분은 어떻게 접근하면 좋을까요? 다른 강의들도 찾아보았을때, 그리디는 그냥 양치기로 더 많은 문제 유형과 익숙해지게 만드는 방법으로 접근하는 케이스를 봐왔어서 선생님은 어떻게 접근하실지 궁금했습니다. Q2. 그리디와 관련한 강의 계획이 있으실까요? 만약 없으시다면 요청드리고 싶은 내용입니다!
안녕하세요 강사님 제가 DBA 업무를 본지 2년차 되가는데요. 아는 지인분께서 데이터 엔지니어 영역도 배워보는거 어떻냐고 하셔서 강의를 찾고 있는데요. 강사님 강의가 생각나서 문의드립니다. 혹시 강사님 강의중에 데이터 엔지니어에게 도움이 될만한 강의들 추천해주실수 있으실까요?
안녕하세요! 앞으로의 코테 준비 방향에 대해 더 질문하고자 합니다. 1. 지금 프로그래머스 기초, 입문은 전부 푼 상태이고 앞으로는 유형별로 풀어볼 계획입니다. 저는 여러 문제들을 푸는 것보다는 풀었던 문제들을 설명할 수 있을 정도까지 반복해서 푸는 것이 중요하다고 생각합니다. 그래서 유튜브 플레이리스트에 올려 놓으신 유형별 문제들과 각 알고리즘 설명 영상 마지막에 추천하는 문제들을 반복적으로 풀어보려고 하는데 괜찮은 방법일까요? 2. 각 유형별 문제들 혹시 추천 받을 수 있을까요?
코딩테스트 준비하다가 답답해서 이 영상 보고 어느정도 의문스러운 점이 해소돼서 방향성을 잡았는데 혹시 어떤지 한번 봐주실 수 있나요? 현재 프로그래머스에서 기초, 입문으로 분류된 문제들은 다 풀었고 나머지 문제들 정답률 높은 순부터 풀고 있었습니다. 프로그래머스와 유튜브 플레이리스트로 분류하신 알고리즘 빈출 유형 문제들만 반복해서 풀어보려고 했는데 괜찮을까요? 그리고 저번에 이 강의 소스코드 올려주신다고 한 거 같은데 좀 걸릴까요?
원래는 프로그래머스에서만 풀다가 이번에 처음 백준 사이트를 이용하는 중입니다. 프로그래머스와 달리 테스트 케이스 테스트 해보기도 너무 어렵고 실수한 곳을 찾아내기가 너무 어려운데 혹시 추천하는 방법 있으신가요? 혹시 코드 답은 따로 안 올려주시나요? 강의 페이지에 한번에 들어오지 않아 일일이 비교해가면서 정답을 맞추기 어렵습니다.
안녕하세요 ! 선생님! 본 강의를 수강 중인 학생입니다. 2304 문제를 풀어보려고 고민을 1시간 정도 하다가 도저히 길이 보이지 않아서 선생님의 코드를 봤는데요 for i in range(n): x, y = map(int,input().split()) graph[x] = y x_list.append(x) y_list.append(y) 이런식으로 그래프를 리스트 형태로 구현하여 풀이를 하시더라구요.. 저는 도저히 이런 창의적인 방법이 떠오르지 않아서 어떻게 풀어야 할지 길이 보이지가 않습니다.. 이럴 때는 어떻게 해야하질 막막하네요.. 어떻게 하면 아 이건 graph[x] = y 와 같은 코드를 통해 풀어나가야 겠다! 라는 생각이 들 수 있는건지.. 막막합니다 ㅜㅜ 재능이 없는 걸까요,,
안녕하세요 선생님 빅데이터 분석에 관심이 있어 파이썬을 1도 모르는 상태에서 시작해 현재 선생님의 강의를 통해 많은 도움을 받고 있습니다. 현재 텍스트 마이닝 분석 방법으로 쓴 논문들을 보면 쇼핑몰 댓글 부터 해서 각종 SNS(페이스북, 인스타그램 등)의 댓글을 분석한 논문들을 많이 살펴볼 수 있는데 현재 파이썬 초보로서 데이터를 수집하는 과정(웹크롤링)이 제일 중요하고도 어려운 것 같습니다. 현재 텍스톰이나 빅카인즈 같은 웹사이트를 이용하는 것 말고 파이썬 으로 다양한 데이터를 직접 웹크롤링 해서 데이터를 수집하는 방법을 집중적으로 다룬 강의는 거의 찾아보기 어렵더라구요..ㅠㅠ 블로그 등에 검색해보면 코드가 공개된 것도 있지만 여기저기 코드 방식이 다 다양하고 막상 적용해서 실행해보면 또 에러 생기고 이유는 모르겠고 답답하더라구요. SNS 채널 및 쇼핑몰 댓글 등을 웹크롤링 하는 과정을 하나하나 다 보여주는 강의가 있으면 좋겠다고 생각하고 있는데 혹시 이렇게 여러 채널의 웹크롤링 과정만 다룬 강의를 올려주실 계획은 없으신지요?
public class BOJ_12865 { static int N; static int K; static int[][] merchandise; // 0 : 무게, 1 : 가치 static int[][] dp; public static void main(String[] args) { Scanner sc = new Scanner(System.in); N = sc.nextInt(); K = sc.nextInt(); merchandise = new int[N][2]; dp = new int[10000000][N]; for (int i = 0; i < 10000000; i++) { for (int j = 0; j < N; j++) { dp[i][j] = -1; } } for (int i = 0; i < N; i++) { merchandise[i][0] = sc.nextInt(); merchandise[i][1] = sc.nextInt(); } int max = recursion(0, 0); System.out.println(max); } private static int recursion(int index, int weight) { if (weight > K) { return Integer.MIN_VALUE; } if (index == N) { return 0; } if (dp[weight][index] != -1) { return dp[weight][index]; } dp[weight][index] = Math.max(recursion(index + 1, weight), recursion(index + 1, weight + merchandise[index][0]) + merchandise[index][1]); return dp[weight][index]; } 안녕하세요 덕분에 강의 잘 듣고 있는 수강생입니다. 냅색 문제를 풀고 있는데, 최대 가능한 무게의 경우 100 (배낭 물품의 최대 개수) * 100,000(각 물건의 최대 무게) 로 생각보다 생성해줘야하는 배열의 크기가 크더라구요. 그래서 혹시 dp를 1차원 배열로 생성하면 어떻게 되는 지 궁금하여 1차원 배열로 해본 결과, 무게를 고려하지 않고 dp의 무게 갱신을 하게 되어 답이랑은 다르게 나오네요. 혹시 1차원 배열을 시도하려고 할 때 제가 놓치고 있는 부분이 있을까요?감사합니다.
안녕하세요. "실무로 배우는 빅데이터 기술" 교재와 15일간의 빅데이터 파일럿 프로젝트 강의에 열정을 쏟고 있는 학생입니다. 커뮤니티 게시판에 '고민있어요' 배너를 보고, 제 학습과 관련된 고민을 나누고자 글을 쓰게 되었습니다. 제 경험을 간단히 소개하자면, 약 2년간 직장에서 파이썬을 활용하여 크롤링, 분산 처리, API, DB 관리 등을 통해 데이터 수집 및 모델링 업무를 해왔습니다. 이후 데이터 엔지니어로 전환하면서, 본격적으로 이 분야를 공부하기 시작했습니다. Hadoop 생태계나 리눅스는 이전에는 이름만 들어본 적이 있었는데, 이번 강의를 통해 직접 프레임워크를 구축하고 설정하며, 데이터를 쌓아보는 경험은 정말 뜻깊습니다. 특히 Cloudera나 Git에서 'bigdata2nd-master' tar 파일을 받아 시스템을 구축하는 과정을 통해 전체적인 워크플로우와 업무에 대한 이해를 넓힐 수 있었던 점은 다른 어떤 강의보다 만족스러웠습니다. 처음 프레임워크를 하나하나 구축하고 설정하는 과정이 매우 어렵게 느껴졌는데, 이번 강의를 통해 크게 성장할 수 있었습니다. 강의 중 강사님께서는 프레임워크 자체에 집착하기보다는, 요구사항을 통해 세부적인 요구사항을 도출하고, 이를 해결하는 방법에 중점을 두라는 조언을 주셨습니다. 프레임워크가 어떻게 활용되는지를 이해하고, 실제 문제 해결에 적용하는 방향으로 학습하라는 조언은 매우 감사했습니다. 하지만, 저의 고민은 여기서 시작됩니다. 저만의 공부와 업무를 진행할 때, 대부분의 경우 도커 컨테이너 내에서 conf, yaml, Dockerfile 등을 직접 구성하거나 수정해야 할 것으로 압니다. Cloudera를 사용하지 않고 직접 프레임워크를 설계하며 공부를 해보고 싶은데, 이에 관련된 다른 강의나 학습 방향에 대한 조언을 구할 수 있을까요? 긴 글 읽어주셔서 감사합니다.
