안녕하세요 선생님 🙂 airflow 실습중에 airflow의 병렬처리에서 메시지 큐가 어떻게 처리되는지 궁금하여 질문드립니다!celery와 k8s를 병렬처리에 사용함에 있어서 메시지 큐를 별도로 설정하지 않는것 같은데요. 이 둘은 메시지 큐를 알아서 처리해주는건거요? celery와 k8s를 사용한 병렬 처리방식은 이해못해서 일단은 concurrent 패키지의 ThreadPoolExecutor 사용하여 병렬 처리를 하였습니다. airflow에서 병렬처리시 일반적으로 threadPool을 사용하는지도 궁금합니다. threadPool이 일반적이지 않다면 어떤 방식으로 병렬 처리를 하는지 궁금합니다!항상 감사합니다! 🙂

3.0에서 추가된 merge, shuffle_hash, shuffle_replicate_nl hint는 어떤 상황에서 효과적일까요? 문서에서는 아쉽게도 각 힌트가 뭘 수행하는 지와 BROADCAST > MERGE > SHUFFLE_HASH > SHUFFLE_REPLICATE_NL 순서로 힌트 우선순위를 정한다는 것만 적혀있네요. spark optimizer가 어떤 기준으로 join 전략을 택하는지도 알려주시면 좋을 것 같아요.  

아래와 같은 양식으로 질문을 남겨주세요 🙂수업을 들으시면 이해하기 어려운 부분이 있으면 상세히 질문을 남겨주세요.서로 Tone and Manner 를 지키며, 즐거운 수업 시간을 만들어보아요.잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 강의를 통해 열심히 공부중인 학생 입니다.혹시 슬라이드 자료를 따로 열람 가능한지 여쭙고 싶습니다. 좋은 강의 잘듣고 공부하고 있습니다. 감사합니다.

혹시 강의 자료는 어디서 얻을 수 있을까요? 개인적으로 인프런 강의 구매한 사람 입니다.

안녕하세요완강후 카산드라 db 와 stream join한 강의를 다시 보고 카산드라에 대한 개념에 공부를 하던 와중 데이터 엔지니어의 현 트렌드에 대한 내용이 갑자기 궁금한데 물어볼곳이 없어서 질문을 좀 드려봅니다..제가 생각하기에 현 트렌트가데이터 엔진 프레임워크 : spark스케줄링 및 파이프라인 형성등 : airflow웨어하우스 : prestonosql : mongodbrdb : postgresmessage broker : kafka분석툴 : tableau등등 이정도로 요즘 잘나가는 프로그램들인것 같은데 맞을까요?spark stream을 사용하면서 mongodb 보다 cassandra를 사용하는게 좀더 효율이 좋은가요?개발자도 결국 트렌드에 맞게 공부하는게 자신의 커리어를 잘 쌓는게 아닐까 하는 생각이 요즘 계속 머리속에 맴도네요

3.3.6 버전으로 진행 하여도 상관 없나요?혹시.. 리뉴얼.. 계획이 있으신가요..터미널 창이 너무 바닥 까지 있어서 초록생 진행 바와 터미널 창이랑 계속 겹쳐서 보기가 힘듭니다..ㅠ

선생님 안녕하세요~ 실습을 해보다 의문점이 생겨 글을 남깁니다.  정제과정에서 혹시 두 단어로 만들어진 복합명사, 예를 들어 “국제법” 같은 경우 “국제” 와 ”법“으로 분석이 되는데요. 원글에 국제법으로 표기된 경우 이를 나누지 않고 ”국제법“으로 분석이 되게 할수 있는 방법이 있을까요? 이것저것 해봤는데 적용이 안되어 선생님께 도움을 청합니다!감사합니다^^

.

선생님 안녕하세요.수업 재밋게 잘 듣고 있습니다.덕분에 쉽게 따라할 수 있을 것 같아요. 궁금한게 있어서요. 강의 섹션4 연구논문 관련 작성 강의에 사용한 "영어 인공지능 앱 리뷰"와 관련된 논문을 사용하셔서 강의를 진행해 주셨는데요, 해당 논문의 출처를 알 수 있을까요?

필기 1-4과목 모듀 수강중입니다통합강의안 메일전송 요청드려요narao87@kakao.com

궁금해서 질문올려봅니다

선생님 덕분에 많이 배우고 있습니다.선생님이 쓰신 이진규, & 이창배. (2022). 자연어 처리 (NLP) 기반 텍스트마이닝을 활용한 소나무에 대한 국내외 연구동향 (2001∼ 2020) 분석. 농업생명과학연구, 56(2), 35-47. 논문을 보니 국외 논문도 연구동향을 진행하셨는데요.Web of science 사이트에서 RISS처럼 크롤링 하는 방법을 간단히 소개해 주실 수 있으신가요?그리고 선생님이 하신 강의를 보다보면 대부분의 데이터 처리가 한글 기반으로 되어 있습니다. 혹시 TEXTOM을 사용할때 언어가 영어인 경우에는 잘 구동이 안 되나요? (선생님께서는 파이썬 라이브러리를 사용하셨더라구요) 혹시 영어의 경우에는 TEXTOM이 잘 안 되어서 다른 프로그램을 사용하셨나 해서요.항상 강의 잘 듣고 있습니다.감사합니다.

선생님 안녕하세요! 이번에 수강한 학생입니다. 작업1: 20 (1문제 틀림) 작업2: 20 작업3: 15 (1문제 틀림) 너무나 아깝게 탈락했어요 ㅠㅠ 다음 시험에 열심히 할게요. 작업형 1유형은 너무고민해서 틀린듯 합니다. 상관계수만 확인하면 될 것을 회귀방적식의 계수가 가장 높은 것의 상관계수를 골랐네요. 작업형2에서 object형을 레이블인코딩 하고, 렌덤포레스트(회귀) 진행했는데 뭔가 잘 안되었나봐요. 20점 받은 것으로 보아 실기 방법이나 제출에 문제는 없었던 것 같고, 무언가 잘 안맞았나 봅니다. 다음 시험에는 잘 할게요 ^^ 아참, 이번 3유형 풀면서 로지스틱회귀분석이 나왔는데, 이 부분은 안 다루어주신 듯 해서요. 다음에도 혹시 나올 수 있어서 그런데 강의 추가해 주실 수 있으신가요? (아직 10월까지 수강도 남아서... ㅋ) 감사합니다 ^^ 새해 복 많이 받으시고요.

선생님 안녕하세요. 수업 재밋게 잘 듣고 있습니다. 덕분에 쉽게 따라할 수 있을 것 같아요. 궁금한게 있어서요. 강의 섹션4 연구논문 관련 작성 강의에 사용한 "영어 인공지능 앱 리뷰"와 관련된 논문을 사용하셔서 강의를 진행해 주셨는데요, 해당 논문의 출처를 알 수 있을까요?

안녕하세요 10일만 수업 연장하고싶은데 10일치 돈을 내고 연장하는 방법이 있을까요??

안녕하세요 선생님 🙂 connection 정보를 새로운 환경에 이식 방법 질문드립니다.stackoverflow 등을 찾아보니 csv파일 또는 sh 파일로 구축하여 사용하는 것같은데요이 같은 방법은 보안에 취약할수있겠다는 생각이 들어서 어떤 방식으로 이식가능한 connection 정보를 저장하는것이 좋은지 질문드립니다. stackover reference - https://stackoverflow.com/questions/55626195/export-all-airflow-connections-to-new-environment즐거운 크리스마스 연휴되세요!감사합니다! 🙂

안녕하세요?선생님 덕분에 재밌게 텍스트마이닝에 대한 공부를 시작하게 되었습니다.좋은 강의 자료 정말 너무너무 감사드립니다. 다름이 아니라 구글학술검색(google scholar)의 검색 결과를 추출할 수 있는 방법이 있는지 여쭙고 싶습니다. 특정 검색어를 검색할 시 나오는 검색결과 전체를 목록화 하고 싶은데요.. (선생님께서 RISS 검색하셨던 것 처럼요!) 혹시 가능한 방법이 있다면 공유해 주실 수 있을까요?  감사합니다. 

회사 업무로 인해 수강기한 연장이 필요합니다. 어떻게 하면 좋을까요?..

선생님!이번 7회 실기 시험에서 합격했습니다.지난 6회 시험에서 시험 유형이 갑자기 바뀌어서 당황하다가 정작 시험에서는 1유형에서 망쳤는데,이번에는 80점으로 합격했습니다.특히 2유형은 지난번과 이번 7회 시험에서 모두 40점을 받았습니다. 선생님 강의를 듣고 나름대로문제 풀이 순서를 정리하고 하이퍼 파라미터 튜닝을 하여 가장 좋은 점수가 나온 모델로 답안을제출해서 좋은 점수가 나온 것 같습니다.감사드립니다.

안녕하세요 선생님 🙂강의 초반부를 듣다가 궁금증이 생겨서 질문드립니다.pyspark의 경우 pandas와 거의 동일한 패키지 함수(? 함수라고 설명하는게 맞는지 모르겠네요..ㅎㅎ) 방식으로 구동되는 것으로 보이는데요.scalar를 기반으로한 spark도 pyspark와 유사하게 패키지의 함수를 사용하나요?스칼라 도큐먼트를 봐도 spark에서는 어떻게 사용하는것인지 감이 안와서 질문드립니다. ㅎㅎ (https://docs.scala-lang.org/ko/tour/tour-of-scala.html)오늘도 행복한 하루되세요!감사합니다.