묻고 답해요
160만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨실리콘밸리 엔지니어와 함께하는 Apache Flink
Flink 2.0 버전부터 스칼라를 더이상 지원하지 않네요
"3. Apache Flink와 Apache Spark의 차이점" 강의에서 Scala와 Java를 메인으로 지원한다고 하셨지만 Flink 1.17에서 deprecated 되었고 2.0부터는 더이상 지원하지 않네요. Scala 유저로서 안타깝습니다 ㅠ 강사님은 현업에서 자바로 사용하고 계신가요? 참고: https://cwiki.apache.org/confluence/display/FLINK/FLIP-265+Deprecate+and+remove+Scala+API+support
-
미해결실리콘밸리 엔지니어와 함께하는 Apache Flink
Data Sink Topology 질문 있습니다
이 부분도 이해가 잘 안 가서 추가로 질문드려요. Sink 과정을 자세히 쪼개보면 SinkWriter, Committer, Global Committer로 나눌 수 있는데, SinkWriter로 로컬에 데이터를 임시로 쓰면 Committer가 커밋을 수행한다는 내용이 맞나요? 그리고 Topology 용어도 궁금한데요 Topology가 네트워크 시간에 노드들을 연결해놓은 방식이라고 배웠었는데요 여기서 Topology가 어떤 뜻으로 사용되나요? (강의 덕분에 단어도 많이 알아가네요) 마지막으로 flink 문서를 찾아보니 SinkWriter, Committer, Global Committer 클래스가 삭제 되었다고 나오는데요, 버전업이 되면서 이제는 이런 방식으로 동작하지 않는 건가요? 답변 미리 감사드립니다.. 🙌 저는 오늘 이까지 들으려구요. 휴가 잘 다녀오세요!!!
-
해결됨실리콘밸리 엔지니어와 함께하는 Apache Flink
State Management & Fault Tolerance 부분 설명이 하나도 이해가 안 돼요
안녕하세요 강사님, 강의 중 이 페이지가 도저히 이해가 안 돼서 추가적으로 (되도록이면 한글로) 풀어서 설명 부탁드려도 될까요? 질문드릴 내용과 제가 이해한게 맞는지 확인하는 부분 두 부분으로 나눠서 작성해두었습니다. [질문드릴 내용]First Class Support에 대해서 궁금합니다. 왜 First Class라는 용어를 사용하나요?Periodic checkpointing, Robust의 차이가 궁금합니다. 유추상.. Periodic checkpointing은 주기적으로 체크포인트를 지정해서 체크포인트 기준으로 다시 동작시키기 때문에 중복 처리를 할 수 있는데, Flink는 exactly once를 지원하기 때문에 무조건 한 번만 실행함을 보장하는 건가요?Backpressure는 데이터가 많이 들어와 병목이 생길 때 처리인데, Spark는 지원 범위가 좁고 Flink는 세밀하게 지원 가능한건가요?추가로 fine-grained 용어가 무슨 뜻인지도 궁금합니다. [제가 이해한게 맞는지 확인 부탁드려요]maintain state across events: flink가 event 기반으로 동작하고, 이벤트간의 상태를 알고 있다는 뜻인가요?Spark이 Standalone하고 윈도우 사이에 연결이 없다: 추측상 데이터를 윈도우 단위로 잘라서 처리하고, 윈도우끼리 상태를 공유하지 않는다는 뜻 맞을까요? [설명 스크립트]Apache Flinke Better Fault Tolerancee-Consistency를 가지고요.Across Events 간의 maintain 합니다.예를 들어서 유저 간의 세션 데이터를 다 계속 모아서 사용할 수가 있어요.그에 반해서 Spark는 심플하고요.Standalone, 윈도우 간에 연결하는 게 없고요.Light, Stateful, Workload라고 생각하시면 됩니다.스파크는 스테이트풀 스트림을 베이직 서포트만 한다 고 하는 거고요.Flink는 Across 이벤트별로 스테이트를 메인테인하기 때문에 First Class Support로 시작할 때부터 그런 식으로 만들었습니다.체크포인트 측면에서도 Spark는 Periodically 체크 포인트를 하지만 Flink는 Robust, Exactly Once 체크포인트를 지원해서 아 주 작은,very low한 오버헤드를 가지고 있습니다Backpressure 같은 경우는 데이터가 엄청나게 많이 들어오잖아요 그럴 경우에 어떻게 핸들할 건가 기본적인 것만 스파크는 서 포트를 하구요 fine-grained 하지않습니다.그에 반해서 이제 Flink 같은 경우에는 백프레셔 메카니즘이 기본적으로 빌트인되어있기 때문에 Smooth flow control과 stability가 같이 들어 있습니다.
-
해결됨실리콘밸리 엔지니어와 함께하는 Apache Flink
kafka 단독 실시간 데이터 처리보다 flink를 추가로 구축하고 사용시의 장점에 대해 질문 드립니다.
안녕하세요, 강의 잘 들었습니다.아직 실무에 flink를 사용해 본 적이 없어 조금 더 구체적인 장점등을 알고 싶어 질문 드리게 되었습니다.사실 기존에는 kafka만을 사용해서 실시간 데이터 처리를 하는 사례도 많았던 것 같은데이 때 추가로 flink를 사용할 때 kafka만을 사용할 때 보다 어떤 부분이 더 나은지 등에 대해 조금 궁금해져서 질문 드립니다.
-
해결됨QGIS 입문자 올인원 스타터팩 (이론/실습형)
[음영기복도] 심볼과 툴박스 차이 여부
안녕하세요.심볼-음역기복도와 툴박스-hillshade가 기능적으로 차이가 있는 건가요?
-
미해결다양한 사례로 익히는 SQL 데이터 분석
없는강의요청해도됩니까,,
데이터모델링,,쿼리튜닝,,따로따로 심도있게 추후계획있는지 궁금합니다,,인프런에선 몇년전부터 게속 기대하고 찾아보는데 하나도 없네요,,심도있는강의가없어요,,철민님이 유일하게 하실수 있을것같아 조심스레 한번물어봅니다(다른사람 대체불가)
-
해결됨QGIS 입문자 올인원 스타터팩 (이론/실습형)
9강 벡터레이어 속성테이블에서 EDM_NM 항목 글자깨어지는 현상 문의
수업과 관련한 내용을 편하게 질문 바랍니다 😀처럼 글자가깨어 집니다.강의에서 속성테이블 열기 하면 사람이름이 나오는데 말이죠
-
미해결다양한 사례로 익히는 SQL 데이터 분석
아래와 동일한 질문에 대한 추가질문입니다
selectpage_path, count(*) ashits_cnt,count(distincta.sess_id) asnet_cntfromga_sessajoinga_sess_hitsbona.sess_id = b.sess_idwherehit_type = 'PAGE'groupbypage_pathorderby2desc 저도 아래 질문글처럼 같은 방식으로 쿼리를 작성했습니다. 이전섹션인 일별 페이지 조회수와 양식이 유사해서 저한테 더 익숙했기 때문입니다 그런데 수업에서 사용한 쿼리가 제 쿼리보다 월등히 처리속도가 빠르더라고요(3s vs 4.7s). SQL숙련도가 올라가면 튜닝이라는걸 통해 처리속도를 최적화해야 한다고 들었습니다. 나중을 대비해서 익숙한 제 쿼리보다는 처리속도가 빠른 선생님 코드처럼 코드작성 습관을 바꾸는게 좋을까요?
-
해결됨QGIS 입문자 올인원 스타터팩 (이론/실습형)
9강 병원 엑셀파일 레이어속성에서 정보란의 필드에서 한글표기 안되는것?
8수업과 관련한 내용을 편하게 질문 바랍니다 😀9강 병원 엑셀파일에서 정보에서 보면 필드명에 한글이 안나오고 FIELD 1, 2, 3, 이런식으로 표기되어 나옵니다.다른 문제가 있나요??
-
해결됨QGIS 입문자 올인원 스타터팩 (이론/실습형)
추가강의 요청
유튜브에서 DEM에서 등고선을 추출하는 동영상이 있던데 그건 먼가요?그리고 유역면적 추출, 수계분석 같은게 궁굼한데 강의 부탁합니다.😀
-
해결됨QGIS 입문자 올인원 스타터팩 (이론/실습형)
earthexplorer 에서 위치 무브
earthexplorer 에서 위치 무브를하면 아시아쪽으로 안가고 재자리로 돌아감. 어떻게하나요?
-
해결됨QGIS 입문자 올인원 스타터팩 (이론/실습형)
Section 3 질문있습니다!
총 네 개의 질문이 있습니다!!andsat 8-9의 식과 Landsat 4-7의 식이 다른데,8-9와 4-7자료의 차이가 무엇인지 궁금합니다! 화재가 난 곳은 더 까맣게 나타나는 게 맞나요?202303 NBR과 202305NBR자료를 비교해보았을 때, 까맣게 변한 곳은 화재가 났던 곳이며 그 정도가 더 어두운 곳은 화재가 여러 번 발생했다는 의미인가요? DEM활용 경사도 계산을 하면 테두리가 깨져서 나오는 이유는 무엇인가요?이렇게 질문드리고 싶습니다!!
-
해결됨Do it! 오라클로 배우는 SQL 입문 - 저자 직강
desc emp_hw 출력 오류
desc emp_hw;를 DBeaver에서 출력하니 에러가 노출되는데요, DBeaver에서 desc emp_hw와 동일한 문을 출력하고 싶을 때는 어떤 문을 써야될까요?
-
해결됨Do it! 오라클로 배우는 SQL 입문 - 저자 직강
desc emp_hw 출력 오류
desc emp_hw를 dbeaver에서 출력하니 에러가 노출되는데요. DBeaver에서 출력하려면 어떤문으로 써야될까요?
-
해결됨QGIS 입문자 올인원 스타터팩 (이론/실습형)
22강 질문 있습니다!
내보내기를 하여 저장할 때, 쉐이프파일이 아닌 엑셀파일로 저장할 경우, 인코딩을 수정할 수 없게 비활성화가 되어 있습니다.인코딩을 바꾸지 않은 채로 엑셀 파일을 열어보면 글자가 깨지는데, 어떻게 활성화를 할 수 있나요?
-
해결됨QGIS 입문자 올인원 스타터팩 (이론/실습형)
중심점 생성 강의 질문 드립니다!
벡터 데이터 중심점 생성에서 각 부분별로 중심점 생성을 체크하는 경우와 안 하는 경우의 중심점이 다르게 나타나는데, 차이가 뭔지 궁금합니다.
-
해결됨QGIS 입문자 올인원 스타터팩 (이론/실습형)
좌표계 질문드립니다!
14-15강 관련 질문입니다! 제공해주신 subway_5186 .shp 파일을 열었을 때, 지정된 좌표계가 ESRI: 102082 - KGD 2002_Central_Belt_2010 으로 설정되어 있습니다. 그러면, EPSG 5186 좌표계 말고, ESRI: 102082로 설정을 해야하나요? 아니면 말씀해주신 EPSG 5186 좌표계로 지정하면 될까요?
-
해결됨QGIS 입문자 올인원 스타터팩 (이론/실습형)
14강 레이어 재투영 질문입니다.
좌표계가 영상에서는 Korea 2000 / Central Belt 2010 - EPSG 5186인데,제 QGIS프로그램 상에서는 KGD2022 / Central Belt 2010 - EPSG 5186으로 나타납니다. 뒤에 5186이라는 숫자와 영문 EPSG 글자만 동일하면 되는 게 맞나요?말씀드린 좌표계는 투영좌표계의 횡축 메르카토르... 분류에 속해있습니다.
-
해결됨Do it! 오라클로 배우는 SQL 입문 - 저자 직강
SQL 툴을 다른걸로 써도 될까요?
SQL Developer 말고 DBeaver 사용해도 되나요?
-
해결됨QGIS 입문자 올인원 스타터팩 (이론/실습형)
위치에 따라 속성 결합 (요약) 중 오류?
위치에 따라 속성 결합 (요약) 중 QGIS 실습을 따라하는데, 똑같이 안 되는 부분이 있어서 여쭙니다. 버스와 법정동 자료를 넣고 실행을 했을 때, 빨간색과 같이 수업동영상에서는 없었던 결합 레이어 공간 인덱스가 존재하지 않는다고 나오는데, 문제가 없을까요?그리고 버스가 가장 최상위 레이어로 설정이 되어 있는데도 버스 점 표시가 보이질 않습니다.