안녕하세요! 강의 잘 보고 있습니다. 강의를 듣다 궁금한 점이 생겨서 질문 드립니다. 벡터 강의 중에 빼기 설명을 하실때 01_01_01_P_병원_5174_buffer500파일로 설명하셨는데요. 01_01_01_P_병원.xlsx 해당 파일을 shp파일로 변환 하셔서 사용하신거 맞나요? 구분자로 분리된 텍스트 레이어 추가를 통해서 만들 수 있는건 알겠는데 저번에 알려주신 대로 하려고 해도 잘 모르겠습니다. 도움 부탁드립니다.
강사님 안녕하세요 WITH절로 조인하셨을때 아래와 같이 WHERE절에서 product_id를 비교했을때와 조인조건으로 넣었을때 같은 실행계획과 성능이 나오는것 같은데 둘다 맞다고 봐도 되나요? 조인조건에 있는 것과 where조건에 있는 것이 어떤 차이가 있는지 잘 모르겠어서요! [궁금한 사항] join temp_00 b on a . user_id = b . user_id and a . product_id != b . product_id --where a.product_id != b.product_id [전체쿼리] with temp_00 as ( select b . user_id , a . order_id , a . product_id from order_items a join orders b on a . order_id = b . order_id ), temp_01 as ( select a . user_id , a . product_id as prod_01 , b . product_id as prod_02 from temp_00 a join temp_00 b on a . user_id = b . user_id and a . product_id != b . product_id --where a.product_id != b.product_id ) select count (*) from temp_01
select generate_series ( '2016-08-02' :: date , '2016-11-01' :: date , '1 day' :: interval ):: date as current_date ) 위의 쿼리로 series를 생성하신 이유가 select date_trunc ( 'day' , visit_stime ):: date as curr_date from ga_sess group by date_trunc ( 'day' , visit_stime ) ) 이 쿼리로 temp_00을 생성하면 11-01 일자의 dau를 구할수 없어서 인지 궁금합니다!
수업과 관련한 내용을 편하게 질문 바랍니다 😀 선생님 안녕하세요 여쭙고 싶은 것이 있어 글을 남깁니다. 강의를 수강하고, 직접 실습을 해보면서 툴을 사용할 때 자꾸 레이어가 무결하지 않다고 경고가 뜨는데, 이것을 어떻게 해결해야하는지 모르겠습니다. 혹시 방법을 알 수 있을까요?
수업과 관련한 내용을 편하게 질문 바랍니다 😀 [특정 필드 기준 데이터 조인] 바탕 레이어와 데이터 결합 시 기준이 필드의 피쳐들 중, 바탕이 되는 레이어의 필드 값과 일치하는 값이 없는 결합 레이어의 피쳐는 데이터 조인 후, 바탕 레이어의 속성테이블 확인 시 생략되고 결합 레이어의 기준 필드 내에서 바탕 레이어와 일치하는 값의 피쳐들만 바탕 레이어의 속성테이블에 나타나나요?
안녕하세요! 작업을 수행할 때, 좌표계 관련 사항에 대하여 질문드립니다. 투영좌표계나, 지리좌표계가 꼭 쓰여야하는 작업(좌표료 포인트 만들기, 열지도 만들기 등)이 있나요? 열지도 만드는 강의를 수강하는 중인데, bus레이어를 기존 원본 말고, 5186버전으로 사용하신 것을 보고 투영좌표계를 사용해야하는 작업인가? 투영좌표계만을 사용해야하는 작업이 따로 존재하나? 라는 궁금증이 생겨 질문 남깁니다. 추가로 히트맵 작업 시, 반경을 설정하는데 이 반경이 무엇을 의미하는 건지 조금 이해가 안되어 상세히 설명해주실 수 있을지 여쭤봅니다.(반경의 기준..? 반경 내에 존재한다는 것의 기준..?)
서울시 병의원 정보로 포인트를 생성할 때, 좌표계를 기존의 지리좌표계인 4326이 아닌 5174로 변경하셨는데, [질문] 원본데이터의 좌표계를 따르기 위함인가요? 5174도 지리좌표계인가요? 5174가 지리좌표계라면 4326으로 좌표계를 설정하는 것은 잘못된 방법인가요? 5174가 지리좌표계가 아니라면, 사용할 데이터의 원본 좌표계가 존재할 경우, 기존의 지리좌표계인 4326이 아닌 원본 좌표계를 따라야하나요?
이 부분도 이해가 잘 안 가서 추가로 질문드려요. Sink 과정을 자세히 쪼개보면 SinkWriter, Committer, Global Committer로 나눌 수 있는데, SinkWriter로 로컬에 데이터를 임시로 쓰면 Committer가 커밋을 수행한다는 내용이 맞나요? 그리고 Topology 용어도 궁금한데요 Topology가 네트워크 시간에 노드들을 연결해놓은 방식이라고 배웠었는데요 여기서 Topology가 어떤 뜻으로 사용되나요? (강의 덕분에 단어도 많이 알아가네요) 마지막으로 flink 문서를 찾아보니 SinkWriter, Committer, Global Committer 클래스가 삭제 되었다고 나오는데요, 버전업이 되면서 이제는 이런 방식으로 동작하지 않는 건가요? 답변 미리 감사드립니다.. 🙌 저는 오늘 이까지 들으려구요. 휴가 잘 다녀오세요!!!
안녕하세요 강사님, 강의 중 이 페이지가 도저히 이해가 안 돼서 추가적으로 (되도록이면 한글로) 풀어서 설명 부탁드려도 될까요? 질문드릴 내용과 제가 이해한게 맞는지 확인하는 부분 두 부분으로 나눠서 작성해두었습니다. [질문드릴 내용] First Class Support에 대해서 궁금합니다. 왜 First Class라는 용어를 사용하나요? Periodic checkpointing, Robust의 차이가 궁금합니다. 유추상.. Periodic checkpointing은 주기적으로 체크포인트를 지정해서 체크포인트 기준으로 다시 동작시키기 때문에 중복 처리를 할 수 있는데, Flink는 exactly once를 지원하기 때문에 무조건 한 번만 실행함을 보장하는 건가요? Backpressure는 데이터가 많이 들어와 병목이 생길 때 처리인데, Spark는 지원 범위가 좁고 Flink는 세밀하게 지원 가능한건가요? 추가로 fine-grained 용어가 무슨 뜻인지도 궁금합니다. [제가 이해한게 맞는지 확인 부탁드려요] maintain state across events: flink가 event 기반으로 동작하고, 이벤트간의 상태를 알고 있다는 뜻인가요? Spark이 Standalone하고 윈도우 사이에 연결이 없다: 추측상 데이터를 윈도우 단위로 잘라서 처리하고, 윈도우끼리 상태를 공유하지 않는다는 뜻 맞을까요? [설명 스크립트] Apache Flinke Better Fault Tolerancee-Consistency를 가지고요. Across Events 간의 maintain 합니다. 예를 들어서 유저 간의 세션 데이터를 다 계속 모아서 사용할 수가 있어요. 그에 반해서 Spark는 심플하고요. Standalone, 윈도우 간에 연결하는 게 없고요. Light, Stateful, Workload라고 생각하시면 됩니다. 스파크는 스테이트풀 스트림을 베이직 서포트만 한다 고 하는 거고요. Flink는 Across 이벤트별로 스테이트를 메인테인하기 때문에 First Class Support로 시작할 때부터 그런 식으로 만들었습니다. 체크포인트 측면에서도 Spark는 Periodically 체크 포인트를 하지만 Flink는 Robust, Exactly Once 체크포인트를 지원해서 아 주 작은,very low한 오버헤드를 가지고 있습니다 Backpressure 같은 경우는 데이터가 엄청나게 많이 들어오잖아요 그럴 경우에 어떻게 핸들할 건가 기본적인 것만 스파크는 서 포트를 하구요 fine-grained 하지않습니다. 그에 반해서 이제 Flink 같은 경우에는 백프레셔 메카니즘이 기본적으로 빌트인되어있기 때문에 Smooth flow control과 stability가 같이 들어 있습니다.
안녕하세요, 강의 잘 들었습니다. 아직 실무에 flink를 사용해 본 적이 없어 조금 더 구체적인 장점등을 알고 싶어 질문 드리게 되었습니다. 사실 기존에는 kafka만을 사용해서 실시간 데이터 처리를 하는 사례도 많았던 것 같은데 이 때 추가로 flink를 사용할 때 kafka만을 사용할 때 보다 어떤 부분이 더 나은지 등에 대해 조금 궁금해져서 질문 드립니다.
select page_path , count (*) as hits_cnt , count ( distinct a . sess_id ) as net_cnt from ga_sess a join ga_sess_hits b on a . sess_id = b . sess_id where hit_type = 'PAGE' group by page_path order by 2 desc 저도 아래 질문글처럼 같은 방식으로 쿼리를 작성했습니다. 이전섹션인 일별 페이지 조회수와 양식이 유사해서 저한테 더 익숙했기 때문입니다 그런데 수업에서 사용한 쿼리가 제 쿼리보다 월등히 처리속도가 빠르더라고요(3s vs 4.7s). SQL숙련도가 올라가면 튜닝이라는걸 통해 처리속도를 최적화해야 한다고 들었습니다. 나중을 대비해서 익숙한 제 쿼리보다는 처리속도가 빠른 선생님 코드처럼 코드작성 습관을 바꾸는게 좋을까요?