묻고 답해요
131만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨ElasticSearch Essential
매핑 설정 변경하기
안녕하세요.운영 중인 엘라스틱 서치에서바로 매핑 설정을 변경할 수 있나요? 정적 매핑을 사용한다고 했을 때기존에 있던 인덱스를 제거하고 정적 매핑 설정 후 다시 색인기존에 있던 인덱스 제거하지 않은 상태로 정적 매핑 설정 하면 자동으로 변경이 됨어떤 게 맞는 지 알 수 있을까요
-
해결됨ElasticSearch Essential
샤드 개수 늘리기
안녕하세요운영중인 엘라스틱 서치에서바로 샤드 개수를 늘려서 적용할 수 있나요??아니면 다른 방식으로 샤드 개수를 늘려야 하나요?
-
해결됨ElasticSearch Essential
인덱스 일별 생성에 대한 질문
안녕하세요, 강의와 책 모두 구매해서 잘듣고있습니다. 추가 질문사항이 있어서 다시 글 작성해봅니다..인덱스 템플릿을 생성했고 setting, mappin 템플릿을 만들어 두개의 component template을 조합해서 logs라는 템플릿을 생성했습니다. 제가 원하는 인덱스는 logs-2023.05.28-000001 logs-2023.05.29-000002 logs-2023.05.29-000003( 50기가 넘어가면 같은 날짜라도 인덱스 만들어지고 뒤에 숫자 증가) 이런 모양을 기대했는데요, mapping은 다이나믹 템플릿으로 필드를 매핑시켰고, setting에서는 rollover_alias를 logs로 주었고 템플릿을 생성할때 index_patterns는 logs*로 주었습니다. policy에서도 hot으로 max_promary shard size 50기가 설정했구요다 만들고나서 아래와같이 아래와 같이 첫 인덱스를 주었습니다. 생성은 logs-2023.05.29-00001 이렇게 원하는대로 우선 생성되긴했습니다.PUT %3Clogs-%7Bnow%2Fd%7D-000001%3E{ "aliases": { "logs": { "is_write_index": true } }}그런데 다음날 보니 인덱스는 생성되지 않고 저 인덱스에 계속 쌓이더라구요...또 뭐 추가할 사항이 있을까요..??감사합니다.
-
해결됨ElasticSearch Essential
데이터 노드에 할당되는 인덱스
안녕하세요, 강의와 책 모두 구매해서 듣고있습니다^^다름이 아니라, 제가 데이터 노드를 es-data-0~4까지 총 5개 클러스터를 구동하고있는데 인덱스 생성시 4개밖에 할당이 안되더라구요ㅠ 컴포넌트 세팅설정시, number_of_shards는 2개로 주었습니다.혹시나 해서 cluster.routing.allocation.enable = primaries로 변경후 노드 셧다운 -> 재실행 후 cluster.routing.allocation.enable = null 로 바꾸어 샤드 할당 설정을 활성화 했는데도 똑같이 4개밖에 안되네요.. 5개 모두 할당할 수 있는 방법이 있을까요??
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
스파크로 HDFS 구동하기
안녕하세요~ 대학교 한 학기처럼 탄탄하게 빅데이터 파이프라인 관련해서 차근차근 다뤄주시니 도움이 되고 있습니다. Spark Advanced 과정에서 Spark를 자세히 다루면서 학습하고 있습니다 혹시 과제가 있던데? 데이터를 Data Storage에서 배운 HDFS 위에 적재하고 Spark를 돌리면 너무 좋을 것 같은데 혹시 이 부분에 대해서도 가이드 해주시나요?감사합니다.
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
[질문] replication 변경 질문드립니다.
안녕하세요!강의 수강하면서 HDFS 명령어를 구글링하면서 만져보고 있는데요, 강의 실습에서 hdfs-site.xml에서 replication을 1로 설정해서, hdfs setrep 명령어를 사용해 replication configuration 3으로 변경을 시도했다가 잘 되지 않아서 질문드립니다.w 옵션 없이 setrep 3 / 명령어 입력 시에,./bin/hdfs dfs -stat "%b %F %g %n %o %r %u %y %Y" {파일 경로}결과 %r = 3으로 변경이 되는데./bin/hdfs fsck / -files -blocks결과를 확인해보면, Default replication factor가 여전히 1로 나옵니다.Default replication factor를 변경할 수 있는 방법 질문드립니다. 또 기다려도 hdfs에 올린 파일들이 자동으로 복제가 되지 않고 개수가 계속 1이라(fsck 명령어로 상태 확인 시에 missing replicas 확인됨), 강제로 setrep에 w옵션을 사용해서 기다려봤는데, 계속 복제본을 만들지 않는 결과를 확인했습니다.이게 Pseudo Distributed Operation 모드에서 동작을 시켜서 발생시키는 결과인지, 아니면 어떤 부분이 문제일지 질문드립니다.감사합니다.
-
해결됨ElasticSearch Essential
클러스터에서 마스터 노드를 사용자가 선택할 수 있나요?
클러스터 구성에서 사용자가 마스터 노드를 직접 선택할 수 있나요?마스터노드를 3대 이상 구성하고, 그 중에서 선출되는 것으로 들었습니다.두대의 노드로 클러스터를 구성했을 때 특정 노드를 마스터노드로 지정할 수 있는지 알고 싶습니다. 두대의 노드를 HA 구성으로 사용하려는 목적이 있기 때문에 평상시에 마스터노드 정보를 공유할 수 있도록 두대 모두 마스터노드로 설정합니다. 이런 경우에 특정 노드를 마스터노드로 지정할 수 있을까요?
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
[섹션5] 실습 2 수업에서 S3 advanced assignment 질문 드립니다.
안녕하세요, 선생님. 이 글의 제목에 관련된 질문을 드리고 싶습니다.저는 코딩을 할 때 주로 Windows 환경에서 해왔고 그래선지 Python code를 실행시킬 때 script 실행을 하는 경험이 없었고 함수 지향 프로그래밍을 하면서 네임 내장 함수를 써가며 script 실행 시 argument를 사용하게 끔 코딩해본 적이 없습니다.본 강의에서 앞선 수업 때 이런 내용에 대해 다뤄주신 적이 있다면 모르겠지만, 그게 아니다보니 선생님께서 이 수업에서 내주신 숙제가 조금 overtraining처럼 느껴집니다. 관련 자료를 뒤져가며 공부하는게 도움이 될 수도 있겠지만 사정이 있어서 빠르게 본 강의를 마스터하고 싶은 마음이 큽니다. 선생님께서 답안을 주시면 그것가지고 공부를 하고 싶습니다. 허락해주신다면요.. 감사합니다.
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
강의 자료
안녕하세요, 선생님.지금 섹션2 Data Acquisition[Advanced] 파트를 듣고 있는데수업에서 보여주시는 자료들을 수강생들이 구할 수는 없는지 궁금합니다. 수업 중에 선생님께서 자료에 있는 링크를 누르시면서 "여기 링크를 누르셔서 이 페이지를 확인해보시면~" 와 같은 흐름으로 이어지는 부분이 있는데, 이렇다 보니 자료가 더욱 필요하다고 느껴져 여쭤봅니다.그리고 섹션7에 있는 [실습 및 과제 데이터]를 다운받아서 압축 해제를 시도해보니 10%에서 멈추는 현상이 있습니다. 사용하는 압축해제 프로그램은 7zip입니다. 현재 사용하는 Laptop이 기업용이라 라이센스 문제가 생기지 않는 프로그램을 쓰고 있습니다. 프로그램 문제보단 압축파일 문제이지 않을까 싶은데 확인 부탁드립니다.감사합니다.
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
본 강의에서 사용되는 OS
안녕하세요, 선생님. 강의에서 사용되는 Linux를 혹시 Docker 위에서 돌려도 괜찮을까요? 제가 Docker 사용에 능숙하지는 못해서 GUI환경은 구축하지 못했는데 혹시 CLI로만 수업을 따라간다고 했을 때 문제가 생기는 점이 있을지 궁금합니다.
-
해결됨ElasticSearch Essential
#8-text vs keyword에서 standard, keyword, text 구분.
_analyzer를 사용하실때 예제로 (1:30부터){"analyzer" : "standard""text" : "I am a boy"} ,{"analyzer" : "keyword""text" : "I am a boy"}이렇게 써주시고 뒤에 비교를 설명하실때는text vs keyword로 해주셨는데 위 예제에서 "standard"위치에 text가 들어가야 했는지 아니면 뒤 설명이 standard와 keyword로 표현하셔야 했던건지 설명 하신 그대로 이해를 해야하는 건지 좀 헷갈립니다.
-
해결됨ElasticSearch Essential
Inverted index 리스트 확인방법
안녕하세요 강의 잘들었습니다~~ 질문이있는데 한 인덱스의 인버티드인덱스가 저장된 전체 리스트?데이터를 볼 수 있는 방법이 있는지요어떻게 분석되서 저장이 되있는지 확인을 하고 싶습니다
-
해결됨ElasticSearch Essential
ES 데이터노드의 적합한 인스턴스 타입이 궁금합니다.
안녕하세요.사내에서 검색엔진으로 k8s에 ES를 운영하고 있는 와중에 강진우님의 Elasticsearch 강의가 있는 것을 알게되어 하루만에 빠르게 완강했습니다.한가지 문의사항이 있어서 문의드리게 되었는데요..!저희 사내 검색엔진 ES의 데이터 노드가 하루 중 사용량이 많은 시간대에는 CPU가 85~95%까지 치고 평소에는 3~40%를 유지중입니다.현재 데이터노드의 인스턴스타입은 RAM(메모리 타입)인데요. 하나의 노드가 하나의 샤드와 레플리카들을 가지고 있습니다.별다른 장애는 없었지만 매일 CPU가 95%까지 육박하고, Load average는 cpu core 수의 2~3배를 치고 있어서 개선할 수 있는 방법을 고민해보고 있는데요.JVM 힙메모리는 맥스 30G 중 21G 정도를 상시 유지중이고, ES의 캐싱메모리를 쓰는 탓인지 Pod의 메모리는 상시 90~95%를 유지중입니다.하여,,Q. ES를 운영할 때 어떤 인스턴스 타입으로 운영하는게 좋을지 궁금하여 자문을 드리게 되었습니다ㅠㅠCPU 타입으로 하는게 좋을지,, 중간 타입으로 하는게 좋을지,, RAM(메모리) 타입으로 그대로 하는게 좋을지 잘 감이 안서네요.. 우선 RAM 타입으로 하였습니다.감사합니다!
-
해결됨ElasticSearch Essential
특정 인덱스의 shard 값을 바꿔주는 방법은 reindex 말고는 없는건가요?
특정 인덱스의 shard 값을 바꿔주는 방법은 reindex 말고는 없는건가요?
-
미해결IT인을 위한 ELK 통합로그시스템 구축과 활용
_search keyword1 AND keyword2 질문
AND 띄어쓰기를 URI Encoding 처리 해야하는 경우가 있나요? 브라우저에서 직접 실행할때만 필요한건지_search?q=keyword1 AND keyword2 는 keyword1과 keyword2를 조회한다고 했는데 정확히 keyword1, keyword2를 모두 포함한 doc을 출력하는게 맞죠? OR 명령어도 있다고해서 질문드립니다.
-
미해결IT인을 위한 ELK 통합로그시스템 구축과 활용
elk ssl/tls 통신 설정 방법 문의드립니다.
교육을 보면서 현재 회사에서도 적용하려고 공부 중에 있습니다.모니터링 서버로 사용하기 위해서 SSL/TLS 암호화를 설정하고 싶습니다.간단한 강의 부탁드릴 수 있을까요?아니면 참고할만한 자료가 있으시면 공유 부탁드리겠습니다.엘라스틱 다큐 뒤지면서 이것저것 해보고 있는데 생각처럼 잘 안되네요.제가 원하는 그림은 다음과 같습니다.부탁드립니다.
-
해결됨ElasticSearch Essential
여섯번째 강의 - 색인 과정 강의를 들으며
안녕하세요 강의를 들으면서 궁금한 점이 생겨서 질문드립니다.실제 운영중인 엘라스틱서치에서 샤드 최적화를 어떻게 이루어야할지 입니다. 샤드 최적화를 진행할 때 처음부터 완벽한 샤드 배치를 세울 수 없어서 성능를 확인 하며 샤드의 수를 늘리거나 데이터 노드를 스케일 아웃/업 하면서 최적의 수치를 찾아가라고 하셨습니다.한번 인덱스를 생성할 때 설정된 샤드의 개수는 절대 변경이 불가능한데 그런 방법중 Reindex API를 사용하여 하는 방법으로 진행해야할까요 ? 아니면 또 다른 방법이 있을까요 ?
-
해결됨ElasticSearch Essential
안녕하세요 강의 자료 문의드립니다.
안녕하세요 해당 강의에 자료는 따로 없을까요 ?
-
미해결ElasticSearch Essential
ES CPU 사용량 관련하여 질문드립니다
안녕하세요, 좋은 강의 감사드립니다.ES 트러블슈팅 사례들 중 메모리와 관련된 내용들이 많은 도움이 되었습니다.그런데 메모리 외에 CPU 사용량과 관련하여 궁금증이 생겨 질문드립니다. 테스트용 쿠버네티스 환경에 ES 배포 후 로그 수집을 진행하면 CPU 사용량이 서서히 증가합니다.거의 주 단위로 관찰해야 그 경향이 보이는 정도로 아주 미미한 수준인데, 일정 시점에 다다르면 다시 CPU 사용량이 배포 직후 수준으로 급감합니다. 이 또한 로그가 점점 쌓임에 따라 생긴 문제일까 싶어 인덱스들을 closed로 변경해보아도 유의미한 변화는 없었습니다.다른 원인들을 찾아보려 여러 항목을 변경해봐도, ES를 재배포 하는 경우에만 다시 CPU 사용량이 감소했습니다.혹시 ES가 갖는 어떤 특성에 따른 현상인지, 아니면 테스트 환경의 조건이나 설정의 문제인지 갈피를 잡기가 어려워 질문드립니다ㅠㅠ
-
해결됨IT인을 위한 ELK 통합로그시스템 구축과 활용
docker-composer에서 작업중이었는데 bulk api memory 부족
indexing_pressure.memory.limit 이거를 올려주라는데 혹시 일시적으로 어떻게 올리는 건가요?