인덱스 일별 생성에 대한 질문
안녕하세요, 강의와 책 모두 구매해서 잘듣고있습니다. 추가 질문사항이 있어서 다시 글 작성해봅니다..
인덱스 템플릿을 생성했고 setting, mappin 템플릿을 만들어 두개의 component template을 조합해서 logs라는 템플릿을 생성했습니다. 제가 원하는 인덱스는 logs-2023.05.28-000001 logs-2023.05.29-000002 logs-2023.05.29-000003( 50기가 넘어가면 같은 날짜라도 인덱스 만들어지고 뒤에 숫자 증가) 이런 모양을 기대했는데요,
mapping은 다이나믹 템플릿으로 필드를 매핑시켰고, setting에서는 rollover_alias를 logs로 주었고 템플릿을 생성할때 index_patterns는 logs*로 주었습니다. policy에서도 hot으로 max_promary shard size 50기가 설정했구요
다 만들고나서 아래와같이 아래와 같이 첫 인덱스를 주었습니다. 생성은 logs-2023.05.29-00001 이렇게 원하는대로 우선 생성되긴했습니다.
PUT %3Clogs-%7Bnow%2Fd%7D-000001%3E
{
"aliases": {
"logs": {
"is_write_index": true
}
}
}
그런데 다음날 보니 인덱스는 생성되지 않고 저 인덱스에 계속 쌓이더라구요...또 뭐 추가할 사항이 있을까요..??감사합니다.
回答 2
0
@강진우 선생님,
제가 잘 모르는 상태에서 질문을 자꾸 남겨서 죄송합니다^^;;;
책이랑 강의를 다시 보면서 확인해보니, 해결 되었습니다.
데이터 노드 5개에 모든 샤드 할당을 하려면 당연히 primary갯수를 5개로 지정해야되고
롤오버정책으로 max_promary shard size 를 50기가 설정해서 한 노드당 2개씩 할당되는 샤드의 사이즈가 20기가씩 40기가, 토탈 200개가가 되면 새로운 인덱스가 생성하는게 당연했습니다. 그 사이즈가 다 차지도 않았는데 저는 utc 기준으로 날짜가 변하면 무조건 인덱스가 새로 생성되는줄알았습니다.
답변 달아주셔서 감사합니다
0
감사합니다 선생님,
근데 혹시 max shard size를 50기가로 설정해 한 인덱스당 20기가씩, 5개의 데이터 노드에 할당해서 인덱스 하나 당 총 200기가를 토탈로 정해서 운영하고있는데, 샤드 size가 아닌 토탈 인덱스 사이즈도 성능에 문제가 될까요? 제가 생각했을때는 샤드 사이즈가 중요하지 인덱스 총 사이즈는 문제될게 없다고 생각해서요

1
네 말씀하신 것처럼 샤드의 개수, 크기만 노드 별로 적절하게 분산된다면 인덱스의 총 크기는 크게 걱정하지 않아도 됩니다.
실제로 제가 운영했을 때도 일 단위 로그 수집이 TB 까지 가는 경우도 많았습니다.
0
이건 저도 테스트를 좀 해보면서 확인을 해야 할 것 같습니다. 답변을 기다리실 것 같아서 미리 달아 둡니다.
0
네 감사합니다. 혹시 책에서 부록 B 스냅샷 생성과 복원하기 s3에 하는 부분 따라하고있는데, 해당 작업을 master 노드 한 군데에서만 진행하면 되나요? master 3대, data 5대 띄우고있는데 뭔가 스냅샷은 data node 5대에서 전부 진행해야될것같아서요
1
아닙니다. 모든 동작은 클러스터 단위로 동작하기 때문에 데이터 노드 5대에서 스냅샷을 생성한다 라는 개념은 없고, 스냅샷 생성을 위한 API 호출을 한 번만 아무곳에서나 하면 됩니다. 그럼 스냅샷의 대상이 되는 인덱스에 있는 모든 데이터에 대한 스냅샷이 생성 됩니다.
Red 인 상황에서 유실
0
60
2
하루 100GB 로그를 30기간 저장하는 클러스터 예시중 질문이 있습니다.
0
107
2
노드당 샤드수 제한 질문입니다.
0
82
2
노드에서의 가용영역 이슈
0
102
3
노드당 샤드 수 질문입니다.
0
147
3
색인과정 이해하기 중 질문입니다.
0
225
2
xlsx 파일 색인 중 CircuitBreakingException 발생
0
202
1
ES 트러블슈팅 사례분석 강의 내용중 궁금한 게 있습니다.
0
246
1
동잭매핑 매핑 시 색인 질문
0
198
1
Elastic Search 동작 이해하기 색인 설명 관련
0
413
2
Compressed OOP 조건에 따른 ES Heap Size 제약
0
703
1
6강 10분 색인 과정에 대해 질문 있습니다.
0
341
2
4강 14분51초 질문 있습니다!
0
398
2
안녕하세요 elastic cloud를 사용하는데 cpu가 계속 칩니다 .
0
380
1
검색이 안되는 문제 문의
0
337
1
7번째 강의에서 Token과 Term은 다른 건가요??
0
464
1
서버 업데이트후 키바나 동작안함
1
334
1
인덱스 설계에서 type 문의드립니다.
0
356
1
/_cat/indices?v 로 인덱스 조회시 보이는 나머지 항목들
0
405
1
색인 분석이란?
0
253
1
동적 스키마가 NoSQL을 의미하나요???
0
521
1
노리분석기 노드 적용 질문
1
270
1
노드 heap size에 관해서
0
679
2
로드밸런스 endpoint
1
308
1

