인덱스에 들어가는 필드 갯수에 대해서 질문
인덱스 템플릿을 생성하고 rollover를 적용 시켜 100기가 넘을때마다 logs-2023.06.13, logs-2023.06.14 이렇게 새롭게 인덱스가 생성되고 있습니다. logs-2023.06.13에 필드가 1000개가 넘었다는 에러가 발생하여 'Limit of total fields [1000] has been exce..'
필드 정리했습니다. 그럼 es에서 따로 작업 없이 다음 인덱스부터(ex. logs-2023.06.14) 필드 개수가 다시 카운트 되는것인거죠??
es에서 따로 작업하지 않고 그 앞단에서 필드를 줄였는데 줄인 다음 적용되는 새로운 인덱스에서도 동일한 에러가 발생하고있어서 질문드립니다.
답변 1
1
필드 개수는 인덱스 별로 독립적으로 카운팅 됩니다. 필드를 정리 했다는 의미는 문서 자체에서 필드를 없앴다는 의미 이신거죠? 동적 매핑을 사용할 경우 text 타입으로 정의되는 필드들은 자동으로 keyword 필드가 추가 됩니다. 그래서 문서에 존재하는 문자열 필드가 500개 라면 동적 매핑을 사용하게 될 경우 생성되는 필드가 1,000개가 됩니다. 이 부분을 확인하셔서 정적 매핑이 가능한 필드들은 정적 매핑을 통해서 불필요한 추가 필드가 생성되지 않도록 하시면 될 것 같습니다.
1
네 필드 정리는 elasticsearch로 들어가는 로그의 필드를 정리했다는 의미입니다.
아 저는 필드가 하도 많아서 우선 동적 매핑으로 다 적용시키고있었습니다..
정적 매핑으로 다시 정리해서 다음 인덱스 생성때 확인해봐야겠네요 감사합니다!
Red 인 상황에서 유실
0
64
2
하루 100GB 로그를 30기간 저장하는 클러스터 예시중 질문이 있습니다.
0
108
2
노드당 샤드수 제한 질문입니다.
0
85
2
노드에서의 가용영역 이슈
0
104
3
노드당 샤드 수 질문입니다.
0
149
3
색인과정 이해하기 중 질문입니다.
0
227
2
xlsx 파일 색인 중 CircuitBreakingException 발생
0
204
1
ES 트러블슈팅 사례분석 강의 내용중 궁금한 게 있습니다.
0
246
1
동잭매핑 매핑 시 색인 질문
0
200
1
Elastic Search 동작 이해하기 색인 설명 관련
0
415
2
Compressed OOP 조건에 따른 ES Heap Size 제약
0
707
1
6강 10분 색인 과정에 대해 질문 있습니다.
0
342
2
4강 14분51초 질문 있습니다!
0
399
2
안녕하세요 elastic cloud를 사용하는데 cpu가 계속 칩니다 .
0
381
1
검색이 안되는 문제 문의
0
337
1
7번째 강의에서 Token과 Term은 다른 건가요??
0
465
1
서버 업데이트후 키바나 동작안함
1
339
1
인덱스 설계에서 type 문의드립니다.
0
358
1
/_cat/indices?v 로 인덱스 조회시 보이는 나머지 항목들
0
406
1
색인 분석이란?
0
253
1
동적 스키마가 NoSQL을 의미하나요???
0
524
1
노리분석기 노드 적용 질문
1
272
1
노드 heap size에 관해서
0
682
2
로드밸런스 endpoint
1
311
1