suminkim29577

선생님 원인을 찾았습니다. 과도한 샤드 할당이 문제 였네요<a target="_blank" rel="noopener noreferrer nofollow" href="https://www.elastic.co/guide/en/elasticsearch/reference/7.17/size-your-shards.html#:~:text=Aim%20for%2020%20shards%20or,keep%20your%20nodes%2C%20the%20better.">Size your shards | Elasticsearch Guide [7.17] | Elastic</a>인덱스 정책을 변경하면서 하루에 샤드만 거의 50개를 생성해서 한 노드당 300개 이상의 샤드가 할당되었습니다. 공식문서에서는 600개라고 했지만 제 환경에서는 300개가 넘으면 힙사이즈가 꽉차는 현상이 발생했네요우선 레플리카 다 삭제하고 몇개 인덱스를 삭제해서 복구했습니다 감사합니다^^

노드 heap size에 관해서

@강진우 선생님, 제가 잘 모르는 상태에서 질문을 자꾸 남겨서 죄송합니다^^;;;책이랑 강의를 다시 보면서 확인해보니, 해결 되었습니다. 데이터 노드 5개에 모든 샤드 할당을 하려면 당연히 primary갯수를 5개로 지정해야되고 롤오버정책으로 max_promary shard size 를 50기가 설정해서 한 노드당 2개씩 할당되는 샤드의 사이즈가 20기가씩 40기가, 토탈 200개가가 되면 새로운 인덱스가 생성하는게 당연했습니다. 그 사이즈가 다 차지도 않았는데 저는 utc 기준으로 날짜가 변하면 무조건 인덱스가 새로 생성되는줄알았습니다. 답변 달아주셔서 감사합니다

suminkim29577

Posts