Elastic Cloud 에서 "Logs and metrics" 기능 관련 질문 있습니다.

Elastic Cloud 에서 "Logs and metrics" 기능 활성화를 통해 나중에 문제 발생시 로그 및 매트릭 확인을 위해서 해당 기능을 활성화 하고자 하는데요.

이 기능은 좋은데 문제점이 너무 빠르게 용량을 잡아 먹는다는 것 입니다.

저 예산으로 가야 되는 상황이라 어쩔 수 없이 낮은 사양으로 할 수 밖에 없는 상황이지만 그렇다고 "Logs and metrics" 기능을 비활성화 하기에 나중에 문제 발생시 대처가 안 될 것 같아서 고민이 됩니다.

한번 여러 방면으로 대책법을 찾아보니

1. 필수 로그 및 메트릭만 수집 (필터링)

2. 수집 주기 조정 (Metrics 기준)

이렇게 대응 방법을 말해주고 있는데요.

지금부터 ChatGPT 가 답변해준 글을 공유 하도록 하겠습니다.

==================================================

💥 주요 성능 부하 원인

🔁수집량 과다수집 주기 짧음, 많은 필드 → 데이터 폭주

📥Ingest Pipeline 부하Elastic Agent가 사용하는 Ingest Pipeline이 CPU/RAM 자원 소비
💾인덱싱 부하많은 로그가 빠르게 들어오며 디스크 I/O 및 CPU 부하 증가
🔍자동 매핑 확장필드가 자동으로 확장되어 메모리, 클러스터 상태 불안정
🧠ILM 미적용 / 장기 보존오래된 데이터가 계속 쌓이며 성능 하락 및 디스크 압박

✅ 해결책: 성능 최적화 전략

1. 필수 로그 및 메트릭만 수집 (필터링)

• 수집 대상 최소화:

  • log.level: error, source: app-* 등 필요 데이터만 수집

• 예: Elastic Agent policy에서 수집 대상 제외 설정

  processors: - drop_event: when: not: equals: log.level: "error"

2. 수집 주기 조정 (Metrics 기준)

리소스기본 주기추천 조정Metrics (System, Docker 등)10s~15s→ 30s~60s로 늘리기

Elastic Agent 정책에서 조정 가능 (Kibana → Fleet → Integration Policy → Advanced options)

3. ILM 수명주기 정책 설정

• 오래된 로그/메트릭 자동 삭제 또는 cold/warm tier로 이동

• 예: logs-*, metrics-* 인덱스 7일 후 삭제

📍 Elastic Agent Policy 설정 페이지 찾는 방법

🔹 경로:

1. Kibana에 로그인

2. 왼쪽 메뉴에서 "Management" → "Fleet" 클릭
   → Fleet은 Elastic Agent를 중앙에서 관리하는 UI입니다.

3. 상단 탭에서 "Agents" 또는 "Agent policies" 클릭

4. 원하는 정책 이름 클릭 (예: Agent policy 1)

5. Integrations 리스트가 보이면, 로그/메트릭 관련 항목 클릭 (예: System, NGINX, Kubernetes 등)

6. Advanced Options 또는 Streams 탭에서 수집 조건/필터 조정 가능

🎯 필수 로그/메트릭만 수집하는 핵심 위치

• Integrations 안의 Stream 설정

  • 예: system.syslog → enabled ✅ / ❌

  • 메트릭 → 수집 주기(Collect every 10s 등)

• Advanced YAML (고급 설정)
  예를 들어, error 레벨만 수집하도록 필터 추가:

processors:
  - drop_event:
      when:
        not:
          equals:
            log.level: "error"

🧭 화면 예시 흐름

Kibana
 └─ Management
     └─ Fleet
         ├─ Agent Policies   ← 여기서 정책 선택
         │   └─ [Agent policy 1]
         │       └─ System integration 등 클릭
         │           └─ Streams or Advanced options 설정

==================================================


이렇게 필수로그 수집 기능 및 수집 주기 조정 기능으로 조금이나마 성능 부하를 줄이고자 할려고 하는데요.

말 그래도 키바나 접속 해서 Fleet 페이지로 가서

먼저 agent policy 등록를 하고

등록한 agent policy 접근 해서

system-1 클릭하면 Edit System integration 페이지 접근 할텐데요. 여기서

Collect metrics from System instances 에서 Change defaults 클릭 하고

여기서 원하는 Period 를 설정 하면 되는게 맞는 것인지 궁금 합니다...

혹시 또 추가적으로 설정 해야 하는 부분이 있을까요?