fluentbit 관련 node 의 기본 로그 질문

CloudNet@ - Amazon EKS 기본 강의

[실습] FluentBit를 활용한 중앙 집중형 로깅 확인

작성

수정됨

for log in dmesg secure messages; \

do \

echo ">>>>> Node1: /var/log/$log <<<<<"; \

ssh ec2-user@$N1 sudo tail /var/log/$log; \

echo; done

노드 1에 dmesg, secure, messages 로그 확인하는

명령어가

이렇게 나와서 확인해보니

로 되어있네요

즉 노드 로그가 있는 경로 중에

/var/log/dmesg 만 있고

/var/log/secure,messages

가 존재 하지 않는 상황인데

심지어 그나마 있는 경로인

/var/log/dmesg 안에도 로그가 없기에 fluentbit 도 클라우드 와치로 로그를 안보내는 모습입니다

실제로도 확인해보니 역시나 로그그룹도 host 태그는 만들어 지지 않는 모습입니다 .

...........

결론적으로

fluentbit는 여전히 기본값으로 해당 경로에서 로그 가져와서 보내는걸 처리하고있는데

정작 ec2는 버전 문제인지 더 이상 지원 하지 않는지는 모르겠는데 해당 경로를 기본값으로 사용하지않네요

원할한 실습을 위해

확인 부탁드립니다 .

네트워크 aws kubernetes amazon-eks eks

답변 3

Ongja_CloudNet@

지식공유자

안녕하세요. CloudNet@ 팀입니다.

이미 인지하고 계신 부분이지만, Fluent Bit의 로그 수집 관련해 설명드립니다.

현재 Fluent Bit의 호스트 로그 수집 경로는 강의에서 설명드린 것처럼 아래 경로를 참조하고 있습니다.

/var/log/dmesg, secure, messages

문제는 EC2 인스턴스의 OS가 Amazon Linux 2(AL2)에서 Amazon Linux 2023(AL2023)으로 변경되면서, 로그 저장 경로가 바뀌었다는 점입니다.

그로 인해 Fluent Bit에 지정된 경로와 실제 로그 경로가 일치하지 않아 수집이 정상적으로 이루어지지 않습니다.

즉,

Amazon Linux 2(AL2) 환경에서는 정상 수집 (OK)
Amazon Linux 2023(AL2023) 환경에서는 수집 실패 (NOK)

EKS Worker Node의 node-AMI-family는 별도로 지정하지 않으면 기본값으로 AL2가 적용됐습니다.

이 경우 Fluent Bit과의 연동에 문제가 없겠죠.

하지만 최근 기본값이 AL2023으로 변경되었네요.

그로 인해 Fluent Bit의 기존 로그 경로가 더 이상 유효하지 않게 되었습니다.

결국 이로 인해 로그 수집이 중단되는 현상이 발생하고 있습니다.

참고로 말씀드리면,

현재 4장을 제외한 모든 강의는 AL2023 기반으로 업데이트가 완료된 상태입니다.

다만 4장은 Fluent Bit 로그 수집 경로 문제로 인해 임시로 AL2를 유지하고 있습니다.

Fluent Bit의 AL2023 호환 버전이 나오기를 기다리는 중이었는데, 타이밍상 이슈가 드러난 상황이네요.

[검토 사항]

1. aws-for-FluentBit 최신 버전 확인 (AL2023 호환 여부)

2. EKS Worker Node의 node-AMI-family를 명시적으로 AL2로 지정(기본값 X)

3. Fluent Bit을 대체할 수 있는 다른 로그 수집 도구 검토

내용을 검토한 후 다시 안내드리겠습니다.

일단 해당 파트는 잠시 건너뛰고, 다른 부분 먼저 진행해 주시면 좋겠습니다.

감사합니다.

Ongja_CloudNet@

지식공유자

Fluent Bit 로그 수집 오류 관련 검토 내용을 공유드립니다.

현재 Fluent Bit은 rsyslog 기반의 로그 경로(/var/log/messages, /var/log/secure, /var/log/dmesg)를 전제로 동작하고 있어, Amazon Linux 2(AL2) 환경과만 호환됩니다.

그러나 Amazon Linux 2023(AL2023) 기반의 최신 EKS 노드는 systemd 중심의 journald 로그 시스템을 사용하므로, 기존 경로와 매칭되지 않아 로그 수집이 정상적으로 이루어지지 않습니다.

앞서 검토한 사항을 정리하면 다음과 같습니다.

1. aws-for-fluent-bit 최신 버전 확인 (AL2023 호환 여부)

→ 현재까지 aws-for-fluent-bit는 systemd 로그를 직접 추출해 수집하는 기능을 지원하지 않습니다.

2. EKS Worker Node AMI 명시 (AL2 사용 가능 여부)

→ 현재는 EKS에서 Amazon Linux 2 AMI를 명시적으로 지정하여 사용하기 어렵습니다.

3. 대체 로그 수집 도구 검토

→ 여러 대체 도구가 존재하지만, AWS 공식 문서에서도 여전히 Fluent Bit을 권장하기 때문에 동일 도구를 유지하는 방향으로 판단했습니다.

[조치 사항]

AL2023 환경에서 rsyslog를 수동 설치하여 기존 로그 경로(/var/log/messages, secure, dmesg)를 복원하는 우회 방안을 적용했습니다.

CloudFormation 템플릿 수정으로 노드 부팅 시 자동 설정되므로, 별도 수동 작업 없이 실습이 가능합니다.

다만 이 조치는 임시 대응이며 근본적인 조치가 필요합니다.

향후 aws-for-fluent-bit에서 journald(Systemd) 로그 수집 플러그인을 공식 지원하면, 그에 맞게 실습 구성을 변경할 예정입니다.

자세한 내용은 EKS Hands-On 페이지에서도 확인하실 수 있습니다.

https://www.ongja.space/15b4c62d-36c3-801e-a757-d85a33ea1cba#1fe4c62d-36c3-808e-8261-c2a17c59bdf9

Fluent Bit 로그 수집 오류 관련 제보 감사드립니다. 🙇‍♂

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. ckstj8027님.

Amazon EKS에서 Fluent Bit이나 Fluentd를 사용하여 로그를 수집할 때, 기본적으로 설정된 로그 파일 경로나 포맷이 운영체제 업데이트나 구성 변경으로 인해 실제 로그 경로와 일치하지 않을 수 있습니다. 이는 실습 환경에서 특히 빈번하게 발생할 수 있는 문제입니다.

몇 가지 확인할 점을 안내드리겠습니다:

로그 경로 확인:
- 실제로 Amazon Linux 2와 같은 특정 AMI에서는 /var/log/secure 및 /var/log/messages 대신 systemd를 사용하여 journald를 통해 로그를 관리할 수 있습니다. 이 경우 /var/log/messages와 같은 전통적인 로그 파일이 존재하지 않을 수 있습니다.
journalctl 사용:
- journalctl 명령어를 사용하여 시스템 로그를 조회할 수 있습니다. 예를 들어, journalctl -xe는 최근 시스템 로그의 확장 출력을 보여줍니다.
Fluent Bit 설정 업데이트:
- Fluent Bit 설정 파일에서 로그 경로를 실제 경로로 업데이트해야 합니다. 기본적으로 /etc/fluent-bit/fluent-bit.conf나 /etc/fluent-bit/parsers.conf와 같은 파일에서 입력 플러그인의 로그 경로 설정을 확인하고 적절히 수정해 주세요. tail 입력 플러그인이 있는 경우 로그 파일 경로를 수정해야 합니다.
로그 그룹 확인:
- AWS CloudWatch에 로그 그룹이 올바르게 구성되어 있는지 확인하시고, 로그 스트림이 생성되지 않는다면 권한이나 설정 이슈일 수도 있습니다.

현재 말씀하신 문제는 Fluent Bit 설정이 실제 운영체제 환경과 맞지 않아 발생하는 것으로 보입니다. 위의 가이드를 참고하셔서 설정 파일을 수정해 보시길 바랍니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변

fluentbit 관련 node 의 기본 로그 질문