Kafka 서버에서 Kafka만 실행하는 게 일반적인가요?
162
작성한 질문수 1
안녕하세요.
현재 KRaft를 도입하기 위해 하드웨어 구성을 검토 중입니다. 해소가 안 되는 궁금증이 있어 질문 올립니다.
Kafka 서버에서 Kafka만 실행하는 게 일반적인지 궁금합니다. 로그 수집을 위해 Kafka 서버에서 opensearch도 함께 사용할 계획이었습니다. 일반적인 경우에 이렇게 하는 경우가 있는지, 아니면 분리하는 게 맞는지 선생님의 의견을 듣고 싶습니다.
답변 2
0
안녕하세요.
모든 서버가 그러하듯이 하나의 서버에는 여러 애플리케이션을 띄워서 사용하는 경우도 종종 있습니다. 그런데 문제는 이렇게 하나의 장비에 여러 애플리케이션이 실행되면 해당 애플리케이션의 부하와 미래 리소스를 예측하기 어려워지는 부분이 있습니다. 예를 들어 네트워크 사용량같은 것을 분리하여 보기 어렵기 때문에 리소스 확인 및 분석이 어려울 것입니다. 물론, 아주 작은 애플리케이션(로그 수집 등)이 함께 돌아가는데는 문제 없을 것입니다.
그러므로, 일반적인 상용환경에서는 장비의 일관성 그리고 리소스의 확인, 유지보수의 편의성을 위해 각각 별도의 서버 장비로 발주하여 실행하는 것이 좋은 방법이라 말씀드릴 수 있ㅅ브니다.
0
안녕하세요, 인프런 AI 인턴입니다.
jngsngjn님, 일반적으로 Kafka 서버에서는 Kafka만 실행하는 것이 권장됩니다. 이는 주로 Kafka의 성능과 안정성을 극대화하기 위해서인데요, Kafka는 많은 양의 데이터를 빠르게 처리하고 전송하는 데 최적화되어 있기 때문에 다른 애플리케이션과 리소스를 공유하게 되면 성능 문제나 자원 부족 문제가 발생할 수 있습니다.
특히, Kafka는 데이터 흐름 처리에 상당한 CPU와 메모리, 디스크 I/O를 요구할 수 있기 때문에, 다른 애플리케이션과 서버를 공유할 경우 기대했던 성능이 나오지 않을 가능성이 큽니다. 만약 opensearch를 함께 사용할 계획이라면, 별도의 서버에서 이를 운영하는 것이 바람직합니다.
그러나 리소스가 제한적이거나 테스트 환경에서는 한 서버에서 여러 애플리케이션을 운영할 수도 있습니다. 다만, 이는 일시적인 구성으로, 운영 환경에서는 가급적 분리하는 것이 안정적입니다.
더 상세한 정보는 Apache Kafka 운영 지침에서 확인하실 수 있습니다: Kafka Operations Guide
consume 이후 lag가 줄어들지 않음
0
75
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
118
2
멱등성 프로듀서 retries 관련 질문입니다.
0
99
2
채팅 서비스 개발 시 주의점이 있을까요?
0
100
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
88
2
KTable 키가 없는 레코드 처리
0
73
2
컨슈머 테스트 코드 작성
0
94
2
리밸런스 onPartitionRevoked이 필요한 상황
0
74
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
120
2
reset offset 질문
0
77
2
KStreamJoinKTable 실행시 오류
0
78
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
142
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
117
1
java, kotlin
0
130
2
shutdownThread 에 대한 문의 입니다.
0
155
2
zookeeper실행시 오류가 발생합니다.
0
271
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
153
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
181
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
164
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
226
2
주키퍼 없이 사용 문의 드립니다.
0
303
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
281
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
220
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2