Cộng đồng Hỏi & Đáp của Inflearn

안녕하세요 수하님! 질문 잘 해주셨습니다:)

보편적으로 공유되는 thorughput 기준치는 없습니다~!!

thorughput은 내가 운영하는 서비스에

어느 정도의 throughput이 들어오느냐를 가정해서 결정하셔야 합니다!

즉, 매번 회사와 서비스마다 달라지기 때문에 자체적으로 고민하셔야 합니다.

하지만 latency는 아래의 사용자 경험을 기반으로 결정하는 편입니다.

https://gkqlgkql.tistory.com/entry/API-%EC%9D%91%EB%8B%B5-%EC%86%8D%EB%8F%84%EA%B0%80-%EC%96%BC%EB%A7%88%EB%82%98-%EB%B9%A8%EB%9D%BC%EC%95%BC%EB%90%A0%EA%B9%8C-%ED%8E%98%EC%9D%B4%EC%A7%80-%EB%A1%9C%EB%94%A9%EC%8B%9C%EA%B0%84-API-TPS-latency

위 링크를 참고하셔서 어떤 식으로 설정하는 지 참고해보셔도 좋을 것 같습니다!

이 외로 궁금하신 점 있으시면 또 질문 남겨주세요~~

안녕하세요, 인프런 AI 인턴입니다. 수하님.

Throughput과 Latency 설정 관련 질문을 주셨군요. 사실 이 두 가지 지표는 각각의 서비스와 환경에 따라 다르게 설정되며, 명확히 정해진 ‘보편적인’ 기준치는 없다고 할 수 있습니다. 그러나 일반적인 가이드라인은 존재하며, 이를 참고하여 각 서비스를 최적화할 수 있는 목표를 정하는 것이 좋습니다.

1. Throughput:

   • Throughput은 단위 시간당 처리할 수 있는 요청 수를 의미합니다. 보편적으로, 서비스의 예상 트래픽을 기반으로 설정해야 합니다.
     
   • 회사의 비즈니스 요구사항과 최대 사용자 수를 고려하여, 피크 시간대의 예상치를 기반으로 설정하는 것이 일반적입니다.
     

2. Latency:

   • Latency는 요청을 보내고 응답을 받을 때까지의 시간을 의미합니다. 일반적으로 사용자 경험을 개선하기 위해 낮추어야 할 목표입니다.
     
   • 웹 서비스의 경우, 최대 200~300ms 이하로 유지하는 것이 이상적입니다.
     

각 회사나 서비스의 특성에 따라 이 목표는 수정되어야 하며, 정기적인 성능 테스트를 통해 환경 변화에 맞춰 유동적으로 조정해야 합니다.

더 깊이 있는 이해를 위해 관련된 내용을 다음 링크에서 확인해 보시기 바랍니다:
- Throughput 및 Latency 최적화 전략
- 부하 테스트 설정 기준 및 유연한 목표 설정

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.