Spring Batch와 분산처리 기술 스택들과의 차이점

Question

안녕하세요 강사님. 강사님 수업을 50% 정도 진행하면서 질문 2가지가 생겨서 글을 작성하게 되었습니다. 1.Spring Batch는 정산 시스템 같은 곳에서 사용되기 위한 목적으로 대량의 데이터를 멀티 쓰레드로 처리하기 위한 목적의 프레임워크로 알고 있습니다. 그러면 분산 처리 기술인 hadoop과 Spark와의 차이점이나 장점이 있는 부분이 있을까요? 막상 기술을 배워서 적용할려고 하나 분산처리 부분의 기술 영역들보다 좋은 장점을 모르겠습니다. 2.강의가 디버깅을 통해서 Spring Batch의 깊은 곳까지 학습을 진행해주시는데 이런 부분을 이해하고 넘어가는 정도로 넘어가도 괜찮을까요? 정리를 하면서 양이 너무 방대해서 제가 학습하는 방법이 맞나 의문이 듭니다. 매번 감사한 마음으로 강의듣고 있습니다. 감사합니다.

정수원 · Answer

네 음.. 1. 일단 제가 Hadoop 이나 Spark 와 같은 오픈 소스를 사용한 경험이 없어서 Spring Batch 와 비교 설명을 하기가 어려운 점이 있습니다. 다만 Spring Batch 는 기업에서 활용하는 배치 어플리케이션 개발에 특화된 기능을 제공하고 있기 때문에 Hadoop 의 대규모 분산 컴퓨팅에 필요한 전문적인 기능에는 다소 부족한 면이 있을 것 같습니다. 오히려 두가지 기술을 연계해서 사용하면 분산컴퓨팅과 배치 어플리케이션의 전문적 기능을 모두 통합하여 사용할 수 있을 것 같기도 합니다. 자세한 설명을 해 드리지 못한점 양해 부탁드립니다. 2. 네 상관없습니다. 다만 제가 강의에서 아키텍처, 윈리, 흐름 등의 내부 소스를 디버깅하면서 설명하는 이유는 단순히 API 를 사용하는 것에 머무르지 않고 언제든 필요시 기본 기능을 확장하거나 커스텀하게 응용할 수 있는 능력을 갖추도록 하는데 목적이 있습니다. 본인의 이해도에 맞게끔 정리해 나가시면 될 것 같습니다.