Fanout on Read 의 학습 코드에서 질문 있어요
follows.parallelStream()
.map(Follow::getFolloweeId)
.map(followCountService::getFollowCount)
.filter(FollowCount::isCeleb)
.flatMap(followCount -> timelineRepository.getCelebPosts(followCount.getUserId(), 5).stream())
.forEach(postId -> timelineRepository.addPostToTimelineIfAbsent(user.getId(), postId));
위 코드는 읽기 시, 팬아웃 학습에 사용된 코드입니다
parallelStream() 으로 병렬 작업을 하고 있는데요
I/O 작업을 parallelStream() 을 사용하는 것은 안티패턴 같은데
실무에서도 이렇게 적용하나요?
Answer 1
1
안녕하세요 SPRING님!
말씀하신 것처럼 I/O 작업에 parallelStream()을 사용할 때는 주의가 필요해요. 다만 사용 자체가 무조건 안티패턴인 것은 아닙니다.
이 코드에서는 DB와 Redis 응답을 기다리는 동안 공용 스레드 풀의 스레드가 묶일 수 있고, 같은 풀을 사용하는 다른 작업에도 영향을 줄 수 있어요. 따라서 동시 요청이 많은 서비스의 실무에 적용하려면 이런 방법은 적절치 않습니다.
따라서 전용 스레드풀(ForkJoinPool)에 작업을 제출하고 안에서 parallelStream()을 실행해 공용 풀과 분리하고, 스레드 수를 설정하는 방법도 있어요. 조금 더 디테일한 설정을 직접 관리하고 싶다면 ThreadPoolTaskExecutor에 CompletableFuture 로 각 작업을 제출하는 방식을 고려할 수 있습니다.
또한 근본적인 성능 개선을 위해서는, 이 코드에서는 팔로우 수를 한 명씩 조회하는 대신 일괄 조회하는 등, I/O 호출 횟수를 줄이는 방법부터 검토하는 것이 좋습니다.
강의 실습에서는 Fanout on Read의 흐름을 간결하게 구현했지만, 병렬처리에 관한 부분은 깊게 다루지 않았네요. 이 부분에 대해서도 다루어주셔서 감사하고, 병렬 처리 방식은 서비스의 부하와 요구사항에 맞게 선택하시면 됩니다. (위에 말씀드린 것 이외에 VirtualThread, 논블로킹 I/O 등도 고려해볼수있습니다. 하지만 현재 스펙에 맞고 과하지 않게 선택하시면 됩니다.) 질문 감사합니다!
offset 페이징, 세컨더리 인덱스
0
13
0
server01.hadoop.com 로그인 정보 문의드립니다.
0
21
1
완성후 클로드 코드로 점검결과가
1
27
1
맥미니에서 배포(?) 해도 되나요?
1
28
1
설치
1
46
2
장바구니 질문
0
46
1
팔로워수,팔로잉수 조회 설계
1
46
1
강의 관련 질문드립니다.
1
78
2
질문 드립니다!
0
145
1
프론트 API 작업
1
166
2
agents와 commands에 대해 궁금한 점이 있습니다!
1
176
2
.claude 폴더 규칙 생성 방법
1
246
2
강의를 어떻게 보면 좋을 까요?
1
215
2
SKILLS.md나 agents 작성 문의
1
266
1
CSRF 관련 궁금한게 있어요
1
114
1
안녕하세요 강사님 데이터베이스 선택 질문있습니다!!
1
173
2
안녕하세요 질문있습니다.
1
146
1
강의를 듣던 중 궁금한 점 있어요
1
147
1
클로드 대신 제미나이 사용해도
1
843
2
claude 동작 결과값이 다를 경우 어떻게 해나가야 될지 모르겠습니다.
2
224
2
hooks가 동작하기 위한 내용이 없는 것 같아서 추가가 필요하지 않을까 싶습니다.
1
193
3
.claude폴더를 복붙해서 넣긴 넣었는데 궁금한 점이 생겼어요.
1
259
2
터미널에서 claude 입력 과정
1
139
1
.claude 안에 폴더 및 파일은 어떻게 생성하죠?
2
284
1

