-
질문 & 답변
카테고리
-
세부 분야
백엔드
-
해결 여부
해결됨
default_batch_fetch_size 관련질문
20.05.10 22:55 작성 조회수 3.79k
16
안녕하세요 선생님 최근 default_batch_fetch_size 관련 질문과 비슷한 상황이지만 조금 다릅니다.
현재 A 테이블과 B테이블이 one to many 로 연관관계가 있고 현재 A 테이블 기준으로 쿼리를 날린다음(테이블 B는 페치조인하지 않음) 서비스 단에서 (테이블 B)부분 lazy를 강제 초기화 해주고 있습니다.
제가 batchsize를 다르게 주면서 테스트를 해보았습니다.
1. 쿼리 결과물 : 180개(A 테이블 기준 결과물 갯수) B 테이블의 결과물은 1073개
default_batch_fetch_size=100
in 절에 나가는 batch size= 100, 50, 25, 5
총 4번 비정상 fetch size되로면 2번에 나가야함
2.쿼리 결과물 : 180개(A 테이블 기준 결과물 갯수) B 테이블의 결과물은 1073개
default_batch_fetch_size=80
in 절에 나가는 batch size= 80,80,20
총 3번 정상
3.쿼리 결과물 : 180개(A 테이블 기준 결과물 갯수) B 테이블의 결과물은 1073개
default_batch_fetch_size=500
in 절에 나가는 batch size= 125, 31, 15 ,9
총 4번 비정상 fetch size되로면 1번에 나가야함
4.쿼리 결과물 : 180개(A 테이블 기준 결과물 갯수) B 테이블의 결과물은 1073개
default_batch_fetch_size=180
in 절에 나가는 batch size= 180
총 1번 정상
5.쿼리 결과물 : 30개(A 테이블 기준 결과물 갯수) B 테이블의 결과물은 23개
default_batch_fetch_size=100
in 절에 나가는 batch size= 25, 5
총 2번 비정상 fetch size되로면 1번에 나가야함
6.쿼리 결과물 : 30개(A 테이블 기준 결과물 갯수) B 테이블의 결과물은 23개
default_batch_fetch_size=30
in 절에 나가는 batch size= 30
총 1번 정상
7.쿼리 결과물 : 30개(A 테이블 기준 결과물 갯수) B 테이블의 결과물은 23개
default_batch_fetch_size=20
in 절에 나가는 batch size= 20, 10
총 2번 정상
8.쿼리 결과물 : 30개(A 테이블 기준 결과물 갯수) B 테이블의 결과물은 23개
default_batch_fetch_size=500
in 절에 나가는 batch size= 15, 15
총 2번 비정상 fetch size되로면 1번에 나가야함
혹시 자체적으로 최적화 알고리즘이 적용되면서 이렇게 제각각 나가는건가요?
아니라면 혹시 저 in 절을 만드는 부분을 디버깅을 해볼려면 어떤 클래스를 찾아보면 될까요?
답변을 작성해보세요.
28
김영한
지식공유자2020.05.11
안녕하세요. asdkfur님 좋은 질문입니다.
좀 깊은 내용이기는 하지만, 먼저 이렇게 동작하는 배경을 설명드릴께요.
보통 RDB들은 select * from x where in (?) 와 같은 preparedstatement는 미리 문법을 파싱해서 최대한 캐싱을 해둡니다.
그런데 데이터가 1개, 2개, 3개, 100개가 있으면 모두 각각 다음 처럼 최대 100개의 preparedstatement 쿼리를 만들어야 합니다.
select * from x where in (?)
select * from x where in (?, ?)
select * from x where in (?, ?, ?)
select * from x where in (?, ?, ? ...)
이렇게 되면 DB 입장에서 너무 많은 preparedstatement 쿼리를 캐싱해야 하고, 성능도 떨어지게 됩니다.
그래서 하이버네이트는 이 문제를 해결하기 위해 내부에서 나름 최적화를 합니다.
100 = 설정값
50 = 100/2
25 = 50/2
12 = 25/2
그리고 1~10까지는 자주 사용하니 모두 설정
이런식으로 잡아둡니다.
그러면 기존에 100개의 preparedstatement 모양을, 1~10, 12, 25, 50 ,100 해서 총 14개의 모양으로 최적화 할 수 있습니다.
이렇게 해서 100으로 최대값을 설정하고,
18을 설정하면 12, 6 이렇게 다음과 같이 나누어서 실행됩니다.
select * from x where in (?*12)
select * from x where in (?*6)
추가로 다음과 같은 속성으로 최적화 전략을 제어할 수 있습니다.
spring.jpa.properties.hibernate.batch_fetch_style: legacy //기본
spring.jpa.properties.hibernate.batch_fetch_style: padded
spring.jpa.properties.hibernate.batch_fetch_style: dynamic //최적화X
위에 말씀드린 전략이 기본 전략입니다.
최적화 대신에 설정한 값을 기준으로 사용하려면 dynamic를 선택하면 됩니다.(설명드린 내용 때문에 권장하지 않습니다.)
padded 전략은 다음을 참고해주세요: https://docs.jboss.org/hibernate/orm/4.2/manual/en-US/html/ch20.html#performance-fetching-batch
감사합니다^^
4
답변 2