안녕하세요. Insert bulk 연산의 동시성에 대해 궁금한 점이 있습니다.
821
작성한 질문수 3
멀티 쓰레드를 통해 Batch Insert를 수행하고 있습니다.
batch 사이즈를 30으로 설정하였고 table에는 중복 insert를 막기 위해 unique key 설정을 했습니다.
비지니스 로직에서도 중복을 막기위해 unique key를 쿼리메소드를 통해 조회(id를 통한 조회 x)하며
enttiy가 존재하면 entitiy 값을 update하고 없으면 save하고 있습니다.
batch를 위해 saveAll을 사용하고 있습니다.
쿼리메소드를 통해 조회를 해도 duplicate entry error가 발생하고 있습니다.
궁극적으로 multi thread에서 동일한 unique key값으로 동시에 insert가 발생하는걸로 보입니다.
동일한 transaction이 아닌 곳에서 duplicate entry error가 발생하지 않기 위해 어떻게 해야할까요?
transcation isolation level READ UNCOMMITTED, 2차 캐시 등 찾아봐서 확인해봤는데 어떻게 해결해야할지 막막합니다.
답변 달아주시면 감사하겠습니다~~!!!
답변 1
1
안녕하세요. 021004님, 좋은 질문입니다.
사실 다음 부분에 문제가 있습니다.
비지니스 로직에서도 중복을 막기위해 unique key를 쿼리메소드를 통해 조회(id를 통한 조회 x)하며
enttiy가 존재하면 entitiy 값을 update하고 없으면 save하고 있습니다.
멀티쓰레드를 사용하면 A쓰레드와 B쓰레드가 동시에 같은 id 10을 사용했다면 둘다 똑같이 조회할 수 있습니다. 그래서 다음과 같이 동작합니다.
A쓰레드 -> entity 없음 -> save
B쓰레드 -> entity 없음 -> save
이런 동시성 문제는 애플리케이션에서 처리하기가 어렵습니다. 그래서 데이터베이스를 통해서 동시성 문제를 해결하는 것이 좋습니다.
예를 들어서 데이터베이스에서 insert시에 DuplicateException이 발생하면 버리거나, 3번 정도 재시도하는 로직을 만들면 되겠지요.
이런데 이런문제는 궁극적으로 처음부터 멀티쓰레드간에 키가 충돌이 안되도록 하는게 더 좋습니다.
예를 들어서 batch 데이터를 가지고 올 때 부터 정렬하고, 중복을 제거해서 멀티쓰레드 끼리 서로 같은 키를 조회할 가능성 자체를 제거하면 됩니다.
감사합니다^^
Entity 동등성 비교
0
4
1
실무 조언 관련 질문입니다.
0
41
1
H2데이터베이스 파일 생성
0
51
2
서브쿼리 강의에서 ALL 예시 관련 질문드립니다.
0
49
2
수정또는 삭제시 영속성 엔티티에 값이 무조건 있어야 하나요?
0
48
1
JPQL 메소드와 락
0
52
1
Delivery @OneToOne
0
57
1
17강 4~5분대 테이블 값 조회가 안됩니다.
0
89
2
UnsupportedOperationException 발생
0
82
3
H2 Database 연결이 안됩니다.
0
88
2
연관관계 매핑 질문드립니다.
0
82
2
h2데이터베이스 실행오류
0
105
2
persistence.xml
0
103
2
양방향 연관관계에서 연관관계의 주인(mappedBy)을 왜 꼭 정해야 하나요?
0
77
1
영속성 컨텍스트
0
62
1
JPA 프록시
0
90
1
Native Query와 MyBatis
0
63
1
영속성 컨텍스트는 어떤 메모리에 저장되는건가요?
0
83
1
임베디드 타입 예시 코드 관련 질문
0
112
3
명시적 조인에서 별칭을 주면 왜 객체에 접근할 수 있나요
0
90
3
인텔리제이 패키지 커서 단축키 질문
0
106
2
혹시 현재는 ID 데이터 타입이 String이면 안되나요?
0
136
1
양방향 연관관계 시 연관관계 주인을 설정하는 이유
0
68
1
임베디드 타입과 MappedSuperClass의 차이점이 궁금합니다.
0
95
1