인프런 커뮤니티 질문&답변
작성한 질문수
안녕하세요. Insert bulk 연산의 동시성에 대해 궁금한 점이 있습니다.
작성
·
740
0
멀티 쓰레드를 통해 Batch Insert를 수행하고 있습니다.
batch 사이즈를 30으로 설정하였고 table에는 중복 insert를 막기 위해 unique key 설정을 했습니다.
비지니스 로직에서도 중복을 막기위해 unique key를 쿼리메소드를 통해 조회(id를 통한 조회 x)하며
enttiy가 존재하면 entitiy 값을 update하고 없으면 save하고 있습니다.
batch를 위해 saveAll을 사용하고 있습니다.
쿼리메소드를 통해 조회를 해도 duplicate entry error가 발생하고 있습니다.
궁극적으로 multi thread에서 동일한 unique key값으로 동시에 insert가 발생하는걸로 보입니다.
동일한 transaction이 아닌 곳에서 duplicate entry error가 발생하지 않기 위해 어떻게 해야할까요?
transcation isolation level READ UNCOMMITTED, 2차 캐시 등 찾아봐서 확인해봤는데 어떻게 해결해야할지 막막합니다.
답변 달아주시면 감사하겠습니다~~!!!
답변 1
1
안녕하세요. 021004님, 좋은 질문입니다.
사실 다음 부분에 문제가 있습니다.
비지니스 로직에서도 중복을 막기위해 unique key를 쿼리메소드를 통해 조회(id를 통한 조회 x)하며
enttiy가 존재하면 entitiy 값을 update하고 없으면 save하고 있습니다.
멀티쓰레드를 사용하면 A쓰레드와 B쓰레드가 동시에 같은 id 10을 사용했다면 둘다 똑같이 조회할 수 있습니다. 그래서 다음과 같이 동작합니다.
A쓰레드 -> entity 없음 -> save
B쓰레드 -> entity 없음 -> save
이런 동시성 문제는 애플리케이션에서 처리하기가 어렵습니다. 그래서 데이터베이스를 통해서 동시성 문제를 해결하는 것이 좋습니다.
예를 들어서 데이터베이스에서 insert시에 DuplicateException이 발생하면 버리거나, 3번 정도 재시도하는 로직을 만들면 되겠지요.
이런데 이런문제는 궁극적으로 처음부터 멀티쓰레드간에 키가 충돌이 안되도록 하는게 더 좋습니다.
예를 들어서 batch 데이터를 가지고 올 때 부터 정렬하고, 중복을 제거해서 멀티쓰레드 끼리 서로 같은 키를 조회할 가능성 자체를 제거하면 됩니다.
감사합니다^^