복잡한 데이터의 처리에서의 연관관계와 데이터 핸들링

=========================================
[질문 템플릿]
1. 강의 내용과 관련된 질문인가요? (예/아니오)
2. 인프런의 질문 게시판과 자주 하는 질문에 없는 내용인가요? (예/아니오)
3. 질문 잘하기 메뉴얼을 읽어보셨나요? (예/아니오)

[질문 내용]
여기에 질문 내용을 남겨주세요.

안녕하세요. 작년에 수강했다가, 재수강(?)했습니다.

fe 몇개월하다보니 jpa가 초기화 된 상태로 프로젝트에 투입되어 정신차려보니 설계가 엉망인것 같아서 고견을 여쭙고자 질의 드립니다.

현재 개발중인 업무의 프로세스는 

외부 api의 복잡한 데이터를 끌고와 데이터 그대로 저장하고나서, 필요한 데이터를 가공하여 유의미한 데이터만을 모아둔 테이블에 저장하는 것을 batch를 사용하여 개발했습니다. (정상동작은 하는데 설계부분이 꼼수개발)

저는 모든 연관관계상의 엔티티에 cascade.All 옵션을 주고, 엔티티 관계는 일대다단방향으로 하고, 자식과 손자는 IdClass를 가지고 primary key 를 관리하여, 한번에 저장하는 형식으로 개발하였습니다. ( dto - entity converting 은 mastruct를 사용하여 한번에 변환)

해당 데이터의 id도 모두 외부에서 전달되어지는 형태입니다.

질문) 김영한님이라면 어떤 전략을 취하셨을 까요?

외부에서 들어오는 데이터는 아래와 같습니다. 실제 데이터와는 다르게 단순화했고, 해당 데이터가 50~100건 정도 한번에 들어오고, 1~3분에 한번정도 수행(거의 실시간데이터)하려고 하고 있습니다. (총 데이터 row 부모기준 300이하)

--테이블상관계

부모- 자식 (1-N)

자식-손자 (1-N)

항상
진심과 성심이 느껴지는
좋은 강의를 공유해 주셔서 감사합니다!

{
  "id": "1",
  "children": [
    {
      "uid": "3256",
      "child_id": "1",
      "grand_children": [
        {
          "id": "1",
          "type": "TypeX",
          "neighborhood_ids": [
            "11"
          ],
          "last_updated": "2022-03-16T10:10:02Z"
        },
        {
          "id": "2",
          "type": "AC_2_PHASE",
          "neighborhood_ids": [
            "13"
          ],
          "last_updated": "2022-03-18T08:12:01Z"
        }
      ],
      "last_updated": "2022-06-28T08:12:01Z"
    },
    {
      "uid": "3257",
      "child_id": "2",
      "grand_children": [
        {
          "id": "1",
          "type": "TypeX",
          "neighborhood_ids": [
            "12"
          ],
          "last_updated": "2022-06-29T20:39:09Z"
        }
      ],
      "last_updated": "2022-06-29T20:39:09Z"
    }
  ],
  "time_zone": "Asia/Seoul",
  "last_updated": "2022-06-29T20:39:09Z"
}

인프런 커뮤니티 질문&답변

질문) 김영한님이라면 어떤 전략을 취하셨을 까요?