주문내역 분석 파일 작성... 난관에 부딪혀 문의드립니다.

온라인 주문분석 파일을 파워쿼리, 파워피벗을 통해 아래와 같이 만들어 보았습니다.

1. 매일매일 회사쇼핑몰, 스마트스토어, 쿠팡 등 온라인 상의 개별주문 데이터가 엑셀로 취합된다 (raw data라고 하겠습니다)

2. Raw date는 (돈을 받고 판매한) 상품과 (무상으로 제공하는) 사은품이 명확히 구분되지 않는 등 수정이 필요하다. 그래서 파워쿼리로 다음과 같은 3개의 테이블을 뽑아낸다.
1. 주문내역 : 파워쿼리를 사용하지만 raw data를 거의 변형하지 않음
2. 상품 판매 내역 : 파워쿼리롤 뽑은 주문내역 테이블을 복제 후, 사은품을 제외시킨다
3. 사은품 제공 내역 : 파워쿼리롤 뽑은주문내역 테이블을 복제 후, 상품을 제외시킨다

(예 : 어떤 주문에 2개의 상품과 1개의 사은품을 같이 주문했다면, 주문내역은 3행 / 상품 판매 내역은 2행 / 사은품 제공 내역은 1행이 나온다 - 이 예시는 오늘 문의에서는 중요한 부분은 아닙니다)

이렇게 테이블을 뽑아내면 테이블당 월별 약 500~1500행 정도 나오는 것 같습니다. (정확히 세어본 적은 없습니다만)

3. 위 2번과 동일한 엑셀파일에 - 3개의 테이블을 원본으로 여러 개의 피벗테이블-피벗차트를 구성하여 회사 내부에 공유한다. (예를 들어, 월별/판매마켓별/제품군별 등등의 기준으로 매출, 주문숫자, 판매수량, 이익률 등을 보여줍니다)

그런데 위 1~3번 과정을 진행해보니

• (취합 과정에 문제가 있었는 지도 모르겠지만) raw data가 3~4달만 쌓여도 파워쿼리 취합에 시간이 너무나 오래 걸린다. (5~10분 정도 걸려서 겨우겨우 되거나, raw data가 5개월치 이상이 되니 아예 취합에 실패하였습니다. 첫 1~2달은 문제가 없었습니다.)
• 개인 데스크탑에서도 오래 걸렸고 / 원본과 취합파일을 모두 구글드라이브나 원드라이브에 저장시켜서 진행하면 더 오래 걸렸습니다.

그래서 위 1~2번을 하나의 엑셀파일로 취합 --> 이 엑셀파일의 3개 테이블의 값을 값복사하여 --> 6개월치를 새로운 엑셀파일로 만든 후 (복사해 온 값은 모두 테이블로 만듭니다), 그 파일에서 파워피벗 적용으로 바꿨는데요. (즉, 이 과정을 2개의 엑셀파일로 진행) 다시 문제가 생겼습니다.

• 3번 과정 엑셀파일은 최근 6개월 데이터만 보여주는 것으로 내부적으로 정했음.
• 그래서 10월 초에는 4~9월을 취합한 후 (이게 최초 작업으로 여기에는 아무 문제가 없었습니다) --> 11월 초가 되어 4월을 삭제하고 10월을 추가하여 5~10월을 취합. (이렇게 한 후, 5~10월을 테이블화)
• 이후 피벗테이블, 피벗차트를 아무리 새로고침 해도 다음과 같은 현상이 반복되면서 5~10월 데이터가 잘 반영되지 않는다 :
• 새로고침을 해도 삭제한 4월 데이터가 다시 살아나고 / 추가한 10월 데이터는 사라진다.
• 다시 살아나거나 사라지지 않는 경우에도, 피벗테이블 새로고침에 걸리는 시간이 무려 10~20분까지 걸린다.
• 겨우겨우 피벗테이블 새로고침 과정이 끝나면, 대부분의 경우 다음과 같은 메시지창이 뜬다 : "이 작업은 워크시트에서 필터링되는 범위를 변경합니다. 이 작업을 완료하려면 자동 필터를 제거하세요.
• 이런 메시지창이 뜨지 않는다고 해도 … 모든 피벗테이블-피벗차트의 데이터는 5~10월을 보여줘야 하지만 / 어떤 테이블, 차트는 4~9월을 보여주고 다른 것들은 5~10월을 보여주는 등 제각각이다.
• 이런 현상은 그냥 '새로고침'을 하든 '모두 새로고침'을 하든 마찬가지이다.

이 모든 걸 어쨌든 엑셀파일로 해결해내야 하는데요. 진행과정에 대해 질문을 드립니다.

1. 원래 의도했던 대로 위 1~3번 과정을 '하나의 엑셀파일'로 취합하고 --> 파워쿼리의 원본을 최근 6개월 raw data만 모아 놓은 폴더로 1달에 1번씩 변경해주고 새로고침 하는 것이 가장 효율적이겠죠?
• 만약 그렇다면 raw data 6개월치를 파워쿼리로 취합할 때 시간이 오래 걸리지 않으려면, 에러가 나지 않으려면 어떻게 해야 할까요?

(다음 사항이 고려되어야 합니다) 주문수는 매일매일이 일정한 편이지만 - 어느 날은 주문수가 1만개 이상이어도 주문분석 파일은 빠르게 뽑을 수 있어야 합니다 / raw data에는 약 30개의 열(field)이 있는데--> 이걸  파워쿼리를 통해 3개의 테이블을 뽑아낼 때도 삭제되는 열은 거의 없습니다. 파워쿼리와 아무런 연관 없는 field라도 임의 삭제는 불가능합니다. / raw data에는 잘못된 data는 없습니다. (예를 들어 alt + enter로 입력된 data가 있다든가… 하는 일은 없습니다)

2. 무조건 1~2번 과정을 하나의 엑셀파일로 + 3번 과정을 별도의 엑셀파일로 (지금처럼) 진행해야 한다면, 3번 과정 엑셀파일에서 과거 데이터를 지우고 - 새로운 데이터를 삽입해도 파워피벗에 제대로 적용시킬 방법이 있을까요? (즉, 위에 이미 말씀드린 5~10월 데이터가 잘 반영되기 위해 해야 할 일이 무엇인지 궁금합니다.)

어쩌면 너무 복잡한 질문을 드렸을 수도 있고, 아니면 의외로 해결책은 간단할 수도 있는데… 이게 단순한 문제인지, 복잡한 문제인지도 감을 잡지 못해 문의를 드립니다. 강의에 적합한 문제가 아니라면 답변을 주시지 않아도 괜찮습니다.  (혹 게시판이 아닌 이메일이나 다른 방법으로 받으실 수 있으면 알려주셨으면 합니다)

좋은 강의에 다시 한 번 감사드려요.