Azure 데이터를 api로 호출하여 Postgresql에 넣는 방법

Question

안녕하세요, 강사님 현재 내부에서는 DB데이터를 AZURE에 적재하고 있으며, AZURE의 KUSTO QUERY는 로그 보관용이라 DB성격이 더 강해서 SQL 자체가 자유롭지 않아 테이블 여러개를 조인하고 하는 기능에 한계가 있다고 내부 유관부서에서 답변을 받았습니다. 해당 팀에서 추가로 Azure에 적재된 데이터를 python에서 azure api를 통해 필요한 컬럼만 별도로 추출하는 프로시저를 짜서 테이블을 postgresql에 보내고, 해당 데이터와 python을 연결하여 분석하는게 좋겠다는 가이드를 받았는데요.. https://learn.microsoft.com/en-us/azure/data-explorer/python-ingest-data 해당 문서가 그 내용에 해당하는건지 한번 봐주실 수 있으실까요? ㅜㅜ 대략적으로 가이드를 조금이나마 주시면 감사하겠습니다..

seulki824 · Answer

네 강사님 감사합니다. 말씀주신대로 데이터 엔지니어가 진행해야할 듯 하여 내부 유관부서에 요청할 예정입니다. 즐거운 연말 보내세요!

dooleyz3525 · Answer

안녕하십니까, 제가 Kusto를 몰라서 제가 말씀드리는 내용이 정확하지 않을 수 있습니다. 검토 결과, 해당 문서는 디렉토리에 있는 csv 파일을 Kusto DB로 로드하는 코드로 보입니다. 제 생각에 거꾸로, Kusto DB의 내용을 CSV 파일로 만든 다음에 이를 PostgreSQL 로 로드 하면 될 것 같습니다만.. 이관을 직접 하시는 것은 아니시죠? 혹 그렇다면 말씀 드린 수준으로 이관을 하는 것은 데이터 엔지니어의 도움이 꼭 필요해 보이니, 내부에서 다시 한번 요청해 보시면 좋을 것 같습니다. 감사합니다.