데이터 엔지니터의 현 트렌드가 궁금합니다

Question

안녕하세요 완강후 카산드라 db 와 stream join한 강의를 다시 보고 카산드라에 대한 개념에 공부를 하던 와중 데이터 엔지니어의 현 트렌드에 대한 내용이 갑자기 궁금한데 물어볼곳이 없어서 질문을 좀 드려봅니다.. 제가 생각하기에 현 트렌트가 데이터 엔진 프레임워크 : spark 스케줄링 및 파이프라인 형성등 : airflow 웨어하우스 : presto nosql : mongodb rdb : postgres message broker : kafka 분석툴 : tableau 등등 이정도로 요즘 잘나가는 프로그램들인것 같은데 맞을까요? spark stream을 사용하면서 mongodb 보다 cassandra를 사용하는게 좀더 효율이 좋은가요? 개발자도 결국 트렌드에 맞게 공부하는게 자신의 커리어를 잘 쌓는게 아닐까 하는 생각이 요즘 계속 머리속에 맴도네요

altoformula · Answer

안녕하세요 준혁님, 회사마다 다르긴 하겠지만, 기본적으로는 준혁님이 말씀하신 툴을 사용하고 있습니다 ㅎㅎㅎ 잘 알고 계시네요. 근데 요즘이 아니라 위의 언급하신 툴들은 벌써 5년이상된 툴들은데 아직도 많은 회사에서 사용하고 있습니다. 데이터가 작다면 Mongodb가 관리하기 편하겠지만, 데이터가 커지면 아무래도 Cassandra를 쓰는 것이 그 안정성을 위해 좋습니다. 마지막으로 데이터 엔지니어링쪽 산업은 프론트엔드와 벡엔드와는 다르게 트렌드를 잘 타지 않습니다. 그게 데이터 엔지니어링 직군에 장점이라면 장점이죠. 하지만, 얕게 아는 것보다는 깊게 아셔야 자신의 커리어나 몸값에 많은 도움이 되실 겁니다.   도움이 되셨길 바라겠습니다. 걱정이 많으시다면, 멘토링을 신청하시는 것이 좋을 듯 합니다. 저도 멘토링을 열어놓긴 했지만, 굳이 제가 아니어도 되니 많은 조언을 받으시는게 복잡한 마음에 해결에 도움이 될 듯 합니다.