빅쿼리 강의 듣기 vs GPT에게 물어보기

선욱님 안녕하세요! 요즘 시기에 꼭 필요한 좋은 질문이네요. 질문 남겨주셔서 감사합니다.

질문의 핵심을 정리해보면 "GPT가 대부분 잘 해주는데, 빅쿼리를 공부할 필요가 있을까?"로 볼 수 있겠네요.

요즘 프로그래밍, AI 등 다양한 분야에서 ChatGPT가 좋은 성능을 보여주기에 많은 분들이 비슷한 고민을 하고 계실 것 같아요.

기존엔 개발계의 지식인이였던 스택오버플로우에서 자료를 찾던 것이 ChatGPT에게 옮겨온 상황이지요.

제 생각을 공유드리면

• GPT를 "도구" 관점에서 바라보기

  • GPT를 사용하다보면 오류가 생기는 경우가 있는데, 그 오류를 수정해서 다시 의도에 맞는 것으로 바로 잡아야 합니다

  • 예를 들어 특정 지표에 대한 쿼리를 작성해달라고 GPT에게 이야기를 한다고 해볼게요

    • 이 상황에서 문법적 오류가 났습니다.

      • 문법적 오류는 또 GPT한테 물어보면 답을 찾을 가능성이 있어서 그래서 빠르게 해결될 수 있을거에요

      • 다만 이걸 가능하려면 어느정도의 빅쿼리 지식이 있어야 더 잘 질문할 수 있다고 생각해요

      • 무지성으로 다시 이 오류 발생해, 이 오류 발생해라고 하는 것이 간단한 것은 잘 해결해주지만, 그게 개인의 역량으로 귀속이 될까?라는 질문을 하게 되네요

      • 결국 우리가 일을 더 잘하고, 개인의 역량을 얻어 커리어를 쌓는 과정에서 GPT를 사용하는데 이렇게 사용하면 개인의 역량이 체득이 되지 않을 것 같아요. 다만 쿼리를 짰다?라는 성취감은 있을 수 있지만 바닥부터 짜라고 하면 못할수도 있지요. 결국 GPT가 없다면 아무것도 못하게 되지 않을 수 있으려나? 싶어요. GPT가 장애가 발생할 때 퍼포먼스가 낮은 분들이 있더라구요. 확인해보니 GPT 장애라서 못한다.. 이런 이야기를 들을 때 음..? 이런 생각이 들었어요

      • 지금 선욱님은 어느정도 SQL을 작성할 수 있는 상황이여서 GPT를 사용할 때 잘 사용하시는게 아닐까 싶어요. 아예 모르는 분들은 막막함에 막막함이 쌓이지 않을까?라는 생각도 드네요

      • 또한 처음엔 쉬운 수준의 데이터를 보고 싶지만 점점 복잡한 수준의 데이터를 보고 싶게 되더라구요. 그러면 쿼리를 어느정도 작성해야 할 수 있는데, 그 땐 GPT를 일부 컴포넌트를 짤 때 활용하고 전체 구조는 스스로 잡는게 좋긴 하더라구요. 전체 구조를 잡는 것도 어느정도 쿼리를 알아야 할 수 있지 않을까 싶어요

  • 문법적 오류가 아닌 의미론적인 오류

    • 이런 경우라면 GPT도 잡지 못합니다. 나의 의도를 제대로 파악하지 못했기 때문이에요. 이럴 때는 작성된 쿼리문을 읽고 해석하는 리터러시 역량이 필요합니다.

    • 이게 안되면 그냥 쿼리 나오는 것으로 지표 사용하고 => 근데 이 지표가 전사 회의에서 피드백을 받았다면?

      • 잘못된 지표를 뽑는 경우인데 어떻게 뽑았냐?라고 하면 GPT가 말해줬어요 라고 말은 하기 어렵지요.. 뭔가 이렇게 답하기 어려울 것 같아요

    • 이런 경우엔 무지성으로 GPT의 답변을 쓰는 것보다 한번 정도는 읽어보는 것이 필요하지요. 그럴 때 강의의 내용이 필요할 것이라 생각해요

• 에어비앤비나 우버, 데이터 환경이 잘 발달된 회사들은 GPT가 나오기 전에도 "데이터 마트"라는 개념을 만들어서 데이터를 쉽게 추출할 수 있도록 만들고 있었어요. 거기선 SQL 쿼리를 간단히만 작성하면 원하는 값이 나오곤 했지요. 데이터 마트를 구성할 때 논리적으로 점검하는 과정을 사람이 할테고, 그 후에 GPT랑 연동하면 원하는 데이터를 더 쉽게 획득할 수 있을거에요.

  • 인터페이스가 SQL 쿼리 => 자연어로 바뀌고 있는 시기가 된 것 같네요

• GPT가 쿼리문을 작성을 대체할 수 있냐? 라는 질문엔 "그럴 수도 있고, 아닐 수도 있지 않을까요?"라고 답할 것 같네요

  • 이분법적인 질문엔 대부분 위와 같은 스탠스를 취하곤 합니다

  • (쉬운 쿼리는) 잘 작성해주고, (어려운 쿼리나 최근 문법)은 아닐 수도 있지 않을까요? 로 해석해도 될 것 같네요

  • 100% 대체보다는 GPT를 활용하는 사람의 생산성, 퍼포먼스가 증가할 수 있게 도와주는 도구라고 생각하고 있어요. 그래서 1시간 당 진행할 수 있는 퍼포먼스가 과거보다 더 많아지고 있는 것이지요

• GPT가 쿼리 작성에 대해서 간단한 것은 잘 진행하지만 최근 문법은 학습하지 않아서 모를 가능성이 있지요. 그래서 모든 것을 다 하긴 어려울 것 같고, GROUP BY ALL도 최근에 나와서 모를 가능성이 있지 않을까 싶네요(스노우플레이크엔 이 함수가 있어서 이 부분은 알고 있더라구요)

• GPT가 회사 내의 도메인 Specific한 내용은 모를거라서 이 부분도 사람이 추가하거나 보면서 판단해야 할 것 같네요

그렇다면 이런 시기에 무엇이 중요할까? 생각해보면

• 논리적인 사고, 추론하는 역량

  • 스스로 사고하고, 어떤 것이 맞는지 판단하는 과정이 더 중요해지는 것 같아요

  • 예전부터 이 부분이 중요하다고 생각해서 PM을 위한 데이터 리터러시 강의를 만들었는데, 요즘 더 중요해진 것 같다란 생각이 드네요

• 기본적인 빅쿼리, SQL 해석 역량

  • 꼭 100% 쿼리문을 실행해야 하는 것은 아니여도 읽을 정도의 능력이 있어야 의도와 맞는지 확인할 수 있을 것 같아요

• 디버깅 역량, 문제가 발생할 때 해결하는 역량

  • 문제 발생 => 어떻게 문제를 해결하는가

  • 이 부분은 우리가 매일 진행하고 있는 과정일거에요. 이 부분이 GPT에선 더 중요해지는 것 같네요

  • 문제를 어떻게 바라보고 접근하느냐? 이 부분이 핵심이지 않을까 싶어요. 그리고 상황 판단하고 또 하나씩 해보고

초보자를 위한 BigQuery 입문을 무료로 냈던 것 의도 중에

• GPT가 어차피 다 잘 짜주는데 뭐가 필요해요?

  • 이런 분들에게 그래도 BigQuery SQL에 대한 기본적인 지식을 알고난 후에 해보면 어떨까요?라는 제안을 드리고 싶었어요

  • 그래야 더 디버깅을 잘 진행할 수 있고, 데이터를 잘못 뽑는 일이 적을 것이라 생각했어요

  • 그런데 GPT가 다 해주는 과정에서 또 강의를 유료로 수강하기 애매한 부분도 있을 것 같아 그냥 무료로 공개했어요

  • 한번 이런 강의를 통해 큰 맥락을 이해하시고 GPT를 사용하시면 더 쿼리를 잘 작성하고 데이터도 잘 활용할 수 있을거라 생각해요

  • 제 이야기는 GPT 쓰지 말라!라는 의도가 아닌 원리를 잘 이해하고 잘 써보자라는 의도가 큽니다. GPT를 저도 많이 활용하고 내가 짜기 번거롭거나 귀찮은(정규표현식 등) 일을 자주 맡기곤 해요

또한 강의 내용 중에 섹션 3. SQL 쿼리 잘 작성하기에 오류를 디버깅하는 방법, 섹션 6에 데이터 결과 검증이 있는데 이 부분을 꼭 알고 계시면서 데이터를 바라보시면 좋겠다란 생각을 했어요. 이 부분은 판단, 의사결정의 영역이니 사람이 해야한다고 생각해요.

정리하면 GPT가 사람의 퍼포먼스 향상에 기여하고 있으나, 그래도 근본적인 기본 지식은 인간이 알아야 더 잘 활용할 수 있지 않을까?란 질문을 계속 던지고 있습니다. 물론 GPT가 5가 나오면서 더 큰 변화를 가져올 수 있지요. 근데 이렇게 되면 우린 어떻게 살아야 할까에 대한 고민을 해보지 않을까 싶네요

간단한 문제만 푸신다고 하시면 GPT로 충분할 수 있고, 그 이상을 해야하는 시기가 온다면 강의를 듣거나 학습을 하시면 어떨까 싶네요

좋은 질문해주셔서 감사합니다! 저도 정답을 알진 못하지만 이렇게 생각하며 지내고 있어요. 꼭 쿼리 뿐만 아니라 많은 영역에 적용되는 부분이 아닐까 싶어요

답변 주셔서 감사합니다!

오늘 주신 답변도 그렇고 알고계신 지식들 공유해주시는것이 저에게도 또 많은 분들에게도 영향을 주시는것같습니다. 저도 카일님 포스팅보면서 빅쿼리공부했었구요 ㅎㅎ 항상 원하는 바 잘 되시길 멀리서 응원하겠습니다~~ 감사합니다!