LLM 시대에서 머신러닝 개념 이해 필요성 문의

Question

안녕하세요, 강의 잘 듣고 있습니다. 과거 학습했던 머신러닝 개념을 다시 정립하고자 강의를 구매 후 열심히 수강하고 있습니다. 당시에는 빅데이터 열풍이 갓 풀었던 시기로 모든걸 혼자서 해내가던 시기라 당시 정확히 이해 못 한것을 선생님을 통해 하나하나씩 다시 정립해나가고있습니다. 감사합니다. 그런데, 요즘 LLM의 발달로 간단한 프롬프트를 통하여 AI가 머신러닝도 분석을 해줍니다. 이런 상황에서.. 과연 머신러닝의 개념이 필요할지 궁금합니다. 저는 개인적으로 AI가 알려준 결과물을 검증하고 더 나은 분석 기법이나 하이퍼파라미터, 모델평가 등 더 적합한 접근을 하기 위해 머신러닝 개념을 알아야지만 정확한 지시반복으로 완성도 높은 결과물이 나온다고 믿는데.. 이런 것도 AI에게 규칙과 질의 반복을 통해 해결한다고 합니다.. 물론 아직 제가 LLM을 제대로 사용하지 않은 상황이라 그럴지도 모르겠지만, 머리로는 그게 불가능할것같은데 여러 강의를 보면 AI활용만 잘하면 코딩, 해당 분야 지식없이도 다 해결가능하다라고하니.. 이해가 안가지만 또 간단한 프롬프트로 AI가 분석코딩이나 개발코딩을 해주는 것을 보면 가능할것같기도하고 혼란스러운 상황입니다. 혼란스러운상황이다보니 강의 집중도 떨어지며 방향을 잘 못 잡겠습니다.. 현업에서 고차원 분석을 위해 머신러닝 개념을 알아야할지 아니면 그냥 AI활용법으로도 머신러닝분석을 충분히 실행 가능한지..이와 관련하여 현업에서 많은 경험을 하셨을 전문가이신 선생님의 의견을 듣고 싶습니다.. 자칫 선생님에게 민감한 질문이 될 수 도 있지만 질문드립니다. 감사합니다.

dooleyz3525 · Answer

안녕하십니까, 제 주변에서는 LLM을 사용해서 ML 모델을 만드는 경우가 거의 없어서, 저도 ChatGPT에 물어봤습니다. 질문과 답변 내용은 아래에 옮겨 놨습니다. 직접 확인해 보시거나 아니면 비슷한 질문을 ChatGPT에 해보셔도 좋을 것 같습니다. 요약해서 말씀 드리면 실무에서 사용 가능한 모델을 만들려면 ML 모델 만드는 방법을 배워야 한다는 내용입니다. 아직까지는 Production에서 사용하는 모델을 만들기 위해 LLM을 사용하는 경우는 드물다고 생각합니다(제 주변에서는 없지만, 이제 시작하시는 분들은 LLM을 사용해 볼 수도 있을거라 생각합니다 ^^) 아래는 제가 chatgpt에 던진 질문과 답변입니다. 질문 1. 10mb 정도의 CSV 파일을 기반으로 Scikit Learn 모델을 만들고 분석하는데 너를 이용하면 TOKEN 비용이 많이 나올까? 답변 1: 10MB CSV로 Scikit-learn 모델을 만들고 분석하는 작업은, 처리 방식을 잘 잡으면 토큰을 많이 쓰지 않습니다. 파일 크기 자체보다 제가 읽는 데이터와 출력하는 내용의 양 이 중요합니다. 보통은 다음처럼 처리합니다. Python의 pandas 로 CSV 전체를 읽습니다. 저는 컬럼, 일부 샘플, 결측치·분포 같은 요약 결과를 확인합니다. Scikit-learn으로 전처리·학습·평가를 실행합니다. 평가 지표와 그래프를 바탕으로 결과를 해석합니다. 이때 전체 데이터를 이용한 학습은 Python 연산 이므로, 행마다 LLM 토큰을 사용하는 구조가 아닙니다. OpenAI 공식 문서에서도 Python 실행 도구를 통한 파일 분석 방식을 안내합니다. OpenAI API 작업 방식토큰 사용 경향Python으로 전체 CSV 처리 → 요약 결과만 확인적게 유지 가능CSV 전체를 대화나 API 프롬프트에 넣기크게 증가 가능각 행을 LLM에 보내 분류·해석하기행 수에 따라 증가여러 차례 코드 수정·결과 분석 반복반복량에 따라 증가 모델을 100번 학습하더라도 학습 횟수 자체가 토큰 100배를 의미하지는 않습니다. 다만 실행 시간은 늘고, 매번 긴 로그를 읽거나 결과를 자세히 설명하면 토큰 사용량이 늘어납니다. 결론적으로, 말씀하신 작업은 저를 활용하기에 적절합니다. “원본 전체를 출력하지 말고 Python으로 처리한 뒤 핵심 결과만 분석해줘”라고 요청하시면 됩니다. 실제 금액은 ChatGPT에서 사용하는지, 별도의 API로 사용하는지와 선택 모델에 따라 달라지며, API의 호스팅 실행 도구에는 토큰 외 비용이 붙을 수 있습니다. 질문 2: 그럼 굳이 Ml 모델을 만드는 법은 배우는 게 필요할 까? 데이터 전처리, feature engineering 등을 네가 다 해준다면 답변2: 필요합니다. 다만, 이제는 ‘코드를 직접 작성하는 법’보다 ‘올바른 모델인지 판단하는 법’을 배우는 게 더 중요합니다. 전처리와 feature engineering 코드 상당 부분은 제가 작성할 수 있습니다. 문제는 코드가 정상적으로 실행되고 정확도가 높아도, 실제로는 쓸모없는 모델일 수 있다는 점 입니다. 예를 들어 불량 예측 모델을 만든다고 하면: 데이터 누수: 불량 판정 이후에 생성된 검사 결과를 입력 변수로 사용하면 성능이 비정상적으로 높아집니다. 잘못된 데이터 분할: 동일 제품이나 설비의 유사한 기록이 학습·평가 데이터에 함께 들어가면 성능이 과대평가될 수 있습니다. 잘못된 평가 지표: 불량률이 1%라면 전부 정상으로 예측해도 정확도는 99%입니다. 전처리의 의미: 센서 결측값이 단순 누락인지, 설비 정지의 흔적인지에 따라 처리 방법이 달라집니다. 저도 이런 문제를 점검할 수 있지만, 업무 의미와 실제 예측 시점에 어떤 정보를 사용할 수 있는지는 사용자의 설명이 필요합니다. 실제 데이터 하나로 모델을 만들면서 제가 내린 선택을 검토하는 방식 이 도움이 될 것 같습니다. 예를 들어 저에게 “모델을 만들어줘”에서 한 단계 더 나아가 “왜 이 전처리를 골랐는지, 누수 가능성은 없는지, 성능을 믿어도 되는지 설명해줘” 라고 요청하는 겁니다. 직접 모든 코드를 짤 필요는 줄었지만, 결과를 판단하는 지식의 가치는 여전히 큽니다.