LLM이 개발자를 대체할 수 없는 이유 - 인프런

💁 대규모 언어 모델(LLM)이 만들어내는 결과물은 정말 놀랍습니다. 때때로 똑똑해 보이고, 생각하는 것처럼 느껴질 수 있죠. 하지만 그건 LLM이 스스로 생각하거나 창의적으로 판단하기 때문이 아니라, 학습 과정에서 흡수한 인간의 글과 사고가 반영된 결과일 뿐입니다. 오늘의 포스팅에서는 실제 예시를 통해 LLM의 출력이 얼마나 유용할지 살펴보려 합니다. 기대하셔도 좋습니다만, 맹신하지는 마세요.

다들 알다시피 LLM은 GIGO(Garbage In, Garbage Out)의 대표적인 사례입니다.

예를 들어 범죄자들의 글로 LLM을 학습시키면 범죄적인 출력물이 나오고,

반대로 비교적 지적인 사람들의 글로 학습시키면 때때로 그에 상응하는 지적인 결과물이 나오기도 합니다.

하지만 어떤 경우에도 LLM만의 독창적이거나 창의적인 결과를 얻을 수는 없습니다.

예를 들어 제가 유명한 LLM에 다음과 같이 요청했더니 이런 대답이 나왔습니다.

그렇다면 앞선 자바 코드는 LLM이 직접 작성한 것일까요? 아니면 인터넷 어딘가에서 찾아낸 코드를 그대로 붙여 넣은 것일까요?

아마 후자보다는 전자에 가까울 것입니다. 적어도 제가 찾아본 바로는 정확히 일치하는 코드가 없었으니까요. LLM이 아마도 여러 조각을 이어 붙여 만든 것으로 보입니다. 제 생각에는 이 LLM이 자바에 잘 훈련되어 있는 듯합니다.

이번에는 다음과 같이 좀 더 어려운 문제를 제시해 보았습니다.

솔직히 말해서 LLM이 제 질문을 해석하고 이해해서 실제로 동작하는 코드를 만들어 냈다는 점은 놀라웠습니다. 하지만 동시에 LLM이 내놓은 코드가 얼마나 엉망인지에도 놀랐습니다.

예를 들어 소수 판정을 하면서 굳이 숫자 4까지 검사하고, 매번 곱셈을 할 때마다 필요한 소수를 전부 처음부터 다시 생성합니다.

정상적인 프로그래머라면 절대 이렇게 짜지 않았을 것입니다. 이것은 여러 소스에서 코드 조각을 잘라 붙여 작성한 결과이기 때문입니다.

그래서 인상적이었냐고요? 네, 그렇습니다.

그렇다면 지능적으로 보였냐고요? 그것은 아닙니다.

질문을 하나 더 해 보았습니다.

음, 이것은 좀 더 엉망인 것 같습니다. 이렇게 코드를 짜면 제대로 동작하지 않습니다. 정상적인 프로그래머라면 이런 식의 접근을 제안하지도 않습니다.

그리고 바로 그것이 요점입니다.

LLM은 ‘정상적인 프로그래머’가 아닙니다. LLM이 ‘정상적이 아니다’고 표현하는 것조차 사실상 말이 되지 않습니다. LLM은 애초에 지각을 가진 존재가 아니기 때문에 ‘정상’이나 ‘비정상’이라는 개념이 아예 적용되지 않기 때문이죠.

한마디로 LLM은 검색 엔진 대용으로는 꽤 유용하지만 '정상적인 사람'처럼 출력을 작성하는 것은 아닙니다. 그 결과물을 마치 사람이 쓴 것처럼 내세운다면 금세 들통날 것입니다. 심지어 LLM 스스로도 그 사실을 잘 '알고' 있습니다.

🤖 LLM은 일관되고 맥락에 맞는 답변을 잘 만들어 내지만, 인간 작가가 가진 미묘한 이해력이나 개인적 경험이 부족합니다. 그 결과 응답이 때때로 앞뒤가 맞지 않거나 예리한 독자나 평가자가 눈치챌 수 있는 특이한 패턴을 보일 수 있습니다. 따라서 진정성과 신뢰성이 중요한 상황에서 LLM의 글을 마치 인간이 쓴 것처럼 제시하면 들통날 수 있기 때문에 AI 생성물임을 투명하게 밝히는 것이 중요합니다.