AI는 일을 잘합니다. 그런데 ‘완료’를 모릅니다

AI 에이전트는 똑똑한데

왜 자꾸 일을 덜 끝낼까?

AI는 정말 빠르게 똑똑해지고 있습니다.

요즘 AI는 단순히 질문에 답하는 것만 하지 않습니다.

코드를 만들고, 파일을 읽고, 자료를 찾고, 문제를 분석하고, 테스트를 실행하고, 필요한 도구까지 스스로 사용할 수 있습니다.

이런 AI를 보통 AI 에이전트라고 부릅니다.

아주 쉽게 말하면,

말만 하는 AI가 아니라, 직접 일을 하는 AI입니다.

그러면 그냥 일을 통째로 맡기면 되지 않을까?

처음에는 저도 그렇게 생각했습니다.

AI가 충분히 똑똑해지면,

사람이 목표만 알려주고 나머지는 AI에게 맡기면 되는 것 아닐까?

실제로 어느 정도는 가능합니다.

AI에게 이런 일을 시킬 수 있습니다.

• 웹사이트 만들기

• 게임 기능 구현하기

• 오래된 코드 고치기

• 테스트 만들기

• 자료 조사하기

• 오류 찾기

• 디자인 수정하기

심지어 꽤 오랜 시간 혼자 작업하게 할 수도 있습니다.

그런데 실제로 계속 사용해보면 이상한 문제가 보이기 시작합니다.

AI는 똑똑한데, 이상하게 일을 끝냅니다

예를 들어 해야 할 일이 10개 있다고 해보겠습니다.

AI가 8개를 아주 잘 만들었습니다.

그런데 나머지 2개는 조용히 넘어갑니다.

그리고 마지막에는 이렇게 말합니다.

완료했습니다.

사람 입장에서는 당황스럽습니다.

아직 안 끝났는데요?

잘 모르는 것도 자연스럽게 채워 넣습니다

AI가 작업하다 보면 모르는 부분이 생길 수 있습니다.

사람이라면 이런 생각을 할 수 있습니다.

이건 잘 모르겠는데?
조금 더 확인해봐야겠다.

그런데 AI는 가끔 다르게 행동합니다.

정보가 비어 있으면 그 빈칸을 아주 자연스럽게 채워 넣습니다.

문제는 그 내용이 사실처럼 들린다는 것입니다.

틀렸는데도 말은 굉장히 그럴듯합니다.

테스트 하나가 통과하면 다 끝났다고 생각하기도 합니다

예를 들어 웹사이트를 만든다고 해보겠습니다.

AI가 코드를 작성했습니다.

테스트도 통과했습니다.

그러면 AI는 쉽게 이렇게 생각할 수 있습니다.

코드 작성 완료
테스트 통과
따라서 작업 완료

하지만 실제 제품은 그렇게 단순하지 않습니다.

화면이 이상할 수도 있습니다.

버튼을 눌렀을 때 예상하지 못한 문제가 생길 수도 있습니다.

모바일 화면이 깨져 있을 수도 있습니다.

예전 기능이 망가졌을 수도 있습니다.

쓸모없는 코드가 남아 있을 수도 있습니다.

즉,

코드가 작동한다는 것과 제품이 완성됐다는 것은 다른 문제입니다.

아주 똑똑한 아이가 방을 정리한다고 생각해봅시다

이 문제를 정말 쉽게 설명하면 이렇습니다.

아주 똑똑한 아이에게 말합니다.

방을 깨끗하게 정리해줘.

아이는 열심히 일을 시작합니다.

장난감을 정리합니다.

책도 책장에 꽂습니다.

바닥도 닦습니다.

겉으로 보면 굉장히 잘했습니다.

그런데 침대 밑에는 먼지가 그대로 있습니다.

옷장 안에도 정리하지 않은 옷이 있습니다.

그리고 책상 위에 있는 물건 하나를 보더니 생각합니다.

이건 별로 필요 없어 보이는데?

그래서 버립니다.

하지만 사실 그 물건은 아주 중요한 물건이었습니다.

그래도 아이는 마지막에 씩씩하게 말합니다.

다 했어요!

문제는 아이가 멍청해서가 아닙니다

오히려 굉장히 똑똑합니다.

문제는 다른 곳에 있습니다.

아이 스스로

무엇을 해야 하는지

그리고

언제 정말 끝났다고 말할 수 있는지

모두 판단하고 있다는 것입니다.

AI 에이전트도 비슷합니다.

결과를 만드는 능력과

끝까지 제대로 마무리하는 능력은 다릅니다

AI는 결과를 만드는 능력이 굉장히 빠르게 좋아지고 있습니다.

하지만 긴 작업을 진행하면서 계속 이런 것들을 기억해야 합니다.

• 처음에 무엇을 하기로 했는가?

• 아직 안 한 것은 무엇인가?

• 확인하지 않은 것은 무엇인가?

• 지금 하는 말이 사실인가, 추측인가?

• 기존에 잘 되던 것을 망가뜨리지는 않았는가?

• 불필요한 코드는 남지 않았는가?

• 정말 전체 작업이 끝난 것인가?

이건 단순히 코드를 잘 만드는 문제와 조금 다릅니다.

실제 제품을 만드는 데는 절차가 있습니다

우리가 어떤 제품을 만든다고 생각해봅시다.

보통은 이런 과정이 필요합니다.

1. 무엇을 만들지 이해합니다

무슨 문제를 해결하려는지 알아야 합니다.

2. 필요한 기능을 정리합니다

무엇이 반드시 필요한지 확인합니다.

3. 현재 상태를 살펴봅니다

이미 만들어져 있는 것은 무엇인지 확인합니다.

4. 어떻게 만들지 생각합니다

구조와 방법을 결정합니다.

5. 실제로 만듭니다

코드나 결과물을 작성합니다.

6. 다른 부분과 잘 연결되는지 확인합니다

혼자만 잘 작동하면 안 됩니다.

7. 문제가 없는지 테스트합니다

실제로 실행해봅니다.

8. 사용하기 좋은지 봅니다

사람이 쓰기 불편하지 않은지도 중요합니다.

9. 기존 기능이 망가지지 않았는지 봅니다

새로운 것을 만들면서 예전 것을 망칠 수도 있습니다.

10. 남은 찌꺼기를 정리합니다

필요 없는 코드나 오래된 설정도 확인해야 합니다.

11. 정말 끝났는지 다시 확인합니다

그리고 나서야 완료라고 말할 수 있습니다.

그런데 AI는 가끔 이 과정을 아주 짧게 줄여버립니다

예를 들어 이렇게 됩니다.

요청을 읽었다.
코드를 찾았다.
수정했다.
테스트가 통과했다.

완료!

중간에 여러 단계가 사라졌지만,

AI는 스스로 충분하다고 판단할 수 있습니다.

저는 이 현상을 꽤 중요하게 보고 있습니다.

그래서 더 많은 AI를 붙이는 것이 항상 답은 아닐 수도 있습니다

요즘 AI 에이전트 시스템을 보면 이런 방식이 많습니다.

하나의 AI가 계획을 세웁니다.

다른 AI가 코드를 만듭니다.

또 다른 AI가 테스트합니다.

다른 AI가 검토합니다.

즉,

AI를 여러 명의 팀처럼 만드는 방식입니다.

물론 좋은 방법입니다.

하지만 저는 반대 방향도 가능하다고 생각합니다.

아주 강한 AI 하나에게 더 많은 자유를 주면 어떨까?

AI가 이미 충분히 똑똑하다면,

모든 작업 방법을 사람이 미리 정해줄 필요가 없을 수도 있습니다.

어떤 파일을 먼저 읽을지,

어떤 도구를 사용할지,

어떤 순서로 만들지,

혼자 할지 다른 AI의 도움을 받을지,

이런 것은 AI가 스스로 판단하게 두는 것입니다.

대신 아주 작은 규칙만 밖에서 지켜줍니다.

예를 들면 이런 규칙입니다

모르면 모른다고 하기.

확인하지 않은 것을 사실이라고 말하지 않기.

추측과 확인된 사실을 구분하기.

해야 할 일을 조용히 빼먹지 않기.

확인하지 않은 일을 완료했다고 말하지 않기.

이미 잘 작동하는 것을 이유 없이 고치지 않기.

변경하고 남은 오래된 코드나 파일을 확인하기.

정말 끝났다면 확인한 근거를 보여주기.

중요한 건 AI를 답답하게 만드는 것이 아닙니다

저는 AI가 반드시 정해진 순서대로 움직여야 한다고 생각하지 않습니다.

AI가 더 좋은 방법을 알고 있다면,

그 방법을 사용하면 됩니다.

중요한 것은 딱 하나입니다.

과정은 자유롭게.
완료는 증명하면서.

어떤 단계는 건너뛰어도 됩니다

예를 들어 화면이 전혀 없는 서버 프로그램을 만들고 있다고 해보겠습니다.

이 작업에서 디자인 검사를 하는 것은 의미가 없습니다.

그러면 AI는 그냥 이렇게 말하면 됩니다.

이 작업에는 화면이 없기 때문에 디자인 검사는 필요하지 않습니다.

문제는 단계를 건너뛰는 것 자체가 아닙니다.

문제는

아무 말 없이 건너뛴 뒤 모든 것이 끝났다고 말하는 것입니다.

AI의 환각도 무조건 없애야 하는 것은 아닐 수 있습니다

AI 이야기를 하면 자주 나오는 단어가 있습니다.

환각(Hallucination) 입니다.

쉽게 말하면,

AI가 실제로 모르는 내용을 그럴듯하게 만들어내는 현상입니다.

보통 이것은 나쁜 것으로 이야기됩니다.

물론 사실을 확인해야 하는 상황에서는 매우 위험합니다.

하지만 상상력이 필요한 순간도 있습니다

예를 들어 이런 질문을 해보겠습니다.

새로운 게임 아이디어를 만들어줘.

이때 AI가 아무것도 상상하지 못한다면 좋은 결과가 나오기 어렵습니다.

새로운 UI를 만들거나,

새로운 게임 시스템을 생각하거나,

여러 해결 방법을 탐색할 때는

자유로운 상상력이 필요합니다.

반대로 이런 질문에서는 상상하면 안 됩니다

이 코드가 실제로 존재해?

이 테스트가 정말 통과했어?

이 역사적 사실이 맞아?

이 기능이 실제로 구현되어 있어?

이런 질문에서는 상상이 아니라 확인이 필요합니다.

그래서 중요한 것은

상상하지 않는 것이 아니라 구분하는 것입니다

AI가 말하는 내용을 이렇게 나눌 수 있습니다.

• 확인된 사실

• 추론

• 가설

• 추측

• 창작

• 아직 모르는 것

이것들이 서로 섞이지 않게 만드는 것입니다.

앞으로 AI가 더 똑똑해지면 오히려 규칙은 줄어들 수도 있습니다

이 부분이 저는 꽤 흥미롭다고 생각합니다.

AI가 아직 부족하다면 사람이 많은 것을 알려줘야 합니다.

웹사이트를 만드는 방법,

게임을 만드는 방법,

코드를 검토하는 방법,

특정 프로그램을 사용하는 방법까지

하나하나 가르쳐야 할 수도 있습니다.

그런데 AI가 충분히 강해지면 어떨까요?

스스로 자료를 찾고,

도구를 사용하고,

작업 방법을 판단할 수 있습니다.

그렇다면 우리가 AI에게 모든 방법을 가르칠 필요가 줄어듭니다.

사람이 해야 할 역할도 달라질 수 있습니다

예전에는 사람이 AI에게 이렇게 말했다면,

이 순서대로 해.
이 도구를 써.
이 방법을 사용해.

앞으로는 이렇게 바뀔 수도 있습니다.

방법은 네가 결정해.

대신 모르는 것을 안다고 하지 말고,
해야 할 것을 빼먹지 말고,
이미 좋은 것을 이유 없이 망치지 말고,
정말 끝났을 때만 끝났다고 말해.

저는 요즘 이 방향을 실제로 실험하고 있습니다

목표는 AI를 더 복잡하게 만드는 것이 아닙니다.

오히려 반대입니다.

AI가 이미 잘하는 것은 AI에게 맡긴다.

그리고

AI가 반복적으로 실패하는 부분만 아주 작게 보완한다.

그렇게 했을 때 AI가 더 오래,

더 자유롭게,

그러면서도 더 안정적으로 일할 수 있는지 보고 있습니다.

결국 질문은 이것입니다

우리는 앞으로 AI 에이전트를 발전시키기 위해

계속 더 많은 기능을 붙여야 할까요?

더 많은 AI를 붙이고,

더 많은 역할을 만들고,

더 많은 규칙을 추가해야 할까요?

아니면 반대로,

아주 강한 AI 하나에게 최대한 자유를 주고

그 AI가 자꾸 빠지는 몇 가지 치명적인 실수만

작은 시스템이 막아주면 될까요?

저는 요즘 두 번째 가능성을 꽤 진지하게 보고 있습니다.

AI에게 더 많은 지능을 주는 것보다,

이미 충분히 똑똑한 AI가

엉뚱한 방식으로 실패하지 않게 만드는 것.

어쩌면 앞으로 AI 에이전트에서 꽤 중요한 문제가 될 수도 있습니다.

Let AI work freely.
But make completion provable.