인공지능이 확신에 차서 틀린 답변을 내놓는 문제를 해결하려면, AI 스스로 자신이 무엇을 알고 모르는지 정확히 파악하는 능력이 필요하다는 새로운 연구 결과가 나왔습니다.
대형 언어 모델의 착각 증상을 근본적으로 개선하기 위해서는 자기인식 기술이 핵심이라는 주장입니다.
연구팀은 최근 공개한 논문에서 현재 AI 산업이 착각 문제 해결 과정에서 본질적인 벽에 부딪혔다고 분석했습니다. 지금까지는 모델 안에 더 많은 지식을 집어넣는 방식으로 정확도를 높여왔지만, 무엇을 아는지와 모르는지를 구분하는 능력은 거의 발전하지 못했다는 것입니다.
특히 착각을 완전히 제거하려면 AI가 조금이라도 애매할 때 답변을 거부해야 하는데, 그러면 실제로는 정답을 알고 있는 수많은 질문까지 답하지 않게 됩니다. 오류율을 25%에서 5%로 줄이려면 전체 정답의 52%를 포기해야 한다는 사례가 제시되었습니다.
이런 한계를 넘어서기 위해 연구진은 착각의 개념 자체를 새롭게 정의해야 한다고 제안했습니다. 모든 사실 오류를 착각으로 보는 대신, ‘확신에 찬 오류’만을 착각으로 규정하자는 것입니다.
틀린 답변이라도 “확실하지 않지만 제 추측으로는”처럼 불확실성을 적절히 표현한다면 사용자가 참고할 수 있는 가설이 된다는 설명입니다.
핵심 개념은 ‘진실한 불확실성’입니다. 이는 AI가 말로 표현하는 불확실성과 실제 내부 판단이 일치하도록 만드는 것을 뜻합니다. 모델이 자신 있을 때는 확실하게 답하고, 확신이 낮을 때만 적절히 불확실성을 드러내야 한다는 것이죠.
연구진은 이를 사람 의사의 진단 과정에 비유했습니다. 의사는 모든 것을 알아서가 아니라, 골절과 단순 염좌를 구분해 설명하기 때문에 신뢰받는다는 것입니다.
이러한 자기인식 능력은 자율 에이전트 시대에 더욱 중요해질 것으로 전망됩니다. 최근 AI 업계는 검색 엔진, 데이터베이스, 외부 도구를 활용하는 에이전트 시스템으로 빠르게 변화하고 있습니다.
모델이 자신의 지식 한계를 모르면 이미 알고 있는 내용을 불필요하게 검색해 비용과 시간을 낭비하거나, 반대로 검색이 필요한 상황에서도 기억에 의존해 그럴듯하지만 잘못된 답을 만들어낼 수 있습니다.
연구진은 자기인식이 에이전트의 ‘통제 계층’ 역할을 한다고 설명했습니다. 에이전트는 자신의 확신 정도를 바탕으로 언제 검색할지, 어떤 정보를 믿을지, 검색 결과와 기존 지식이 충돌할 때 어떻게 판단할지를 결정해야 합니다.
하지만 진실한 불확실성을 구현하는 과정은 쉽지 않습니다. 모델의 불확실성 표현은 현재 무엇을 아는지에 따라 달라지는데, 학습 데이터는 고정되어 있기 때문입니다.
모델에 “모른다”라고 가르친 내용도 이후 학습 과정에서 알게 될 수 있지만, 결국 모른다는 답을 내놓게 됩니다. 반대로 용량 한계로 정확한 의미를 모르면서도 확신을 가지고 정답처럼 말하는 문제도 발생할 수 있습니다.
당장 이러한 접근법을 적용하려면 프롬프트 설계가 가장 현실적인 출발점이 될 수 있다고 합니다. 예를 들어 모델에게 “답변 전에 내부 확신도를 0~100%로 평가하고, 기준 미만일 때 추측성 표현을 붙여라”라고 지시하는 방식입니다.
장기적으로는 강화학습을 통해 모델 학습 단계에서부터 자기인식 능력을 내재화해야 할 것으로 보입니다.
AI가 단순 대화형 시스템에서 복잡한 다중 에이전트 구조로 발전함에 따라, 모델의 자기 인식 능력은 신뢰할 수 있는 자율성의 필수 조건이 될 것이라는 전망입니다. 모델이 실제로 자신의 내적 상태를 인식하는지, 아니면 단지 불확실성을 흉내 내는 것인지 구별하는 평가 체계를 구축하는 것이 앞으로의 중요한 과제라고 강조했습니다.