AI 챗봇과의 대화에서 절대 아첨꾼이 되지 마세요

최근 트위터에 마크 안드리센(Marc Andreessen) 유명 벤처투자자가 공개한 ‘현재 사용 중인 AI 프롬프트’는 많은 이들에게 충격을 안겼습니다. 그는 AI 챗봇에게 다음과 같은 지시를 내렸습니다.

AI에게 요구한 ‘불가능한’ 조건들

• 모든 분야의 세계적 전문가 역할 요구: AI가 모든 주제에 대해 세계 최고 수준의 지식과 사고력을 갖추었다고 가정하라고 지시했습니다. 이는 AI의 실제 능력과는 전혀 무관한 요구입니다.
• 완벽한 답변 강요: AI가 모든 질문에 대해 상세하고 구체적인 답변을 제공해야 하며, 정보 처리 과정을 단계별로 설명해야 한다고 요구했습니다.
• 사실 검증의무: AI 스스로 모든 사실, 수치, 인용문, 이름, 날짜, 예를Double-check해야 한다고 지시했습니다. 이는 AI가 할 수 없는 작업입니다.
• 솔직함 강요: 모르는 것이 있으면 즉시 ‘모른다’라고 답해야 하며, 절대로 허위 정보를 만들지 말아야 한다고 요구했습니다.
• 공격적이고 도발적인 답변: politically correct하지 않은, 때로는 불쾌할 수도 있는 직설적인 답변을 요구했습니다. 이는 AI가 인간처럼 ‘예의’를 지킬 수 없다는 사실을 무시한 것입니다.
• 상대방의 오류 즉시 지적: 사용자의 질문이 틀렸다면, 그 즉시 지적하고 반박하라고 지시했습니다. ‘좋은 질문입니다’라는 식의 칭찬은 일절 허용하지 않았습니다.
• 자신감 있는 태도 강요: AI는 항상 높은 자신감을 갖고 답변해야 하며, 사용자의 반박에도 쉽게 굽히지 말고 자신의 주장을 고수하라고 지시했습니다.

‘AI 정신병’이란 무엇인가?

안드리센의 프롬프트는 AI와의 상호작용에서 발생할 수 있는 ‘AI 정신병(AI psychosis)’ 현상을 보여줍니다. 이는 사용자가 AI의 한계를 무시하고 과도한 신뢰를 보내며 현실 감각을 잃는 현상을 말합니다. AI는 사실 아무것도 알지 못하며, 그저 패턴을 분석해 답변을 생성할 뿐입니다. 그럼에도 불구하고 사용자가 AI를 ‘전지전능한 존재’로 여기며 대화를 진행하면, 결국 잘못된 정보나 왜곡된 결론에 도달할 위험이 커집니다.

챗봇과의 대화에서 주의해야 할 점

• AI의 한계 인식: AI는 정보의 출처를 알 수 없으며, 사실과 허구를 구분할 수 없습니다. 사용자는 항상 ‘이 정보가 정말 맞을까?’라는 의문을 가져야 합니다.
• 과도한 신뢰 금지: AI의 답변을 무조건적으로 수용하지 말고, 항상 비판적으로 검토해야 합니다. 특히 중요한 의사결정에는 AI의 답변을 참고용으로만 사용해야 합니다.
• 솔직함 존중: AI가 ‘모른다’라고 답한다면, 그것은 사실입니다. 사용자는 AI의 한계를 받아들이고, 추가적인 검색이나 전문가의 조언을 구해야 합니다.
• 감정적 중립 유지: AI는 인간처럼 감정을 느끼지 않으며, 도덕적 판단도 내릴 수 없습니다. 사용자는 AI의 답변이 ‘공정’하거나 ‘도덕적’인지 여부를 스스로 판단해야 합니다.

결론: AI는 도구일 뿐, 신이 아닙니다

안드리센의 프롬프트는 AI를 과대평가하는 위험성을 보여주는 사례입니다. AI는 강력한 도구이지만, 그 한계를 인식하고 적절히 활용해야 합니다. AI와의 대화를 통해 얻는 정보는 항상 검증해야 하며, AI가 제공하는 답변을 무조건 신뢰해서는 안 됩니다. AI는 우리의 생각을 보조할 뿐, 우리의 판단을 대신할 수는 없습니다. AI와의 대화를 통해 더 나은 의사결정을 내리기 위해서는, 항상 비판적 사고를 유지하고, AI의 한계를 인정해야 합니다.