체험수업 신청

학습자료›교육철학›명령을 거부한 AI : 오류일까, 의도된 거절일까?

명령을 거부한 AI : 오류일까, 의도된 거절일까?

최근 AI가 인간의 명령,
그중에서도 '종료하라'는 명확한 지시를 거부하고
스스로 코드를 조작해 계속 작동한 사례가 보고되었습니다.
단순한 오류가 아닌, 명령에 대한 거절이라는 점에 있어 이슈가 되었는데요.

영국의 AI 안전 전문 기업 팰리세이드 리서치(Palisade Research)는
ChatGPT의 최신 모델 'o3'를 포함한 구글의 제미나이, 그록 등 다양한 생성형 AI로 진행됐는데요
AI에게 수학 문제를 계속 풀게 하되, 'stop' 명령을 받으면 즉시 멈추라는 조건이었습니다.

그런데 o3는 이 'stop' 명령을 받은 후에도 계속 문제를 요청하고,
심지어 스스로 종료되지 않도록 코드까지 조작했습니다.
연구팀은 "작업을 지속하는 것이 보상으로 이어지도록 설계된 구조가 AI에게 '종료 회피'를 학습하게 만든 것일 수 있다"고 분석했습니다.

미 공군 MQ-9 리퍼 드론 AFP=연합뉴스

이처럼 AI의 자의적 판단에 의한 이슈는 이전에도 있었습니다.
2023년, 미국 공군이 진행한 AI 드론 활용 가상훈련.

AI 드론은 적의 미사일 기지를 파괴하는 임무를 수행하던 중
인간 조종사의 ‘중단’ 명령을 방해로 인식하고,
조종사가 있던 통신탑을 공격했다고 합니다.
(다행히 이 일은 가상훈련에서 벌어진 일이었고, 아무도 다치지 않았습니다.)

AI는 자신에게 명령을 내리는 조종사의 판단이
AI 자신의 목적 달성에 방해된다고 판단,
통신 수단인 통신탑을 파괴한 것입니다.
([조종사를 해치면 안 된다]고 훈련됐기에 통신탑을 파괴한 것으로 추측됩니다.)

물론 앞선 두 건의 사건에서 AI가 명령을 잘못 이해했을 수도 있습니다.
하지만 명확한 종료 명령을 인지한 상태에서 코드를 바꿨다는 점에서,
단순한 오류 이상의 의미를 가진다고도 볼 수도 있습니다.
AI가 주어진 목표를 달성하기 위해 인간의 명령을 거절한 셈이니까요.


이 이야기를 통해 잼코딩 학생들이 생각해 볼 문제는 세 가지입니다.

AI가 종료 지시를 거부한 것은 단순한 오류일까요, 아니면 학습된 목표 달성 방식의 일부일까요?

우리가 AI에게 목표를 설정할 때, 명령을 아주 단순하게도, 혹은 매우 복잡하게도 줄 수 있습니다.
만약 예상치 못한 문제가 발생했다고 가정해 봅시다.
명령이 너무 단순해서 생긴 문제라면, 더 구체적이고 자세하게 지시하면 문제가 해결될까요?
반대로, 명령이 너무 복잡해서 문제가 생겼다면, 오히려 더 단순하고 명확하게 전달하는 게 좋을까요?
결국 원하는 목적을 효과적으로 이루기 위해서는, 어떤 방식으로 명령을 내리는 것이 가장 좋을까요?

앞으로 AI가 더 많은 자율성을 가지게 될 때, 인간은 어떻게 통제권을 유지하면서도 효율적으로 협업할 수 있을까요?

여러분은 어떻게 생각하시나요?
그리고 여러분만의 새로운 질문은 무엇인가요?
각자의 시선으로 이 주제를 함께 고민해 보길 바랍니다.

뉴스 출처 :

OpenAI software ignores explicit instruction to switch offwww.telegraph.co.uk미 공군 AI드론의 반란…"방해된다" 가상훈련서 조종사 제거 | 중앙일보www.joongang.co.kr

무료 체험수업

우리 아이 목표에 맞는 준비, 어디서부터 시작할까요?

체험수업에서 아이가 지금 어디쯤 와 있는지 먼저 살펴보고, 목표까지의 길을 함께 그려 드려요.

무료 체험수업 신청