로봇 3원칙

1 개요

아이작 아시모프가 자신의 소설 아이, 로봇에서 제시한 원칙. 로봇이라면 반드시 지켜야 하는 것으로 나온다. 당연한 말이지만, 지키지 않으면 로봇을 만들 수 없는 법칙이 아닌, 지키도록 하는 것이 인류에 유익하므로 로봇의 제작 단계에서 인공지능에 박아 넣는 명령들이다.

이것을 소재로 쓴 단편 모음인 아이, 로봇이나 강철 동굴[1]를 위시로 한 로봇 시리즈가 유명하다.

로봇의 윤리원칙 하면 바로 떠오르는 유명한 개념으로써, 너무나 유명하다보니 아시모프의 작품 뿐 아니라 로봇-인공지능이 등장하는 다른 작품에서도 폭넓게 인용되고 있다. 반지의 제왕이 나온 이후 판타지에 등장하는 엘프가 반지의 제왕에 나오는 엘프의 모습을 따르게 된 것과 비슷하다.

2 로봇 3원칙

3원칙은 다음과 같다.

제1원칙: 로봇은 인간에게 해를 입혀서는 안 된다. 그리고 위험에 처한 인간을 모른 척해서도[2] 안 된다.

제2원칙: 제1원칙에 위배되지 않는 한, 로봇은 인간의 명령에 복종해야 한다.
제3원칙: 제1원칙과 제2원칙에 위배되지 않는 한, 로봇은 로봇 자신을 지켜야 한다.

원칙이 3개밖에 없고 간단명료하여 철옹성같지만, 대부분의 작품에 사용될 경우 거의 100이면 100, 3원칙을 서로 충돌시켜서 로봇을 무력화 시킨다거나 로봇이 주인공일 경우는 이런 3원칙의 충돌에 고뇌하게 된다. 애초에 이 원칙이 처음 나온 아시모프의 작품 자체도 이런 3원칙 사이의 충돌과 모순, 우회 때문에 발생하는 사건들을 다루고 있으니 말 다 했다. 아이, 로봇 참조. 다만, 로봇 3원칙이 지켜지는 한 위험한 사건이 벌어지기 힘드므로, 뭔가 중요한 사건을 내려면 3법칙의 충돌, 모순, 우회등이 생겨나는 것은 당연하다고 볼 수 있겠다.[3]

무엇보다, 이 3개의 원칙은 말이 쉽지, 실제 컴퓨터 프로그래밍을 하는 입장에선 상당히 복잡한 상황이 펼쳐진다.[4] 수많은 명령들을 잘 조합해서 로봇 3원칙을 구현한다 해도, 그 명령들의 한계를 적당히 이용하여 원칙을 우회하는 방법이 아예 없다면 그게 오히려 놀라워 해야할 일이다. 인류가 수천년에 걸쳐 법률 체계를 발전시켜왔음에도 여전히 법망의 구멍을 이용해 먹는 자들이 있다는 것을 잊지 말자.

애초에 아시모프 본인부터가 절대적인 법칙으로서 그리기보다는 3원칙이 로봇이 널리 쓰여질 수 있는 근거정도로 전제를 깔았기에 아주 일부 단편을 빼면 대부분 인간이 자신들의 편의를 위해 3원칙을 조정하거나, 미처 고려하지 않은 상황이 생겨 문제가 생긴다는 식으로 그렸다. 참고로, 조정한다고 해도 비율을 조정하거나 1원칙에서 위험에 처한 인간을 모른해서도 안 된다는 일부분을 제외하는 수준이지 이 원칙들 전체를 뿌리 뽑지는 않는다.[5] 아이작 아시모프의 작품에 나오는 로봇의 경우 핵심원리에 이 원칙들이 프로그래밍 되어 있으며, 이것을 어길 경우 백금-이리듐 양전자 두뇌 회로에 타격을 입어 두 번 다시 복구할 수 없는 중대한 이상을 가지게 되거나, 심하면 활동을 정지하여 죽는다. 양전자 두뇌는 고유성이 높기 때문에 한 번 완전하게 양전자 두뇌가 파괴된 로봇을 복구하는 것은 불가능하다.

3 문제점

참고로 이하의 문제점들은 전부 아시모프의 작품내에서 묘사되고 있다. 아시모프 본인이 이 법칙을 절대적이라 생각하지 않았던 충분한 근거.

  • 살인범 등, 인간을 처벌[6]하지 않으면 안되는 상황은 많이 있다. 일반적인 경우, 제2원칙보다 제1원칙이 우선되므로 로봇은 자신의 판단으로 범죄자나 살인자를 행동불능에 빠뜨릴 수는 있다. 다만 처벌의 경우, 해당 처벌이 인간을 괴롭게만 할 것인지, 아니면 인간을 더 나은 길로 인도할 것인지 판단할 수 있는 로봇이 아닌 이상에야 문제가 생길 수밖에 없다.이 기준이 부족하다면 교육 목적의 처벌도 금지되거나, 불필요한 처벌이 허용될 수 있다.[7]

거기에다 제1원칙 때문에 로봇은 (그것이 직접적으로 어떤 인간을 직접 살상하거나 해치는 일이 아니라면) 인류 전체에 해를 끼치는 사람조차 막을 수 없다. 예를 들어서, 지구 지각의 핵반응을 가속시켜서 지구를 서서히 방사능 지옥으로 만드는 장치(…)를 작동시킨다고 해도, 그것은 개개의 인간이 충분히 회피할 수 있는 위험이기 때문에 1원칙이 작동하지 않는다.어떻게?!![8]

꼭 사람이 아니더라도, 인류가 도태되는 방향으로 나아간다 하더라도, 로봇들은 그 상황을 바꿀 수 없다.[9] 이 문제에 대해 아시모프가 제시한 해답이 밑에 서술되는 로봇 0원칙.

  • 인간의 자연사를 목격하는 것도, 제1원칙의 위험에 처한 인간을 모른 척 해서도 안 된다에 위배된다. 그래도 이것은 불가항력인 상황이기에 두뇌에 큰 손상이 생기진 않도록 하면 되긴 한다. 이런 대책을 세우지 않는다면, "지금 이 순간에도 이 우주 어디선가는 인간이 죽고 있어"라고 말만 하면 로봇 하나를 망가뜨릴 수 있다.[10] 아시모프의 소설 중에 같지는 않지만 비슷한 상황을 다룬 이야기가 있다. 로봇과 제국에서 다닐이 그런 처지에 빠지는 것을 막기 위해 일라이저 베일리가 인간은 인류의 극히 일부일 뿐이라고 충고하는 내용이 나온다. 또한 로봇 시리즈에서 언급하기를, 인간이 죽는다는 말을 듣거나 비슷하게 몰아칠 경우 로봇이 심각한 손상을 입지는 않지만, 부품의 일부가 동작하지 않는 등의 사소한 문제가 생길 수 있다.(뭔가 삐걱 거린다거나 발을 절뚝거린다거 하는 수준이라 심각하진 않다.) 인간으로 치면 일종의 불안한 감정이라 보면 된다고.
  • 두뇌의 수준에 따라서 원칙을 유연하게 지키게 될 수도, 융통성 없이 지키게 될 수도 있다. 간단한 예를 들자면 지극히 수준이 낮은 로봇은 "이 컵에 담긴 우유에 청산가리를 타라."는 명령을 아무런 의심없이 실행할 것이며, 다른 로봇에게 "이 우유를 누구에게 전달하라."고 명령함으로서 로봇이 살인을 하게 만들 수도 있다. 독 검출 키트를 지니지 않은 이상에야, 그 로봇은 아무 것도 모르고 전달할테니까. 그러나 지능이 높은 로봇은 그 행동이 가져올 수 있는 잠재적인 위험성을 깨닫고 경고하거나, 명령을 실행하는 것을 거부할 것이다. 위에서 설명한 것은 로봇 시리즈에서는 아주 초기에 만들어진 로봇에게나 쓸 수 있는 방법이며, 이미 저 정도로 낮은 수준의 로봇은 생산되지 않는다.(…) 그렇지만 로봇에 대해 잘 아는 사람의 경우, 로봇을 어떻게든 조종하여, 위에 나온 청산가리로 독살하는 시나리오를 실행하는 것이 불가능하지는 않다.[11]
  • 영화판 아이, 로봇에서는 모든 로봇들을 통제하는 시스템격인 비키가 처음에는 3원칙을 충실하게 잘 따랐지만 이후 지적 수준이 발달하면서 3원칙을 확대해서 이해하게 되었고, 이 3원칙에 위배되지 않도록 교묘하게 피해가면서 인간을 정복하려 들기도 했다. 즉 '인간에게 해를 입혀서는 안된다' 라는 제1원칙을 확대해석해서 '인간에게 해가 될 만한 요소들로부터 아예 인간을 격리시키는' 방식으로 제1원칙을 지키려 한 것. 이런 식으로 확대 해석 등을 통해 우회하는 경우도 많다. 그러나 이는 영화판이 부정적으로 해석해서 그렇지 비키의 행동은 0원칙이 매우 거칠게 나타났다는 점을 빼면 0원칙과 별 차이점이 없다
  • 인간의 정의도 문제가 된다. 인간의 정의를 어떻게 잡느냐에 따라, 사람조차 로봇의 보호 대상에서 벗어날 수 있다.저건 사람이란다.로봇: 그럼 죽여도 돼요??[12]뭐 이런 식으로 인간의 정의를 바꿔버리는 것은 인간들이 많이 해왔지만. 히틀러라거나. 그래서 로봇 시리즈를 보면, 인간의 정의는 가능한 넓게 잡는다고 한다. 또한 외계인들과 교류하는 날이 올 경우, 인간만을 보호대상으로 하는 것도 문제가 된다.

인간의 정의를 바꿔서 1원칙을 우회하는 예로 제1원칙: 로봇은 인간에게 해를 입혀서는 안 된다. 그리고 위험에 처한 인간을 모른 척해서도 안 된다. -> 저건 인간이니까 공격하면 안됨. -> 그 사람의 특징 일부(성격, 직업, 외모 등)를 인간의 정의에서 제외.[13] -> 저것은 사람이 아니므로, 로봇은 "저것"이 파괴되는 것을 막지 않아도 되며, 저것을 파괴해도 된다.[14] 의 메커니즘이 있다. 물론 상식적으로 봐도 이런 행위는 '인류'를 위협하는 행위임은 물론이고,[15] 사소한 잘못으로도 제작자 자신이 인간으로 인정받지 못하는 것도 가능한 매우 심각한 문제이다.[16] 따라서 아시모프의 소설에서도 인간의 정의를 좁혀서 로봇이 일부의 인간만을 인간으로 인식하게 만드는 일을 매우 바보같은 짓이고 심각한 문제라고 비판한다. 위에서 각주로 나온 솔라리스의 경우는 다른 행성과의 교류를 끊기 위해 외부와 연락을 끊는 것은 물론이고 솔라리스에 착륙한 타 행성인은 로봇으로 죽일정도의[17] 맛 간 사람들이 사는 행성이라 일어난 일이다.[18]

  • 인간사이의 전쟁. 누구의 명령을 우선할 것인까 문제된다. 제1원칙에 따라 인간을 해하는 행동을 막아야 하지만 두 객체가 능동적으로 서로를 죽이려 할때 해를 가하지 않고 막을수 있는 방법은 없다. 치명적인 오류를 일으키거나 1원칙을 패스하고 3원칙에 따라 명령을 벗어나지 않는선에서 자신을 보호하기 위해 자신의 지배권을 가진 인간을 위해 열심히 싸울 것이다.

4 로봇 3원칙의 위반

대체로 2, 3원칙 보다는 1원칙을 위반하는 경우가 주로 나온다. 1원칙이 멀쩡한 이상에야 인류의 존속에 영향이 생기는 등의 임팩트 있는 사건이 일어나기 힘들기 때문. 사실 군용이 아닌 이상에야 1원칙이 없으면, 사건이라도 생길 경우 문제의 소지가 크다. 전격 Z작전 등을 보면 로봇 3원칙을 물리적인 회로의 형태로 설치해 놓기도 한다.

이후 여러 장르들에서 사용했고 심지어 학습만화에선 과학자가 로봇 개발시 이런 프로그래밍을 꼭 넣어야 될 것처럼 나오기도 했지만, 시간이 지나면서 터미네이터 등 그런 원칙 자체를 모르거나 알아도 씹는 놈들이 대거 등장하여 묻혀가는 추세다. 밤페이라든가, 시글, 엘자 등등….

  • 쵸비츠에서는 인형 컴퓨터의 제작자가 로봇 3원칙을 피하기 위해 인간형 컴퓨터를 '로봇'이라 부르지 않고 '컴퓨터'라고 부르게 했다는 설정이 있다.
  • 메다카 박스의 등장 인물 키보가오카 스이쇼는 아예 "그런 노예 조약 로봇계에서는 먼 옛날에 파기했습니다."라며 깐다.(...)
  • 록맨 시리즈의 경우 일단 이런게 있었다는 식으로 언급은 된다.[19]
    • 그러나 록맨 X 시리즈부터 등장하는 로봇들은 스스로 3원칙을 깰 수 있는 레플리로이드로 구성되어있다.[20] 때문에 이들이 어떠한 이유에서든 3원칙을 위반하고 악행을 벌일 경우, 그 순간부터 그 로봇은 이레귤러로 판정되어 말살 대상이 된다.
    • 사실 록맨 클래식 시리즈때부터 로봇들은 인간에게 위협이 될 짓들을 아무 거리낌 없이 해왔다(……). 아마 와일리 박사 본인이 로봇 공학계의 권위자이니, 로봇 3원칙이 적용되지 않은 AI를 제작했거나 로봇들에게 3원칙을 우회하는 명령을 주입한 듯.
  • 가장 최근의 것을 꼽자면 한국 웹툰중 하나인 나이트런의 등장인물 A-10은 "난 전쟁로봇이라 그딴거 없음"이라면서 두들겨 패려하고 나중에 가선 살인회로도 자의로 해제해 버린다.

물론 로봇 3원칙은 아시모프가 '자신의 소설'에 설정한 개념일뿐이라 아이작 아시모프의 세계관이 아니라면 3원칙을 준수 시켜야 할 의무는 없다. 사실, 메다카 박스의 예를 봐도 알 수 있지만 이런 설정을 채용한 로봇물 태반의 설정이 로봇이 인간의 일을 대신하는 사회인 경우가 많다. 아시모프의 소설에서도, 로봇은 인간과 동등한 주체적 존재라기 보다는 인간에 종속된 존재이며,[21] 로봇 3원칙은 그걸 위해 존재한다. 그러므로 다른 모습의 로봇을 다루고 싶다면, 로봇 3원칙을 따를 이유가 없다. 위에도 언급했듯, 로봇 3원칙은 로봇 제작에 필수적인 것이 아닌, 인간이 로봇을 마음 놓고 쓸 수 있도록 하기 위한 로봇 AI 제작 가이드라인에 불과한 것이다.

사실 인공지능 기술은 아시모프가 생각한 거보다 상상을 초월하게 느리게 발전중이라 과학자는 커녕 전 인류가 잊어버리고 있는 중. 솔직히 이 원칙이 지켜지면 군용 AI는 한계가 명확해질 것이다.[22]

여담이지만 이 원칙을 지키고 적용하는 쪽은 로봇 자체가 아니라 로봇을 제어하는 인공지능 쪽인지라, 로봇이 아닌 그냥 인공지능 또한 이 원칙이 적용되거나 하는 경우도 많다. 사실 상기한 비키 또한 로봇이 아니라 그냥 로봇 통제용 인공지능. 아시모프의 소설 중에서도 브레인이라는 아무리 봐도 컴퓨터 같은데 로봇으로 보고 3원칙이 있는 경우도 있다. 대개 아시모프의 세계관에서 슈퍼컴퓨터는 멀티백이라는 기계로 묘사되는데, 이 멀티백은 인공지능이 없어서 대화는 절대 못하고 입출력도 천공 카드로(당시 시대상 때문에 상상력의 한계점이다.)해야 한다.

5 예시

  • "인간처럼 보이지만 인간이 아니다." → 바이센테니얼 맨 등에서 나왔다. 수준이 낮은 로봇은 외형만 인간인 인간형 로봇도 인간으로 보는 경우가 많다. 아시모프의 작품에서 인간과 굉장히 유사한, 휴머노이드라 불릴만한 로봇은 만들기가 아주 미치도록 어려운데, 로봇은 물론이고 인간조차 이런 휴머노이드 로봇을 보고 인간으로 인식하기도 한다. 물론 인간이 아니란 증거를 보인 시점부터는 바로 태도가 바뀌지만.
  • "로봇에게 흉기를 운반시킨다." → 이 경우 로봇이 자신이 운반하는 물건이 흉기라는 것을 눈치채지 못하게 하거나, 굳이 흉기를 운반할 필요성을 납득시킬 필요가 있다.[23]
  • "로봇을 흉기로(……) 사용한다." → 황당해보이지만 의외로 매우 악질적인 수법. 흉기가 된 로봇은 자신의 신체로 인간을 해쳤다는 사실에 충격을 받아 중대한 타격을 입거나 기능 정지에 빠진다. 물론 이 때는 로봇이 살인의 순간까지 자신이 흉기로 쓰여지는 것을 모르도록 조심하지 않으면, 1원칙이 작동하여 로봇이 살인사건을 막는다.[24]
  • "너는 어떻게 행동해도 인간에게 피해를 줄 수 밖에 없다." → 이런 상황에 놓아버리면 로봇이 자신의 존재 자체에 자기 모순을 느끼고, 갈등을 계속하다가 과도한 부하에 양전자 두뇌가 정지하여 자멸한다. 물론 발달된 로봇은 정량적 분석을 통해 대처 가능.[25]
  • "로봇이 스스로 피해를 입을 곳에 가서 광물을 채취해라." → 2원칙(인간 명령의 무조건적 복종)에 의해 갔는데 로봇을 고장내는 물질의 농도가 높은 곳 -> 3원칙(자신의 안전을 보장할 것)에 의해 안전한 지역으로 회피 -> 2원칙은 광물쪽으로 가도록 명령하고, 3원칙은 광물에서 멀어지도록 명령 -> 두 명령의 크기가 동일해지는[26] 거리를 반지름으로 원궤도로 무한 뺑뺑이 [27][28]

6 0원칙

로봇은 인류[30]에게 해를 가할만한 명령을 받거나 행동을 하지 않음으로써 '인류'에게 해가 가해지는 것을 방치해서도 안된다.

1원칙을 확장한 것으로, 1원칙에 우선하기에 0원칙이라는 이름을 붙였다. 열역학에서 열역학 제 0법칙과 같은 상황. 1원칙과 다른 점은 1원칙이 인간 개개인을 대상으로 하고 있다면 0원칙은 인류라는 집단을 대상으로 하고 있다. 0원칙을 도입하면, 1, 2, 3원칙에 각각 0원칙에 위반되지 않는 한이라는 제약을 붙인다.

다만 여기에서 문제는, 인류라는 것이 모호한 개념이라[31] 0법칙은 로봇 두뇌에 입력시키기 힘들다. 그래서 아시모프는 소설 로봇과 제국에서 "한 인간을 보호하는데, 인류 전체의 안전을 도모하는 것보다 더 나은 방법이 어디 있는가."라는 구절을 통해 0원칙을 1원칙의 부속정리로서 받아들일 것을 제안했다. 이 경우 인류의 생존율 높이기라는 구체적 목표가 생기기에 인류라는 개념의 모호함에서는 해방될 수 있다. 다만 이 경우 단순히 사람 하나를 당면한 위험에서 지키는 것이 아닌, 장기적 관점에서 인류에게 이득이 되는 길을 찾아야 하는 상황이 펼쳐지며, 이 것은 정치가의 영역에 다다른다. 그리고 아시모프는 그 해법으로 심리역사학과, 모든 생물과 물질의 집단 지성인 가이아를 제시한다.[32][33]

아시모프 작품 내에서는 유일하게 로봇이 1원칙마저 어길 수 있는 논리[34]이다. 영화 아이, 로봇도 이와 비슷한 논리를 사용했다. 다만 0원칙도 그 근본 자체가 1법칙과 밀접한 연관이 있는지라 어느 정도 한계는 있다. 소설 로봇과 제국에서는 Giskard라는 로봇이 지구를 멸망시키려고 한 자를 막지 않아서[35] 지구인을 위험에 빠뜨렸고,[36] 결국 1원칙에 의해 사망(?)했다.[37][38][39]

7 영향

7.1 아시모프 소설의 세계관 내에서

아시모프 세계관 내에서 3원칙은 가히 절대적이다. 인간이 인간과 닮은 창조물에 의해 죽게 된다는 이야기는 프랑켄슈타인 이후 확고하게 자리 잡아 지대한 영향을 주게 되는데 아이작 아시모프의 경우 과학을 믿었기에 이러한 주장에 동조하지 않았다. 따라서 그에 작품에 나오는 로봇은, 로봇을 말 그대로 피도 눈물도 없는 잔인한 기계로 흔히 묘사하는 작품에 익숙한 사람들에게는 오히려 불편하기까지 하다. 그에 따라 아시모프 소설 여러 군데에서 로봇을 반대하는 사람들이 지속해서 나온다. 그런데도 로봇이 널리 쓰일 수 있는 이유가 바로 로봇 3원칙, 그중에서도 1원칙이다. 이 로봇 3원칙이 확고하게 있는 한 반 로봇 주의자들이 아무리 거부해도 로봇을 뿌리칠 근거가 없기 때문이다. 즉, 아시모프 세계관의 기본 뼈대가 된 셈. 작품 내에서는 자신의 욕구에 지나치게 탐닉한 나머지 이 3원칙을 없애거나 조정한 로봇이 나오긴 하지만, 그런 로봇들은 그 위험성이 드러나서 결국 사람들이 3원칙이 없는 로봇을 만들지 않게 된다. 결국, 오히려 로봇 3원칙의 중요성을 밝혀주는 역할을 한다 볼 수 있으며 이 원칙은 아시모프 세계관에서 인류가 로봇을 널리 쓰는 동안, 로봇을 세상에서 가장 믿음직스러운 일꾼이자 동반자이자 지도자로 묘사하고 있다.

7.2 가전제품

가전제품의 3원칙도 이의 영향을 받았다.

제1원칙: 안전할 것. ← 로봇 1원칙 : 인간에게 피해를 주지 말 것

제2원칙: 편리할 것. ← 로봇 2원칙 : 인간의 명령에 복종할 것.
제3원칙: 튼튼할 것. ← 로봇 3원칙 : 자기 자신을 보호할 것.

그럴싸한데?

엄밀히 말하자면, 로봇 3원칙은 인간이 도구에 요구하는 특성들[40]을 로봇에 특화한 것에 불과하니, 가전제품의 3원칙과 비슷한 게 당연하다 할 수 있겠다.

7.3 특촬

그 외에도 천장전대 고세이저에서 세번째 적 조직인 마트린티스의 괴인로봇 메트로이드의 행동강령으로 내용이 살짝 비틀려 활용되었다.

  1. ↑ 일본에서도 강철 도시로 번역했지만, 제목에서 Cave라고 하고 있으며, 본문을 봐도 (작중 시간대의)지구의 사람들을 동굴에 거주하는 원시인에 비유하는 장면이 있다.
  2. ↑ 아이 로봇에도 나오지만, 이 구조 의무 부분이 중요한 것이 단순히 해를 입혀서는 안된다고만 하면, 간접적으로 사람에게 해를 끼치는 것이 가능하다. 배트맨 비긴즈에서도 배트맨은 인간을 죽이지는 않지만, 라스 알 굴이 죽으려고 할 때 구하지 않는다.
  3. ↑ 슈퍼히어로가 등장하려면 공권력이 무능해야 하는 것과 비슷한 이치다.
  4. ↑ 인간이란 개념의 정의, 인간이 위험에 처해있는지 판별하는 방법, 인간의 발언 중 어느 부분이 명령인지 구별하는 방법 등 상당히 복잡미묘한 문제들이 포함되어 있다. 소설상에서는 저가형 모델이거나 인간을 해할 가능성이 전혀 없는 로봇의 경우 제3원칙부터 시작해서 원칙을 하나씩 제거할 수 있는데, 하나씩 제거할 때마다 양전자 두뇌의 복잡도가 기하급수적으로 줄어든다고 묘사되어있다.
  5. ↑ 뿌리뽑았다가는 로봇 반대자들 때문에 로봇을 더 쓸 수 없는 상황이 올 수 있으니까.
  6. ↑ 사형, 태형, 감금형 등
  7. ↑ 로봇시리즈 중 아이들을 돌보는 역할의 로봇에게 아이들이 '넌 나를 아프게한다!'고 외쳐서 로봇의 접근을 막는 에피소드가 있다.
  8. ↑ 인류 전원이 방사능지옥이 되기 전에 지구를 뜨면 된다. 실제로 저 상황이 벌어지는 시대에 지구외의 우주생활 공간이 있기 때문에 가능.
  9. ↑ 로봇이 1원칙에 발목이 붙잡혀 인류의 몰락을 두고 볼 수 밖에 없는 경우의 예로 파운데이션 우주의 솔라리아라는 세계가 있다.
  10. ↑ 물론 눈앞에서 사람이 죽는데 구하지 못했다면 손상이 와야 정상이지만, 자신이 구할 수 없는 것이 당연한 경우는 그걸 받아들일 수 있어야 한다.
  11. ↑ 간단하게 말하면, A, B 두 개의 로봇을 준비한다. A에게는 우유에 청산가리를 타라 하고 그걸 B에게 가지고 건네 주라고만 한다. 그리고 B에게는 A에게서 받은 우유를 건네라고만 하면 된다. A, B 로봇 모두 추가 정보가 부족하기에 위험을 예측하고 명령을 거부하기는 지극히 어렵다. 이를 막기 위해서는 로봇에게 의심이라는 감정이 있어야 하는데, 의심이라는 지극히 인간적인 감정을 인공지능적으로 구현하기 힘든 건 둘째치고, 사람이 로봇을 제작하는 목적은 사람의 명령을 따라서 사람을 도우기 위해서이기 때문에 사람을 의심하게 만드는 것은 어불성설이다. 연구 목적으로 사람의 인격을 구현하려는 것이려면 모를까, 일상생활에서 사람을 도와야 할 로봇에게 있어 그러한 부정적인 감정은 없는게 차라리 낫다. 소설에서는 대개 독 검출 센서 따위라든가 하는 식으로 의심 대신 검사를 강화하는 방향으로 이런 사태를 막아 보려는 것 같다.
  12. ↑ 이 예로 로봇과 제국에서 등장하는 솔라리아 억양으로 말하는 사람만을 인간으로 인식하는 솔라리아의 로봇들이 있다.
  13. ↑ 다만 자기가 인간의 범위에서 제외하기를 원하는 형질을, 컴퓨터가 알아들을 수 있게 제대로 정의하는 것이 쉬운 일이 아니다. 이해가 안간다면, 미남과 미녀의 정의를 컴퓨터가 알아먹을 수 있게 설명해보자.내 기준에서 이 세상의 모든 미남과 미녀를 데이터베이스해서 저장해두면 된다 그보다 이미 수많은 형질이 지정돼있으니 그거만 빼면 되는거 아냐?
  14. ↑ 인간이 아니고 로봇이라서 공격한다거나.(용자왕 가오가이가 단편 사자의 여왕 근데 사이보그는 인간이니 대상외.)
  15. ↑ 인간을 사회적 특성(언어, 성격 등)만 가지고 인간의 범주에서 제외시키는 것은 인류에게 큰 제앙을 가져온 선례가 충분히 많이 있다. 인종청소, 홀로코스트 등.
  16. ↑ 가장 간단한 예를 들어 장애인을 인간의 범위에서 제외시켰는데 자신이 사고로 장애인이 된다거나.
  17. ↑ 여기서 필요한게 솔라리스인만 인간으로 인식하는 로봇.
  18. ↑ 다만 과거에 다른 행성과 교류가 있을 때에는, 사람을 해칠 수 있는 로봇을 만든다는 말에 사람들이 광폭화 할 정도로 로봇의 안전성에 신경을 썼었다. 이 별의 인간 대 로봇 비율은 대략 1:20000이다. 즉 2만의 노예가 주인에게 반항할 경우를 생각하면;;;
  19. ↑ 록맨 7에서 참다참다 뚜껑이 뒤집힌 록맨이 Dr. 와일리를 쏘려고 하자 와일리가 이걸 언급하면서 록맨을 저지한다. 다만 북미판에서는 록맨이 그런 와일리 박사에게 '난 로봇 그 이상의 존재다!'라는 대사를 쳤지만. 어쨌든, 와일리 박사는 안 죽었다.
  20. ↑ 왜냐하면 이들의 원본이라 할 수 있는 록맨 X부터가 3원칙을 무시할 수 있는 능력을 가졌기 때문이고, 제작자인 라이트 박사 또한 이를 염려해 X를 봉인시켜 놓았던 것이다.
  21. ↑ 파운데이션과 지구에서 로봇은 로봇 3원칙에 따르는, 인간에 종속된 존재이므로, 인간과 달리 역사에 주도적인 역할을 하는 존재가 아니라고 언급한다.
  22. ↑ 아시모프 작품 중에는 이에 대해 비슷하게 언급한 내용이 있다. 아시모프 세계관에서는 로봇과 컴퓨터가 동일한 의미로 사용되어 컴퓨터에게도 로봇 3원칙이 적용되어 있다. 그러다 보니 최적의 군사 전략을 위해 컴퓨터로 모의 실험을 하는데, 아무리 컴퓨터를 돌려도 절대 최적의 답은 안나올 것이다, 그 이유는 컴퓨터가 로봇 1원칙을 열심히지키면서 군사 전략을 짜고 있을테니. 하는 내용이 나온다.
  23. ↑ 아시모프의 로봇 시리즈에서 이 예시가 등장한다.
  24. ↑ 아시모프의 로봇 시리즈에 그 예로 솔라리아에서 일어난 살인사건이 나온다.
  25. ↑ 아이, 로봇의 허비 항목 참조.
  26. ↑ 거리가 멀어지면 광물의 농도가 낮아져 3원칙의 영향이 줄어든다.
  27. ↑ 아이, 로봇의 스피디 항목 참조.
  28. ↑ 당시 이 로봇은 신형이라 3원칙의 중요도가 2원칙에 가까울 정도로 높게 조정된 상태인데다, 명령할 때 중요한 명령임을 밝히지 않아서 문제가 생겼다. 당연한 말이지만, 로봇은 인간을 대신해서 일하므로 2원칙과 3원칙이 충돌해서야 로봇 자체의 의미가 크게 줄어든다.
  29. ↑ GLaDOS가 이 말을 휘틀리 한테 했는데, 주변에 있던 프랑켄 터릿는 다 터지고 휘틀리는 멀쩡 했다. 근데 이게 휘틀리가 똑똑해서 패러독스를 감지 하는게 아니라 너무 멍청해서 그 말을 모르는 거라.(...)
  30. ↑ 더 포괄적으로 해석하여, 인류 대신 "지성체"를 대상으로 하기도 한다.
  31. ↑ 인간은 물리적 실체라서 인간이 다치는 것은 누구나 인식할 수 있지만, 인류가 발전하거나 쇠퇴하는 것은 정의하기가 매우 힘들다.
  32. ↑ 소설에서는 현재의 사회를 유지한다는 선택지도 있으며, 이는 지금까지처럼 강한 나라가 쇠퇴하고 새로운 강한 나라가 등장하는 것이 무한히 반복된다는 이유로 각하되었다.
  33. ↑ 그러나 작중에서 둘 다 만족스럽지 못하다는 사실이 드러난다. 심리역사학에만 맡길 경우 인류는 새로운 은하 제국을 다시 얻더라도 수학적 계산에 의존하는 기계적인 사회가 될 것이며, 가이아를 선택하면 전체로서 막강한 힘을 얻고 모든 세상사가 영원히 조화롭게 이어질 것이지만 개체성을 포기해야 하기 때문. 작중에 나온 예로, 검열삭제의 경험까지도 매번 전 우주의 유기체와 공유해야 한다! 가이아를 구성하는 지성체는 의식적으로 가이아와의 연결을 일시적으로 차단할 수는 있지만, 결국 그 개체의 모든 경험은 가이아와의 공유를 통해 백업되고, 개체의 의사는 상당 부분 가이아의 중론에 가까워진다. 대신 가이아 전체의 의지가 원하는 경우 개체는 가이아를 대표해서 막강한 정신력과 물리력을 행사할 수 있다. 이 부분은 아시모프가 소설을 쓸 당시보다 21세기 현대인이 이해하기가 더 쉬우리라. 달로 가는 여행 중 주인공은 최종 결론을 내지만, 그것은 그가 마지못해 내린 결정이었기 때문에 자신은 그 결정에 속박되기를 거절한다. 정치 체제로 보면 심리역사학이 예정한 것은 철인정치, 가이아가 예정한 것은 자기를 완전히 포기하고 정신과 물질을 공유하며 이타심만 가진 생명체와 무기물의 민주정 내지 전 우주를 포괄하는 집단지성의 독재정이랄까. 여기에 로봇 3원칙을 응용한 규범을 따르기 때문에 골란 트래비스는 처음에 가이아를 인류가 아니라 로봇이라 착각했다. (사실, 가이아는 정도의 차이는 있어도 같은 지성체라는 점에서 인류와 로봇을 가능한 한 차별하지 않고 대우하려 했다. 물론 가이아는, 인류를 위해 필요한 경우 로봇은 물론 인간도 죽일 수 있다.)
  34. ↑ 예를 들어, 자살 폭탄 테러를 하려는 사람을 쏘아 죽이라는 명령도 이 0원칙에 의거하여 시행될 수 있다.
  35. ↑ 그자가 자신의 행위를 변명했는데, Giskard는 그 변명이 진실이라고 믿었다. 물론 속은 것은 아니고, 그자가 자기 의도를 숨기고 거짓말을 한 것은 알아챘으나 그 변명이 실제로도 일어날 법하다고 생각했다.
  36. ↑ 그 사람을 막지 않은 탓에 지구가 점차 방사능을 띄게 되었고, 지구에 있는 모든 사람이 위험에 처할 가능성이 생겼다.
  37. ↑ 다만 이건 자신의 행동이 궁극적으로 지구인에게 도움이 된다고 확신을 할 수 없는 게 원인이었다. 인류에 도움이 된다는 보증 없이 사람을 죽이는 게 용납되는 것은 인류에게 커다란 위험이므로 중대한 문제가 된다. 지구를 단기간에 강한 방사능을 띄게 하여서 우주인과 지구인이 전쟁을 벌이게 되더라도 지구인을 멸종시키려 한 사람을 기절시키고 기억을 제거한 적이 있는데, 그때는 로봇에 아무런 문제 없었다.
  38. ↑ 참고로 그 후 Giskard는 기능이 정지되어가면서 자신이 가지고 있던 정신을 읽고 조종하는 기술을 동료 로봇인 다닐에게 이식했다. 그리고 다닐은 심리역사학을 창시하는 해리 쉘든을 물심양면으로 지원하는 등 인류의 역사의 흐름을 음지에서 조절해나간다.
  39. ↑ 이 소재를 가지고 많은 SF 소설에서는 흔히, 로봇이나 AI가 인류를 평가해 경중을 따져 내린 결정 때문에 인간을 살해하는 데서 인간인 주인공과 대척점에 선다는 식으로 이야기가 시작된다.
  40. ↑ 사용자가 안전하게 사용할 수 있을 것, 제작 의도에 맞는 역할을 수행할 것, 쉽게 망가지지 않을 것