O robô de Asimov e o Problema do Trolley

O conto "Mentiroso!" foi referenciada como a fonte para a alegação de que o robô não poderia executar uma ação ou queimá-lo depois disso. No entanto, esta história é mencionada e, em certo sentido, refutada em um trabalho posterior - Robots of Dawn .

As citações relevantes são as seguintes:

As the theory of positronic brains has grown more subtle and as the practice of positronic brain design has grown more intricate, increasingly successful systems have been devised to have all situations that might arise revolve into non-equality, so that some action can always be taken that will be interpreted as obeying the First Law.
_{Chapter 4 - "Fastolfe"}

Os robôs melhoraram significativamente desde os dias de Susan Calvin - deve-se lembrar que as histórias que a envolvem são as histórias sobre os pioneiros da robótica, quando robôs semelhantes a humanos só estavam nascendo e se aperfeiçoando.

Em Robots of Dawn estamos lidando com robôs humaniform , tão sofisticados que até possuem todos os atributos humanos externos (incluindo a genitália, que é um detalhe importante nesse sentido) romance). Também somos apresentados ao conceito de "mental free-out", que é o que aconteceu com Herbie em "Liar!". O doutor Fastolfe, o principal especialista em robôs no momento em que o romance é lançado, diz que tais congelamentos são quase impossíveis com os robôs modernos, já que eles não julgam apenas as questões quantitativamente (como fez o robô do filme). , eles são capazes, no próprio, muito raro caso de resultados exatamente iguais, envolver randomização.

“Let’s suppose that the story about Susan Calvin and the mind-reading robot is not merely a totally fictitious legend. Let’s take it seriously. There would still be no parallel between that story and the Jander situation. In the case of Susan Calvin, we would be dealing with an incredibly primitive robot, one that today would not even achieve the status of a toy. It could deal only qualitatively with such matters: A creates misery; not-A creates misery; therefore mental freeze-out.”

Baley said, “And Jander?”

“Any modern robot—any robot of the last century—would weigh such matters quantitatively. Which of the two situations, A or not-A, would create the most misery? The robot would come to a rapid decision and opt for minimum misery. The chance that he would judge the two mutually exclusive alternatives to produce precisely equal quantities of misery is small and, even if that should turn out to be the case, the modern robot is supplied with a randomization factor. If A and not-A are precisely equal misery-producers according to his judgment, he chooses one or the other in a completely unpredictable way and then follows that unquestioningly. He does not go into mental freeze-out.”
_{Chapter 7 - "Fastolfe"; emphasis mine.}

Note que não é completamente impossível fazer um robô moderno entrar em congelamento mental, pois é nisso que se baseia todo o enredo do romance. No entanto, está provado que requer o domínio supremo do funcionamento interno do cérebro positrônico e da psicologia dos robôs, algo de que apenas duas pessoas são capazes.

O mesmo romance também trata, sem nomeá-lo, da Lei Zeroth.

^{Obviamente, spoilers!}

R. Giskard kills R. Jander, his robot friend, in order to save humanity (the inhabitants of the Earth) from a sinister spacer plot, and also to save Spacers from interbreeding and dying out in seclusion.

No entanto, a Lei de Zeroeth é mais uma exceção do que uma regra. Pelo que li até agora, só ocorreu duas vezes. A razão - nem todo robô está ciente dos problemas que a humanidade enfrenta. Poder-se-ia provavelmente especular que a humanidade é apenas uma coleção de seres humanos para eles, enquanto na realidade é um pouco mais complicado do que isso. O que quero dizer é que não é uma situação que faria com que um robô invocasse a Lei Zeroth - porque ela não estava embutida neles. As máquinas do "The Evitable Conflict" foram explicitamente declaradas como tendo acesso e controle de todos os recursos e conhecimentos da humanidade. Eles foram capazes de formular a Lei de Zeroeth - isso não significa que todo robô pode. Os personagens de Robots of Dawn também foram bastante excepcionais. Eu não envolveria essa lei no problema do bonde, mas se você quiser, o que eu disse acima vale.

No que diz respeito ao clássico robô "Three Laws", a resposta é muito simples. Como vemos em Mentiroso! , um robô que, seja por ação ou inação prejudicaria um humano simplesmente implode mentalmente .

O número real de humanos prejudicados é totalmente irrelevante para a discussão.

The psychologist paid no attention. “You must tell them, but if you do, you hurt, so you mustn’t; but if you don’t, you hurt, so you must; but--”
And Herbie screamed!
It was like the whistling of a piccolo many times magnified -- shrill and shriller till it keened with the terror of a lost soul and filled the room with the piercingness of itself.
And when it died into nothingness, Herbie collapsed into a huddled heap of motionless metal.

Em comparação, um robô compatível com o Zeroeth Law não teria nenhum problema com o dilema. Ausente de qualquer outra informação sobre o valor relativo das pessoas que estão sendo atropeladas pelo carrinho, ele simplesmente escolheria o bem maior (por exemplo, o menor número de pessoas sendo mortas) e seguiria com isso.

No final de I, as Robot Machines desenvolveram uma Lei Zeroeth.

Think about the Machines for a while, Stephen. They are robots, and they follow the First Law. But the Machines work not for any single human being, but for all humanity, so that the First Law becomes: ‘No Machine may harm humanity; or, through inaction, allow humanity to come to harm.’

(...)

“But you are telling me, Susan, that the ‘Society for Humanity’ is right; and that Mankind has lost its own say in its future.”

“It never had any, really. It was always at the mercy of economic and sociological forces it did not understand -- at the whims of climate, and the fortunes of war. Now the Machines understand them; and no one can stop them, since the Machines will deal with them as they are dealing with the Society, -- having, as they do, the greatest of weapons at their disposal, the absolute control of our economy.”

“How horrible!”

“Perhaps how wonderful! Think, that for all time, all conflicts are finally evitable. Only the Machines, from now on, are inevitable!”

Asimov - I Robot "The Evitable Conflict"

Nesse Espírito, a Máquina "quebra" a segunda lei em benefício da humanidade, então, embora eu não consiga encontrar um exemplo específico de Asimov para o Problema do Bonde para uma máquina com a Lei de Zeroeth, parece que um robô poderia "quebrar" a primeira lei que beneficia a humanidade.

Se você tomar 3 Leis no sentido estrito, não há resultado aceitável - ou o resultado violará "não pode prejudicar" ou "por inação permitir que venha a prejudicar" cláusula.

Na verdade, isso destaca o problema com qualquer tipo de sistema ético que declara que alguma ação ou resultado é completamente inaceitável - não pode fornecer uma orientação significativa na situação em que todas as opções consideradas (podem) levar a esse resultado inaceitável, sendo a diferença apenas no escopo, certeza e outros detalhes. A mesma "divisão por zero" pode ser facilmente observada em humanos que na vida cotidiana poderiam passar com a absoluta "vida humana supera todo o resto" e então se encontram em situações onde todas as suas ações estão associadas a vários graus de perigo para outros. vidas. Exceto para os humanos, o resultado não é um desligamento, mas sim o desencadeamento de vários mecanismos de defesa (o que, na maioria das vezes, significa que o curso de ação escolhido não era o ideal para minimizar o dano total).

No caso dos robôs de Asimov seguindo as 3 leis, a resposta é clara. No entanto, alguns dos robôs posteriores tinham capacidade limitada de contornar as restrições das três leis e, em teoria, podiam escolher o curso correto de ação aqui. Mas isso é um pouco além da pergunta original, já que isso não está relacionado com as Três Leis em si, mas sim com a capacidade do robô individual de contorná-las.

1. Um robô não pode ferir um ser humano ou, por inação, permitir que um ser humano se machuque.

Inação, não ação.

Pode um robô através da ação permitir que um ser humano se machuque? Sim, no caso de múltiplos seres humanos, dos quais alguns são diferentes de outros (que tu és consciente em relação a ele), MAS então ele deve depois, agir para parar esse dano ao humano, mesmo se resultar em desobedecer a um humano ou se matando. (Runaround)

Então, 1. ele puxa a alavanca, reduzindo o número de mortes, então 2. Ele se joga no trem da maneira mais matematicamente plausível para parar ou descarrilar o trem para reduzir o dano àquele humano (ou outros)

Eu me lembro de outra história, Lost Little Robot (obrigado @CMS), onde ... (pequenos spoilers)

An experienced robot tries to escape, hiding within another team of unexperienced robots, so the humans try to find out which is the renegade robot.

Este é um exemplo claro de como as "Três Leis de Asimov" são inadequadas, sujeitas a colisões paradoxais, e devem ser emendadas para "As Quatro Leis de Asimov". A lei mais importante deve ser sempre "um robô não pode ferir um ser humano". Isso ocorre porque os robôs genéricos (ou seja, robôs não cirúrgicos, onde a utilidade requer um grau calculado de 'dano') nunca devem ter permissão para racionalizar o dano a um ser humano, porque eles serão capazes de lidar com a lógica tão além de nós humanos que poderia permitir-lhes descobrir e / ou calcular que eles estão nos ajudando, matando-nos. Talvez [hipoteticamente] eles descubram que a morte humana aumenta a energia global de transições para dimensões alternativas (ou alguma porcaria alucinante como essa), e então medem nossa qualidade de saúde e fazem um julgamento de que é melhor morrermos do que sermos idosos, como isso seria considerado um estado de dano [novamente apenas um hipotético, quem sabe o que os robôs poderiam inventar, o ponto é que nós não!]. Portanto, para garantir que isso seja evitado, altere as regras para: (1) Um robô não pode ferir um ser humano. (2) Um robô, por ação ou inação, não permitirá que um ser humano se prejudique, exceto quando tais ordens entrem em conflito com a Primeira Lei. (3) Um robô deve obedecer às ordens dadas por seres humanos, exceto quando tais ordens entrem em conflito com a Primeira ou Segunda Lei. (4) Um robô deve proteger sua própria existência, desde que tal proteção não entre em conflito com a Primeira, Segunda ou Terceira Leis.