在美國科幻小說家艾薩克.阿西莫夫的短篇小說《Run around》中，機器人Speedy被科學家派去執(zhí)行危險任務，幾個小時之后卻被發(fā)現(xiàn)在原地繞圈圈，口中重復無用的指令。原來是Speedy遇到了“道德危機”，根據(jù)機器人三大法則，機器人必須服從人類的命令，而又不得造成自己的傷害。法則三讓他折回，而法則二促使他前進，在進還是退這個問題上陷入了兩難。

故事背景設定在2015年，雖然看起來好像擔心還為時過早，但實際上，無人駕駛汽車的出現(xiàn)、軍用機器人的到來，家用機器人即將投入使用都預示著我們即將迎來一個人機合作的時代。隨之而來的是必須要面對的機器人道德沖突難題。在不久的未來，無人駕駛汽車會面臨這樣的道德選擇：在無法避免事故的情況下，是選擇撞行人還是撞墻壁?

這個問題沒有正確答案。機器人專家認為即使有，要根據(jù)復雜實況設定機器人要采取的方案和計劃也是不切實際的。

Tufts大學的計算機科學教授，MatthiasScheutz說，要根據(jù)所有可能出現(xiàn)的情況設計出“if，then，else”的復雜系統(tǒng)幾乎是不可能的。這也是問題的困難所在：你不能列出所有的情況和應對措施。相反，Scheutz試圖將機器人的大腦設計得能像人腦做出理性的道德判斷。其團隊獲得由美國海軍研究辦公室(ONR)撥放的750萬美元資助，對人道德選擇時的思考過程進行深入研究，并將嘗試在機器人身上進行模擬推理過程。

在為期五年的項目結束時，科學家們必須對機器人的道德決定做出演示。其中一個例子是機器人醫(yī)生接受命令為醫(yī)院提供緊急救援物資，路上遇到一個受重傷的士兵，機器人應該停止任務幫助士兵嗎?對于Scheutz的團隊來講，機器人所做的決定是對還是錯，遠沒有他做決定的過程重要。機器人是否可以權衡各方面因素進行選擇，并對選擇進行解釋。“我們可以看到機器人變得越來越成熟，越來越復雜，越來越自主”，他說，“我們不希望在未來社會里看到這些機器人對道德選擇無動于衷�！�

RonArkin，曾與軍方合作過的喬治亞理工學院著名倫理學家，寫出了機器人的第一個道德體系。對于ONR的資助，Arkin和他的團隊提出了一種新方法。不同于為機器人設定道德約束，Arkin的團隊研究嬰兒的道德發(fā)展。這些經(jīng)驗將被運用到Soararchitecture(一種機器人認知系統(tǒng))中。他們希望機器人在道德問題上可以比人類做出更好的選擇，駕駛員可沒時間在撞車一瞬間計算潛在的傷害。

在這之前，機器人還要面對另外一個挑戰(zhàn)，即如何從環(huán)境中收集大量的信息，比如，有多少人在場，每人所扮演的角色。目前機器人的感知十分有限，如何在戰(zhàn)場分清敵友，以及評估災難受害者的身體和精神狀況都仍是一個難題。