忠诚僚机先打自己人？美国空军测试AI飞行员，无人机暴走先炸友军

用微信扫码二维码

分享至好友和朋友圈

最近这两年，无人作战忠诚僚机等概念，越来越成为军事当中的热点话题，主要军事强国们都在发展更新的技术水平更高的，有部分自主决策能力的无人作战平台，以图在未来辅助有人装备作战。比如美国人在新一代轰炸机B-21，下一代战斗机NGAD等项目当中，就都明确的提出要研制装备无人忠诚僚机，上AI决策等技术来辅助作战。

而且这两年美军以及各大军事承包商也确实在实打实的训练测试各种AI飞行员，以期在未来找到最好的解决方案，但就在最近几天，有关AI飞行员作战能力测试当中出了一件相当让人毛骨悚然的事件：操纵无人机执行作战任务的AI飞行员脱离了人类的控制，发生了独走事件，主动故意开火袭击了友军。

按照美国空军自己的说法，他们是在模拟训练当中使用了一架搭载AI飞行员的XQ-58无人忠诚僚机，尝试让其去执行搜寻并摧毁假想敌防空导弹系统的任务，无人机的AI交战规则被设定成了自主搜索目标但必须有人工指令才能开火。但无人机在找到防空系统，请求发动攻击之后，人类操纵员始终不给予开火许可，就在这时候无人机的AI飞行员发生了暴走，判定人类阻止其完成任务，在没有许可的情况下掉头先攻击了己方的无人机指挥站，解除了操纵员的限制之后去炸毁了防空设施。

在发现了这一漏洞之后，美军又给AI打了一个不得攻击人类操作员，否则扣分的补丁，这次AI确实不会攻击操作员了，而是开始先攻击己方通讯站，切断了人机通讯之后操纵飞机掉头去摧毁了模拟防空系统，颇有一种电影绝密飞行走入现实的感觉。也因为大家对AI相关的伦理学问题都相当敏感，所以AI飞行员优先攻击友军这事被美军公开后，一下子就引发了很大的讨论。

人工智能操纵的无人机不听人类的命令了，AI操纵着无人机优先攻击给他下命令的人了就挺骇人听闻的，但这事背后真的就是人类训练AI训练过头造成了反噬，人工智能开始对人类造成威胁，开始有反噬人类的迹象了吗？那恐怕也不是，这次美军实验AI被AI攻击的事件，其实不像是AI技术有什么问题，而是写程序的时候写出了BUG来。

影响人工智能的行为决策的主要有奖惩函数等组成的评估函数，这次美国人出现的这个问题，一眼看上去就很像函数定义没写好，然后运行的时候跑飞了出了攻击自己人的BUG。简单的讲，美军给这个AI赋予了一个搜索并摧毁的任务，完成任务则通过奖惩函数给高赋分，未按照要求执行则通过奖惩函数给低赋分，以此来训练AI的水平。结果AI跑了定义之后发现完成摧毁任务后的得分扣掉攻击友军的负分，那依然高于不摧毁目标的分数，然后AI就把友军炸了。

因为这样在评估时的得分更高，这不就是写函数时候写出漏洞来了，直接在函数定义当中给包括攻击友军的行为评分判无效，或者通过敌我识别给AI上硬件所就能解决的事情，属于美国空军拿出来当作个趣谈讲。这说明了什么，说明了所谓时间最强大的信息技术超级大国，现在也国防工业系统也难找足够多的靠谱程序员，外包的印度程序员真是害人不浅。

这种人为的失误当然不能归因成AI技术出了问题，再聪明的AI也只还是AI，还是在人类设定的笼子当中行动的，只要人类程序员给他写参数的时候不要犯错，在硬件上应当设置的限制不出现缺漏，那人工智能就冲不出笼子。美国人遭遇的这种问题，其实在目前人工智能的研发领域并不能说罕见，解决人犯错的办法也就是加个硬件锁，不通过IFF的攻击指令判无效就行了，AI又没法去动敌我识别的硬件。

从美军依然在积极进行着人工智能的相关训练测试来看，这个问题应该是早就被解决了，并不是啥机器人要变终结者的恐怖故事，而是单纯的不小心跑飞了函数的搞笑故事。不过抛开这种BUG不谈，这件事还是相当能体现出现在美军在人工智能无人作战领域进行的前沿研究的技术水平的，AI的暴走本身也说明了其有相当程度的决策能力与先进性。美国人把这个事情拿出来说，大概也主要是想展示一下美国空军现在训练出来的AI飞行员已经非常的智能，已经有了很好的自我决策能力，已经能够实际执行作战任务了。

其实这件事当中最能体现出的，还是在未来可能的人工智能高度参与的环境当中，人工决策在其中的重要价值，从单纯的战斗力的角度来说，目前阶段的人工智能实际上已经完全的超出了人类，几年之前美军的人机空战对抗里，人类飞行员就已经是屡战屡败了。但AI依然是非常纯粹的执行任务的机器，在更高级的决策方面，依然要靠人来作为决策者，要靠人来做现实判断，人在编写人工智能的程序，训练人工智能的能力时依然不可避免的存在着漏洞与误差，人工智能在未来会投入战场，而因为程序员能力的限制，飞行员依然还是不可或缺的，对人机对抗这种事，也不必太过与科幻电影关联了。

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.