新闻及活动江南娱乐app在线登录入口

你应该相信自动驾驶汽车吗?机器学习和安全关键系统

2020年2月25日
江南体育官网入口安卓版UBC MEL可靠软件系统Philippe Kruchten

可靠的软件系统:机器学习正在兴起

由Philippe Kruchten,软件工程教授和前MEL在欢迎使用江南app

基于机器学习的系统在日常生活中安全吗?机器学习很大,而且越来越大,建立在神经网络上的深度学习系统为一系列应用提供了解决方案。尽管这项技术可能非常强大,但它需要有足够的正确标记数据来“训练”学习算法。需要明确的是,对于一个可靠的训练集,我们说的是数千甚至数万个数据点,而不是数十个。机器学习带来了从传统方法到用软件解决问题的重大范式转变,其中:

程序+输入→计算→结果

到机器学习模型,其中:

ML程序+训练输入→计算→训练过的ML程序

然后

训练好的ML程序+输入→计算→结果

江南体育官网入口安卓版UBC梅尔DSS菲利普工业挑战图形

在机器学习范式中有两个阶段:学习阶段和操作阶段。训练输入是由人类标记的数据,它产生一个经过训练的机器学习程序,并提出了一些重要的安全问题。

安全

对于一些软件系统来说,安全是不容商量的,系统不伤害人(或动物或环境)是必不可少的。航空电子设备、核电站和一些生物医学设备就是如此。如果他们失败了,有人可能会死。航空航天业最近向我们展示了一个生动的例子,那就是波音Max。安全性是“可靠软件系统”的五个方面之一,其他几个方面是准确性、可靠性、可用性和安全性。

直到几年前,软件系统的安全都是通过让人类参与关键决策或推翻计算机的行动或建议来确保的。然而,现在有一个重大的推动,以消除人类在各个领域的循环。

我们在汽车行业看到了这一点,比如自动驾驶汽车,还有工业应用中的机器人或医疗保健中的医疗设备。在其中一些情况下,它提倡人类不可靠、不强壮、不快速或不够知情,无法确保安全性能。

机器学习与安全

但是基于机器学习的系统安全吗?为了回答这个问题,让我们看看传统上是如何评估安全性的。从历史上看,工程师建立一个安全案例,他们反复检查系统和软件设计过程,检查做出了哪些设计选择以及出于哪些原因。对于安全关键的系统,必须测试每一行代码,以及程序执行的每一个可能的线程。

在基于机器学习的程序中,事情变得更加复杂。机器学习代码由两部分组成:负责学习的代码和负责操作的代码。代码相对简单,而且大部分是领域不可知的,因为它不包括任何嵌入的领域特定知识。当系统学习时,它会构建一个数据结构来表示它获得的学习(神经网络的实际神经元)。这个训练数据集,称为模型,是巨大的,完全不透明的,蔑视人类的检查。

江南体育官网入口安卓版UBC梅尔DSS菲利普工业挑战图形

如果我们对学习者进行认证并验证训练数据,那么这个庞大的模型是否可信?不,它不能。我们知道,即使是一个经过适当训练的模型,拥有大量正确标记的输入数据集,也可能存在缺陷。事实上,产生导致系统出错的对抗性示例是相对容易的。(见文章“用对抗性例子攻击机器学习以获取更多信息。)

简而言之,我们还不知道如何检查或测试训练好的程序,检查通用的机器学习代码(上面橙色部分所示)并没有多大帮助,因为这些代码只是封装知识的一小部分,这些知识在数据中(上图中绿色部分所示)。

如果我们让机器学习代码在系统投入运行后继续学习,问题就更大了,因为数据(神经元)会不断扩展或变化。这使得构建安全案例更具挑战性。

2020年我们处于什么位置?

这个问题仍然有待研究,没有人真正知道如何为基于机器学习的系统构建安全案例。这意味着在某些领域,工程师们只是远离机器学习,尽管它很有吸引力,而是选择通过更系统的测试和设计决策链的可追溯性来不断完善传统模型的技术。

以汽车行业为例,ISO标准26262(2018)第6部分-道路车辆-功能安全,是一份重要的文件,最近的文件作为补充ISO标准21448(2019)道路车辆-预期功能的安全性附录G给出了一些关于评估离线培训的提示(但不多)。

学术界和工业界的研究人员正在尝试新技术,比如变质测试。很明显,我们需要新的方法来开发和评估策略,以评估基于机器学习的系统的安全性。

工程领导硕士(MEL)欢迎使用江南app 将机器学习和安全关键系统的问题置于程序的核心。事实上,对于2019年的学生来说,与业界合作完成的顶点项目的主要主题就是这个主题。

欲进一步阅读:

R. Varshney,“机器学习中的工程安全”2016信息理论与应用研讨会(ITA), La Jolla, CA, 2016, pp. 1-5。doi: 10.1109 / ITA.2016.7888195

Koopman和M. Wagner,“自动驾驶汽车安全:一个跨学科的挑战”,在IEEE智能交通系统杂志,第9卷,no。1,第90-96页,2017年春季。doi: 10.1109 / MITS.2016.2583491

陈玉云、郭锋、刘宏、潘培、陶德威、谢铁辉、周志强。“变形测试:挑战与机遇的回顾”ACM第一版。测量员51,1,第4条,2018年1月,27页。doi: https://doi.org/10.1145/3143561

可靠的软件系统

获得技术,业务和项目管理技能,设计和维护可靠的软件系统。

欢迎使用江南app
Baidu
map