2024年1月，ISO与IEC联合发布《系统和软件工程-系统和软件质量要求和评估(SQuaRE) -人工智能(AI)系统质量评估指南》(ISO/IEC TS 25058:2024)。

人工智能(AI)系统的评估具有挑战性。因此，低质量的人工智能系统可能会对关键操作和决策的自动化产生相当大的影响。

技术规范旨在指导人工智能开发人员对其人工智能系统进行质量评估，但并未说明准确的测量值和阈值，因为这些值和阈值因每个系统的性质而异。相反，技术规范为人工智能系统质量的相关方面提供了全面的指导，以便成功进行质量评估。

只要每个特性和子特性都能通过测试策略进行验证，测试就属于本指南的范围，但测试方法和测量的细节在其他地方也有涉及，例如ISO/IEC/IEEE 29119系列。

2024年1月，ISO与IEC联合发布技术报告《AI功能安全与AI智能系统》(ISO/IEC TR 5469:2024)。

近年来，人工智能(AI)技术在工业中的应用大幅增加，而且人工智能在某些应用中已被证明能够带来益处。然而，关于功能安全的人工智能系统的规范、设计和验证，或如何将人工智能技术应用于具有安全相关效应的功能方面的信息却很有限。对于利用人工智能技术(如机器学习ML)实现的功能，很难解释它们为什么会以特定的方式运行，也很难保证它们的性能。因此，在一般情况下使用人工智能技术时，尤其是在使用人工智能技术实现与安全相关的系统时，很可能会出现一些特殊的考虑因素。

强大的计算和数据存储技术让大规模部署人工智能成为可能。对于越来越多的应用来说，采用机器学习(作为一种人工智能技术)能够快速、成功地开发出检测数据趋势和模式的功能。这使得通过观察诱导函数行为并快速提取决定其行为的关键参数成为可能。机器学习还可用于识别异常行为或在特定环境中收敛到最佳解决方案。成功的ML应用领域包括金融数据分析、社交网络应用和语言识别、图像识别(尤其是人脸识别)、医疗保健管理和预后、数字助理、制造机器人、机器健康监测和自动驾驶汽车。

除ML外，其他人工智能技术在工程应用中也越来越重要。例如，应用统计学、概率论和估算理论使机器人和感知领域取得了重大进展。因此，人工智能技术和人工智能系统开始实现影响安全的应用。

模型在人工智能技术的实施中发挥着核心作用。这些模型的属性可用于证明人工智能技术和人工智能系统与功能安全要求的兼容性。例如，当决定功能行为的关键参数之间存在已知和可理解的科学关系时，观察到的输入数据和输出数据之间就可能存在很强的相关性。这就产生了一个透明且足够完整的模型，作为人工智能技术的基础。在这种情况下，模型与功能安全要求的兼容性就得到了证明。然而，人工智能技术通常用于以下情况：物理现象非常复杂或规模非常小，或者在不影响实验数据的情况下无法观测，因此没有基本行为的科学模型。在这种情况下，人工智能技术的模型可能既不透明也不完整，模型与功能安全要求的兼容性也难以证明。

机器学习用于创建模型，从而扩展对世界的理解。然而，机器学习模型的好坏取决于用于推导模型的信息。如果训练数据没有涵盖重要的案例，那么得出的模型就是不正确的。随着观察到更多的已知实例，这些实例被用来强化模型，但这会使观察结果的相对重要性产生偏差，从而使函数偏离频率较低但仍真实存在的行为。持续观察和强化会使模型趋于最佳状态，否则就会过分强调普通数据，而忽略极端但关键的条件。

在通过使用人工智能技术不断改进模型的情况下，由于功能行为逐渐偏离经过严格测试的、理想的确定性和可重复性行为，为证明其安全完整性而进行的验证和确认活动就会受到破坏。

本报告旨在帮助安全相关系统的开发人员了解人工智能技术的特性、功能安全风险因素、可用功能安全方法和潜在限制因素，从而将人工智能技术恰当地应用到安全功能中。本文件还提供了与人工智能系统功能安全相关的挑战和解决概念的信息。

第5条概述功能安全及其与人工智能技术和人工智能系统的关系。

第6条描述了人工智能技术的不同类别，以表明当人工智能技术构成安全功能的一部分时，可能符合现有的功能安全国际标准。第6条还根据人工智能技术对系统的最终影响，介绍了人工智能技术的不同使用级别。最后，第6条还对与人工智能技术等级和使用水平的不同组合相关的功能安全风险的相对水平进行了定性概述。

第7条基于ISO/IEC 22989，描述了在安全相关系统中使用人工智能技术的三阶段实现原则，在这些系统中，无法直接显示是否符合现有的功能安全国际标准。

第8条讨论了人工智能系统的特性和相关功能安全风险因素，提出了这种使用所带来的挑战，以及在试图处理或减轻这些挑战时所考虑的特性。

第9、10和11条从验证和确认、控制和缓解措施、流程和方法等方面介绍了应对这些挑战的可能解决方案。

附件提供了应用实例和更多细节。附件A阐述了如何将IEC 61508-3应用于人工智能技术元素，附件B提供了如何应用三阶段实现原则和定义各种属性的示例。附件C介绍了与9.3相关的更多详细流程。附件D显示了IEC 61508-3中的安全生命周期与ISO/IEC 5338中的人工智能系统生命周期之间的映射。

随着人工智能技术的飞速发展，知识驱动的人工智能应用逐渐成为行业关注的焦点。知识工程(KE)作为人工智能的核心分支，正通过自动或半自动地从信息源中获取知识，推动金融、医疗、交通和制造等多个行业实现智能化转型。

为准确定义人工智能(AI)中知识工程(KE)的参考架构，2024年3月，ISO与IEC联合发布标准《信息技术人工智能知识工程参考架构》(ISO/IEC 5392:2024)。

标准从系统用户和功能的角度描述了知识工程的角色、活动、构造层、组件及其与其他系统之间的关系。

知识工程的关键在于将人类知识转化为机器可以理解的形式，进而提供智能的知识驱动服务。知识库的建设目标之一就是实现这一转化，使得人类知识能够被人工智能系统有效利用。目前，KE与大数据、深度学习、自然语言处理等技术一同，成为推动人工智能发展的核心力量。

知识服务的关键技术包括知识表示、知识建模、知识获取、知识存储、知识融合、知识计算、知识维护、知识可视化等。随着知识服务平台产品和解决方案的不断开发，知识服务在组织中的实施变得更加敏捷。分布式知识服务系统通过系统间的知识交流和知识维护，实现了集成和部署。分布式自主代理系统及其在系统间的协作，进一步促进了智能和知识驱动行为的产生，加强协作与合作。

资源描述框架(RDF)、资源描述框架模式(RDFS)、RDFS-PLUS、本体网络语言(OWL)、SPARQL协议和RDF查询语言(SPARQL)以及与本体相关的理论和标准在知识表示和知识建模方面提供了坚实的工具和理论基础。其他相关的KE标准也已制定。

知识库已成功应用于金融欺诈识别、设备远程运维、用户画像和产品推荐、研究重点跟踪和预测、智能信用分析、基于相似案例的法律纠纷和案件预测、新闻智能分发、智能计算机辅助诊断和治疗等多个行业。许多组织将基于知识库的平台或系统视为重要的知识基础设施。然而，KE词汇表、基本KE构建组件、KE流程及其关系尚未明确定义，导致了数据提供者、基础技术提供者、算法提供者、系统协调者和知识共享系统的其他利益相关者之间的误解以及不必要的沟通和部署成本。

2024年1月，ISO和IEC联合发布《人工智能(AI)应用指南》(ISO/IEC 5339:2024)，为AI应用的制造、使用和影响提供宏观视角，同时强调利益相关者的角色和责任。

该指南针对AI在农业、交通、金融科技、教育、能源、医疗保健和制造业等关键领域的应用，提出了一个全面的生命周期管理框架。通过这一框架，指南强调了AI系统的可信度和风险管理，以及这些因素如何影响AI的实施和接受程度。指南特别强调了利益相关者可能具有的人工智能专业技能和知识的差异，并提供了一个框架来回答“人工智能应用有哪些特点和注意事项”，以确保所有利益相关者——无论是技术专家还是普通公众——都能够参与到AI应用中来。

指南主要内容包括：

——识别人工智能应用的利益相关者、背景、功能特征和非功能特征的方法(第5条)；

——可用于回答以下问题的人工智能应用框架：人工智能应用有哪些特点和注意事项?(第6条)；

——基于制造、使用和影响角度的人工智能应用指南(第7条)。

在利用人工智能(AI)的产品和服务(如人工智能系统)迅速普及的过程中，有必要通过基于风险的方法和其他方法适当地开发、提供或使用人工智能系统，以便安全可靠地使用这些系统。

2023年12月，ISO和IEC联合发布《人工智能管理系统》(ISO/IEC 42001)。各组织可以参考新标准建立高度可靠的管理系统，包括规避人工智能相关风险的要求和应对风险的措施，有望促进更安全、更可靠的人工智能系统的普及和推广。

近年来，越来越多的机构积极研发人工智能，随着人工智能系统在人们日常生活中各种场景的应用，这项技术也迅速普及。然而，在促进人工智能系统推广的过程中，各组织有必要适当地开发、提供或使用安全可靠的人工智能系统，因此，越来越多的组织需要作为安全可靠的人工智能系统基础的管理系统。

国际标准化组织(ISO)和国际电工委员会(IEC)的联合技术委员会(JTC 1)下属的人工智能分委会SC42讨论了这一问题，并开始制定人工智能管理系统的国际标准。

该标准以开发、提供或使用人工智能系统的组织为对象，规定了这些组织在建立风险管理系统时应遵守的基于风险的方法的要求，这些风险管理系统是这些组织适当利用(开发、提供或使用)人工智能系统所必需的。此外，该标准还要求各组织识别并降低此类风险，以帮助他们利用具有真实性、责任性和可靠性的人工智能系统，并考虑人工智能的公平性和个人隐私。此外，该标准在考虑人工智能系统特有的学习数据和机器学习方面也具有重要意义。至于管理系统的建立，该标准采用了与现有管理系统相同的方法，如质量管理系统(QMS)的ISO 9001和信息安全管理系统(ISMS)的ISO/IEC 27001。人工智能管理系统的设计采用了与这些管理系统相同的结构，并考虑到了用户友好性。

来源：tbtguide