如今的信息安全形势十分复杂，而很多企业在将人工智能/机器学习添加到安全软件组合的过程中可能会遇到一些麻烦。或者企业在选择合适的供应商时希望得到更好的服务。
大多数首席信息安全官相信采用人工智能和机器学习技术，在未来3到5年内可能改变信息安全领域。事实上，安全软件供应商都希望采用或正在采用人工智能，就好像其具有神奇的属性一样。但糟糕的是，许多供应商并没有自己的人工智能的产品。
调研机构Gartner公司副总裁兼杰出分析师Anton Chuvakin博士表示，一些安全软件供应商过度承诺，并且未能实现其人工智能/机器学习实施的好处。
Morphisec公司安全策略副总裁Tom Bain表示，网络安全厂商的首席信息安全官和首席信息官十分关注人工智能这一术语。他说，“我所知道的一家供应商在其网站主页上22次提到了人工智能。”
应用人工智能和前沿技术的领导人JT Kostman博士表示，“大多数声称拥有我评估过的人工智能/机器学习能力的公司最终不得不承认，他们的说法只不过是营销和炒作而已。”
一些供应商夸大或编造人工智能故事的意愿只是问题的一部分。为针对Webroot进行的一项新研究中，近60%的IT受访者承认，虽然他们知道他们的某些软件使用了人工智能或机器学习，但他们不确定这意味着什么。此外，只有36%的人确切知道他们的网络安全供应商如何获取和更新他们的威胁数据。该调查于2018年11月底到12月初进行，调查了400名公司董事和IT专业人员，其中200名在美国，另外200名在日本。
许多专家和人工智能经验丰富的首席安全官强烈要求信息安全领导人加入，这样在采用人工智能技术时，可以适应更复杂的技术。例如，许多人严重低估了正确培训机器学习模型所需的数据量。构建数据可能需要一段时间。德尔福集团董事长兼创始人Thomas Koulopoulos说，“许多人犯的错误是人工智能与算法的复杂性有关。事实并非如此。关键是人工智能/机器学习需要大量的数据进行训练。”
Domo公司高级副总裁信任与安全和首席信息官Noml Browne建议，企业需要为此做好准备，而不必立即投资购买。Browne说，明智的首席安全官正处于人工智能/机器学习的学习阶段，他们现在正在尽可能多地研究人工智能技术。他们正在与供应商沟通，以了解产品的功能和局限性。当人工智能展现出更多承诺时，他们将准备好制定出一个基于风险的明智决策。”
为了帮助人们完成此过程，对行业专家进行采访和调查，并列出了与安全供应商探讨时提出的10个问题的列表。他们帮助人们区分良莠不齐的安全软件产品（也就是说，潜在的有用性与宣传和炒作无关）。值得一提的是：杰出的技术专家John Omernik接受了此次调查，这是与供应商讨论人工智能/机器学习主题清单的关键人物之一。此列表基于这些专家的想法和见解，而Omernik是最重要的贡献者。
以下是有关基于人工智能/机器学习的安全软件的11个问题：
1.如何知道训练数据具有代表性？
Booz Allen Hamilton高级首席数据科学家Aaron Sant-Miller建议，组织希望知道采用什么数据来训练供应商的模型，以便可以确定该数据是否代表其数据以及将在网络中看到的行为。
2.训练数据的新鲜度、清洁度和可学习性如何？
Koulopoulos说，“组织希望知道训练数据集刷新的频率，随着时间的推移学习和发展其检测能力，以及需要多少数据来充分训练人工智能/机器学习引擎等问题。此外，组织希望了解人工智能系统的学习程度，以及需要多少数据来学习和重新学习。”
3.能获得性能指标吗？
这是调查人员最常提出的问题。Kostman说，“供应商应该能够分享双盲对照实验的结果，这些实验检测到世界级的黑客或PEN测试人员试图破坏系统。”
SignalFX公司首席信息安全官Marzena Fuller解释说，“确定供应商是否使用机器学习而不仅仅是算法，可以通过测量供应商机器学习模型性能的指标来完成，这些指标还应该描述模型的准确性。”
对于有监督的模型，Fuller建议采用“混淆矩阵”。她补充说，接近1的值表示高精度。
她说，“评估无监督模型的性能更具挑战性。簇内距离的值相对较小，簇间距离的值相对较大，表明该模型对具有离散特性的类项进行分组是有效的。”
4.能得到一个真实的演示吗？
如果供应商没有硬性指标，那么考虑放弃这样的厂商。但是如果还想给他们另一个机会，Chuvakin建议组织可以提出这样的要求：“可以让厂商提供一个可以证明人工智能解决方案能够比安全运营中心（SOC）分析师做出更好决策的案例。”
5.专有模型是否意味着组织不能对其进行自定义？
当供应商声称专有的人工智能/机器学习实现将“解决所有问题”时，Omernik建议组织的首席信息安全官和首席安全官询问“客户是否可以定制它？如果是这样，工程师需要什么级别的培训来进行这些定制？不同的模型可以在相同的数据上工作吗？或者组织的数据只能采用与安全产品捆绑在一起的模型进行工作吗？”这样的问题。