分享

人工智能对网络安全有哪些影响?

Jay 2024-1-16 15:58:14 发表于 信创资讯 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 99
[tr]一年多以来,人工智能(AI)主导了公共话语,从非正式对话到认真考虑其造福或破坏社会的潜力。在评估如何安全地使用人工智能时,重要的是检查机会和危险,因为它们现在存在或可能在短期内发展。人工智能创建内容和自动化操作的能力代表了人工智能在许多领域(包括网络安全)中使用的新前沿。

[tr]软件和数据的技术进步将对数字安全产生巨大影响。基于人工智能的工具,无论是用于自动化、认知还是生成,都可以用于好的方面,也可以用于坏的方面。例如,分析潜在入侵的网络流量的工具也可以用于使入侵更难检测。用于生成类似人类内容的工具可以很容易地用于合法和非法目的。[tr]ChatGPT的公开发布是一个罕见的时刻,一项新技术立即主导了公众的心理。在此后的一年里,这种对话并没有消退;事实上,人工智能工具(生成性或其他)的影响,以及它们如何改变社会的好坏,已经成为广泛政策辩论的一部分,从对劳动力的影响到教育,再到国家安全。这包括对网络安全的影响,生成性人工智能是否会加剧新的攻击?防御者是否会使用它来更快地检测恶意活动?[tr]人工智能对网络安全并不陌生。防御者和攻击者多年来都在使用机器学习和人工智能工具,但专家一致认为,生成性人工智能的公共可用性将重塑网络安全格局。然而,对于这将如何发生,还没有达成共识。对于这些人工智能工具的最终用户(无论是公司、政府、个人还是其他组织)现在可以做什么,以最大限度地提高人工智能对攻击者的效用,并最大限度地减少对攻击者的好处。[tr][tr][tr][tr]场景[tr][tr][tr]
[color=rgba(0, 0, 0, 0.9)]好的方面

如果防御者能够提高安全响应时间、增强人类专业知识并提高软件和设备安全性,那么人工智能工具将为他们提供优势。人工智能工具为各种目的对大量数据进行排序:为修复漏洞排定优先级,检测数据渗出,识别异常的用户行为等。有了这些新见解,这些工具被调整为减轻已确认的威胁(例如,通过隔离端点、阻止恶意URL或沙箱恶意操作),并升级需要更多分析的威胁。人工智能还增强了最终用户体验,在用户报告异常或主动提醒他们时准确有效地帮助他们,并帮助解决工具本身识别的问题。这种早期和准确的检测减少了响应时间,最大限度地减少了对误报的浪费,并有助于标记,否则可能无法检测到的真正威胁。因此,防御者能够将其有限的资源集中用于可能需要人类理解的调查。
人工智能也是通过设计原则实现安全的关键。人工智能工具将编写新的安全代码,并通过发现和修复漏洞来帮助更新现有代码。它甚至可以用更安全的语言重写现有的应用程序。随着攻击的发展或研究人员发现新的漏洞,这些工具将不断更新和改进代码。
工智能工具本身将是安全和负责的。它们产生高质量、准确的结果,并在未能做到这一点时负责。这包括区分恶意篡改和工具中所谓的“幻觉”的能力。人类处于中心位置,知道何时与人工智能系统交互,知道输出中的任何潜在限制和风险,并可以在更高风险的场景中干预或覆盖人工智能系统。人工智能驱动的网络安全工具保持了攻击者的优势,因为他们可以访问多个高质量的数据源,而攻击者必须更多地依赖“黑市”数据。
[color=rgba(0, 0, 0, 0.9)][tr]坏的方面
[tr]如果攻击者能够提高攻击效率,实现犯罪协作,并比防御者适应和响应更快地学习,那么人工智能工具将为攻击者提供优势。人工智能工具减少了参与犯罪的进入障碍,并使开发复杂的社会工程技术、逃避检测、设计定制恶意软件等变得更加容易。[tr][tr]有了这些新的效率提升,人工智能使网络攻击变得更便宜、更有效,提高了犯罪的预期回报。使用人工智能工具,犯罪分子可以更快地找到现有系统中要利用的漏洞。此外,他们可以创建个性化的鱼叉钓鱼活动,以增加成功的可能性。一旦罪犯进入系统,他们就可以使用定制的恶意软件,这些恶意软件可以针对特定的目标进行定制。在发起了许多这样的活动后,他们可以使用机器学习来查看什么是有效的,并在未来的活动中修改他们的策略和恶意软件。[tr]人工智能还改变了犯罪的市场结构,改善了攻击者的分工,使他们能够更有效地使用资源。全球网络防御的不平等分布导致攻击者在资源较少的国家部署基于人工智能的网络攻击。勒索软件变得更加有利可图,因为犯罪组织现在可以更容易地与流氓国家合作,扰乱目标国家的经济。[tr]工智能行业缺乏问责制和质量控制,使得更难追究国家或公司对不当使用复杂工具的责任。恶意人工智能平台在法律限制较少的司法管辖区开发,然后部署在世界各地。因为罪犯可以更自由地创新,他们能够设计攻击,即使是支持人工智能的防御也会因为它们的新颖性而与之抗争。这种社会环境变成了一个恶性循环,进一步侵蚀了对数字经济、社会制度和客观真理的信任。[tr][tr][tr]建议[tr][tr][tr][tr]一般建议[tr][tr]1、避免炒作。抵制AI浪潮的诱惑;在具有操作性或其他意义的方面使用人工智能工具。[tr][tr]2、主动管理人工智能将做出的决策。人工智能工具将做出组织无法单独审查的决策,因此部署它们时要预先考虑和仔细规划。对于人工智能工具将做出哪些决策以及在什么级别做出肯定的选择是很重要的。以下因素有助于:1)评估使用考虑中的人工智能工具的潜在好处和危害,2)确定决策循环中必须保留的行动或过程:
  • [tr]需要多少人类认知?这是一个重复的战术讨程,还是一个创造性的战略决策?后者更可能需要人类的持续参与。[tr]
  • [tr]行动、过程或最终结果需要多少质量控制或审查?随着质量变得至关重要,倾向于深思熟虑的人类审查。
  • [tr]错误决策的影响或风险是什么?越严重,人类应该控制得越多。[tr]
  • [tr]决策的频率如何,快速做出决策的重要性如何?人工智能擅长做出重复的决策,并以人类永远无法实现的速度前进。[tr]
  • [tr]人工智能工具是补充人类决策还是取而代之?如果是后者,则权衡人工智能错误与人为错误的成本和收益,并为关键任务选择开发故障保护和审查机制。[tr]
  • 决定是否不可逆转?如果是这样,请谨慎行事,并确保组织能够在不可逆转的错误决策中生存下来。
[color=rgba(0, 0, 0, 0.9)][tr]
3、了解人工智能正在使用的数据类型。人类永远不可能知道人工智能使用的所有数据,但在可能的范围内,组织应该了解所使用的数据源。优先考虑对内部或专有的 王冠宝石”数据进行更强大的安全控制。[tr]
[color=rgba(0, 0, 0, 0.9)][tr]4、说“不”是可以的。在部署、构建或完成人工智能工具之前,评估它的表面好处是否会大大超过潜在危害。如果一个工具的可预见危害明显大于好处,请不要使用或构建它,或者至少确保您的组织可以有效地控制它。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]5、认识到旧规则仍然适用。人工智能工具可能看起来是新的、闪亮的和强大的,但不要忽视信息技术安全、网络安全和数据安全的既定基础。几乎所有长期使用的工具和最佳实践都适用于大多数人工智能开发和用例。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]6、智能透明。透明度是一件好事,但组织应避免将重要通知变成无意义的点击,通常称为同意疲劳”。通知应披露与用户和工具效用相关的信息,包括隐私问题或人类监督的程度。组织应该避免让消费者过度饱和,以至于他们的信息披露毫无意义或被忽视。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]7、想想社交媒体(因为人工智能正在阅读它)。组织应更新社交媒体和通信政策,以认识到大型语言模型(LLM)正在使用帖子和其他通信作为训练数据,并说明对手可能利用的信息。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]8、日志、日志和更多日志。良好的日志对网络安全至关重要,人工智能驱动的漏洞利用和攻击的潜力只会加剧这一点。组织应改进日志记录、日志审查和日志维护,以最大限度地提高检测新的、人工智能生成的攻击的能力,并遵守必要时进行合法授权的审查(包括通过使用人工智能工具)。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]9、让人类处于代码循环中。人工智能编写的代码应该比人工编写的代码更安全,但维护漏洞管理最佳实践的人工和技术审查仍然很重要。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]10、不要将人工智能从其他IT、网络和其他学科中孤立出来。定期召集所有相关团队,如网络安全、法律、数据科学、计划/产品团队和行政领导层,就人工智能网络安全风险进行合作。当人工智能工具对组织的目标或运营产生重大影响时,组织应考虑为首席人工智能官开发新的角色。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]11、要有弹性。在人工智能工具中断的情况下,组织将需要一个弹性计划,包括培训其员工执行人工智能自动化任务,以便他们能够维护关键任务操作。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]12、在合同需求和义务中反映人工智能。与供应商、合作伙伴和其他人的合同可能需要包括对专有数据的限制,包括:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]将提供哪些数据,特别是涉及人工智能供应商的数据。
  • [tr]如何使用数据。
  • [tr]如何保护数据。
  • [tr]数据是否将用于训练其他模型。
  • [tr]如果业务关系结束,该数据将发生什么情况。


13、创造开放的文化。人工智能已经在为钓鱼电子邮件和其他欺诈提供支持,这些欺诈通常以初级员工为目标。如果员工不敢接触高层领导,他们更有可能无法报告风险,或落入冒充高管的骗局。授权员工与高级领导层接触,确保沟通(特别是采取行动或分配资金的指示)合法。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr][tr]政府特定建议[tr]
[color=rgba(0, 0, 0, 0.9)][tr]
1、识别高风险人工智能工具。政府应确定可能造成极端伤害并监控其使用的人工智能工具。在人工智能工具具有对社会具有高风险的用例的情况下,政府应考虑获取该工具的知识产权,并为低风险用例颁发许可证。
[color=rgba(0, 0, 0, 0.9)][tr]2、促进获得开源网络安全工具。帮助网络贫困线以下的组织访问开源网络安全工具,帮助防止基于人工智能的攻击,审查代码,并提供培训数据。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]3、提供教育机会。支持整合人工智能、数据科学和网络安全技能的大学课程和认证。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr][tr]行业特定建议[tr]
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]1、坚持基本原则。人工智能工具和模型从根本上说是软件,开发人员和部署人员应该利用现有的网络安全性、弹性和设计原则的安全性。这包括:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]信任和授权
  • [tr]身份和访问管理
  • 资产管理
  • [tr]网络访问控制/隔离策略
  • [tr]漏洞管理
  • [tr]持续监测

[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]2、使信息共享变得简单而平常。公司应使用现有的标准化安全信息共享结构,如结构化威胁信息表达(STIX);可信的智能信息自动交换(TAXII),以及用于人工智能网络安全目的的国家漏洞数据库。在这些不太适合的方面,公司应该共同努力,并与政府一起开发促进快速轻松共享的协议。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]3、默认情况下记录。人工智能模型或工具的开发人员应将登录构建到人工智能工具中,用于网络安全、审计和其他合法授权的目的。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr][tr][tr]展望[tr][tr]
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr][tr]好的方面:AI极大地提高了网络安全性[tr]
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]现代人工智能工具可以帮助组织快速识别和应对威胁,并提高其网络安全工作人员的效率和效力,从而使世界更安全地免受网络安全威胁。公司高管和IT安全领导者可以使用人工智能来优化决策、评估风险,并做出财务上合理的运营决策。安全团队可以使用人工智能工具来分析大量数据,并检测异常活动或恶意用户。这将使防御者能够更多地关注需要人类理解的调查。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]如果防御者利用人工智能相对于攻击者的优势,这一未来将是可能的。下面是人工智能工具如何提供这些独特优势的具体描述。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr][tr]1、提高防守队员的效率[tr]
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]人工智能增强了组织以更高的速度和更少的资源更有效地运行现有网络安全流程的能力。人工智能工具通过处理大量数据和识别异常行为来实现这一点。这些人工智能工具可以更早、更准确地检测威胁,使分析师能够更快地采取行动。虽然攻击者传统上受益由于攻击执行的不对称优势,防御者依赖于不确定的检测信号。人工智能工具改变了这种平衡。具体功能包括:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]漏洞优先化-防御者从风险和缓解成本的角度分析漏洞,以优化网络安全支出的投资回报。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]网络流数据-Defender分析网络流数据,通过识别与正常网络行为的偏差来发现异常的数据传输和未经授权的远程访问,从而实现对恶意活动的早期检测和响应。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]用户行为-Defender分析用户行为,如登录时间、位置和活动,以检测与典型行为的偏差,以检测内部威胁。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]潜在恶意软件-Defender分析文件和系统进程,以发现使用传统的基于签名的工具无法检测到的潜在恶意软件。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]端点数据-安全团队分析端点数据,以发现未经授权的设备访问和处理或滥用合法工具的迹象(即,生活在陆地上”攻击)。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]隔离受感染的端点或流程-安全团队采取主动步骤来隔离端点,并在可疑入侵导致系统之间的重大危害或横向移动之前减轻它们。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]网络钓鱼企图-组织分析电子邮件或其他通信中的语言,以检测和阻止网络钓鱼企图。

[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]早期和准确的检测减少了对假阳性的浪费,并有助于标记真阳性,否则可能无法检测到以进行进一步调查。评估团队使用人工智能工具,通过更好的度量、可视化和决策树来进行更有效的决策。一些示例包括:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]指标-组织通过自动分析缓解措施、事件和响应来了解其网络安全有效性。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]可视化-防御者通过动态可视化相关数据(如网络流量、访问模式和用户行为)来确定网络安全工作的优先级,以实时查看。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]决策树-安全领导使用定制的上下文决策树,该决策树基于对特定事件的影响和置信水平的人工智能分析。

[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]如果怀疑有恶意活动,人工智能工具会部署自动安全措施,以缩短检测和缓解之间的时间:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]响应时间-人工智能工具对模式中的偏差做出响应,并在最少的人工干预下部署自动响应,从而最大限度地减少不良事件的持续时间和影响。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]迭代响应时间-人工智能工具通过事件后报告进行训练,以完善其检测、评估和响应各种场景的标准。每一次入侵都是一次学习机会,并提高了安全工具在未来的响应能力。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]检测质量-人工智能工具不断根据事件数据进行训练,以不断完善其决策和检测能力。

[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]这些能力对网络安全工作人员有几个影响:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]提高生产力——人工智能工具提高了效率,减少了网络安全任务所需的人数,从而减少了总体网络劳动力缺口。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]提高员工满意度-人工智能工具执行平凡、乏味或例行的任务,释放网络安全人员来处理更具挑战性的问题,从而提高工作满意度并减少倦怠。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]加速入职——人工智能工具使新员工能够更快地融入网络安全工作队伍。

[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]最后,人工智能可以提高现有和新代码的安全性和质量:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]代码评估-人工智能工具可以扫描现有和新代码,以查找传统静态分析可能会遗漏的易受攻击代码模式的变体。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]代码建议-人工智能工具用于分析安全编码实践,并建议改进遗留代码,从而减少手动代码分析和重写所花费的时间。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]代码监控-AI工具在开发代码时实时检查代码,并主动识别漏洞或与安全编码实践的偏差。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]代码预测-人工智能工具用于分析现有代码以及未来可能的修改如何导致漏洞。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]重写代码-AI工具可以使用更安全的现代模式、语言和库重写遗留代码。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]代码自动化-人工智能工具可以自动生成代码补丁,以减轻其已识别的威胁风险。

[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr][tr]2、防御者供应链中的更好关系[tr]
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]人工智能工具也在提高服务质量,以及在网络安全过程中如何对待用户。组织正在使用人工智能工具开发更有效的客户服务聊天机器人,以适应用户的知识和能力。人工智能工具实现这一点的一些方法包括:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]改进的响应时间-人工智能工具生成为用户的角色、环境和他们所遇到的问题定制的自动响应。这些响应使用日志和事件数据为问题建议或自动应用最适当的解决方案,从而实现更早和更全面的解决。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]高质量的用户参与-人工智能工具分析哪些解决方案和参与模型导致高用户满意度,以告知关于用户参与的最佳实践。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]适应用户需求-人工智能服务工具评估用户的知识和技能水平,并提供适合个人需求的指导,包括在最终用户无法补救情况时提升人工干预。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]节省劳动力-人工智能工具通过解决不需要人工分析的事项,更好地利用网络安全专家,并为网络安全专家提供定制的背景信息和需要人工分析事项的可能干预。

[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr][tr]3、AI责任和质量的改进[tr]
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]人工智能工具正在生成高质量、准确的结果,并在它们未能做到这一点时负责。组织可以区分恶意篡改和大型语言模型(LLM)中所谓的“幻觉”,LLM提供自由文本输出。人类始终处于中心位置,知道何时与人工智能系统交互,输出中的任何潜在限制和风险,以及在更高风险的场景中,可以干预或覆盖人工智能系统。组织理解人工智能输出,并可以区分恶意篡改的实例,可能会将这些实例移交给政府。这通过以下方式实现:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]人工智能社会契约——捍卫者与政府合作,制定了一个普遍接受和易于理解的社会契约,列出了围绕网络安全中人工智能模型的创建、使用和治理的关键道德责任。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]Defender引领创新-Defender围绕人工智能模型采用创新文化,并开发流程以从经验中学习,并鼓励在如何创建和部署模型方面进行受控实验。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]更好的控制-Defender可以访问模型、数据和以前的输出,包括发现实际上不正确的输出。这使得他们能够更快地识别输出是篡改与分析错误的结果。攻击者无法访问如此广泛的数据,也无法访问分析他们所拥有的数据所需的工具和基础架构。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]模型监控-Defender实时监控系统,并使用其他AI工具检测与其模型的异常接触。这允许及早检测对输入的篡改和检测操纵的输出,这可以被阻止以防止负面结果。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]模型透明度-Defender了解模型的功能和限制及其对其场景的影响;他们使用风险框架、系统度量和评估工具来确保其人工智能系统的安全性、安全性和可靠性。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]迭代改进-即使发生篡改,Defender也会修复模型,使这种篡改尝试变得毫无用处。这种能力迫使攻击者不断创新他们在未来篡改的方式,增加了攻击者的成本。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]生成式人工智能对策-防御者使用内容来源和人工智能内容检测来防止深度伪造的内容污染其平台。

[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]与大多数攻击者相比,防御者在更有效地使用人工智能的能力上具有优势,因为最佳模型需要大量高质量数据,这些数据仅可用于最大的组织或最复杂的民族国家。因此,政府和公司比犯罪企业更有效地使用人工智能工具。防御者在这方面也受益于:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]数据宽度-防御者有多个随时可用的高质量数据源用于训练其模型,而攻击者必须更多地依赖黑市”数据。黑市产品一般质量较差,因为它们的规模有限,收购成本高,缺乏质量监控。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]数据深度-由于更大的容量、劳动力专业化和购买力,防御组织可以更容易地使用更多的数据。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]数据迭代-Defender可以从供应商和客户那里获得关于其数据的质量、限制和使用的建设性反馈。这使得他们能够比攻击者更有效地迭代现有模型和源。

[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]坏的方面:AI严重危害网络安全
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]如果犯罪分子和流氓国家能够利用现代人工智能工具来提高其攻击、协作和学习速度,使其超过防御者的适应速度,则可以增强攻击者的能力,并使防御者处于不利地位。企业网络罪犯可以使用人工智能工具来编写恶意软件,而不管他们的编码知识如何。他们可以与流氓国家合作,利用该国对高质量数据的访问来训练人工智能模型。然后,犯罪分子和流氓国家都将改进其攻击技术和能力,以避免被发现,将其用于盗窃、间谍活动或破坏性攻击。由于攻击者将使用防御者无法访问或使用的模型和数据集,因此防御者只能对每次入侵做出反应,此时攻击者可以转向新的人工智能生成技术。这些工具的速度和功能将最大限度地减少修改攻击的成本,而防御攻击的成本则以无法控制的速度增加。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]如果人工智能使攻击者比防御者具有明显的优势,那么这种未来将是可能的。下面是对人工智能工具在未来如何发挥作用的具体描述。
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr][tr]1、提高罪犯的效率[tr]
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]人工智能使网络攻击变得更简单,成本更低。犯罪动机更高,因为人工智能工具可以提高几种类型攻击的回报和成功率,例如:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]将资产集中在目标中-使用生成式人工智能来补充核心业务功能,既可以在专门的人工智能系统中创建和集中更敏感的数据,又可以提高罪犯利用这些数据的回报。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]定制恶意软件-人工智能工具生成按需定制的恶意软件,可以根据特定目标定制。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]弱威慑——罪犯不太关心违反知识产权法和道德准则等规则,对他们使用人工智能工具的限制较少。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]用于加密劫持的AI自动化-帮派使用基于AI的自动化脚本来利用受害者机器的计算能力,并提高加密劫持的效率和回报。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]矛式钓鱼中的生成式人工智能-攻击者使用生成式人工智能创建更个性化的钓鱼电子邮件和可信的发件人角色,从而增加成功的可能性。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]OSINT的机器学习-机器学习工具通过改进对公共可用数据源的分析,帮助攻击者更好地理解其目标。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]用于未授权访问的机器学习-机器学习工具帮助攻击者搜索互联网,更容易找到易受攻击的系统,从而增加成功攻击的可能性。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]高级恶意软件的机器学习-攻击者将机器学习整合到恶意软件中,使其能够从经验中学习并动态修改其行为以避免检测。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]攻击面枚举-机器学习工具帮助恶意软件更有效地找到有价值的资产。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]漏洞发现-机器学习工具帮助攻击者找到漏洞,以便访问枚举资产管理系统。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]造假活动的生成式人工智能-攻击者使用生成式人工智能创建虚假的音频和视频内容(deepfakes"),提高宏观目标虚假信息活动和微观目标社会工程活动的欺骗可能性。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]AI腐蚀AI-启用AI的攻击检测和避免,人工智能使防御成为可能,使其变得无用和可利用。

[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr][tr]2、刑事供应链中的更好关系[tr]
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]人工智能工具还影响参与网络犯罪的实体类型以及它们之间的互动方式。最初,人工智能模型使用大量高质量的数据集,这些数据集通常仅可用于合法组织和责任国家。随着时间的推移,犯罪集团和较小的流氓国家的反应是联合和整合他们的努力,为恶意使用创造类似的工具。这种融合增强了犯罪行为者的能力:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]更好的攻击者分工——罪犯和国家具有不同的优势,他们的伙伴关系不断发展,以创造攻击者的规模经济。国家提供资源和目标清单,而犯罪组织具有特定的专门知识或意愿发动攻击,即使是流氓国家也可能不愿意这样做。对预期目标的人工智能分析用于确定潜在的合作者和最有可能成功的攻击。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]防御的全球分布不平等——财政和计算资源较少的国家无法部署有效的防御措施来抵御人工智能攻击。相反,富裕国家防御能力的提高导致攻击者将注意力集中在防御能力较弱的国家。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]改进了勒索软件部署-擅长使用勒索软件的犯罪组织与流氓国家合作,破坏目标国家经济。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]改进影响行动——更小、更灵活的犯罪集团收集个人信息,以定制民族国家宣传。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]恶意人工智能模型开发-流氓国家为犯罪组织提供数据和基础设施,用作恶意人工智能模式开发的训练场。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]综合洗钱——犯罪组织通过提供绕过经济壁垒的连接和使用人工智能生成可信的交易轨迹,以洗钱援助国家。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]不一致地遵守法律边界——虽然合法组织遵守限制人工智能的国家法律和国际协议,但犯罪组织跨国界使用人工智能没有限制。

[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]此外,人工智能工具的民主化降低了希望参与网络犯罪的潜在行为者的进入壁垒:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]级联成本-人工智能既减少了进入壁垒,又增加了规模经济,这两者都扩大了攻击的规模和规模,并能够更有效地改变战术。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]简单的黑客工具包-罪犯使用自动化黑客工具,这些工具需要最少的知识,但可以渗透复杂的企业或政府防御。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]改进的网络钓鱼提示-罪犯使用现成的生成式人工智能提示来生成个性化的、特定于文化的网络钓鱼内容,并可以大规模分发。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]诈骗内容——罪犯可以很容易地为大规模社交媒体活动制造深度伪造品,

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]基于人工智能的勒索软件-罪犯使用现成的基于人工智能勒索软件,该软件使用来自以前受害者行为的大量数据,以最大限度地提高支付概率。

[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]在目标方面,使用人工智能的组织必须依赖于少数拥有这些大型数据集的供应商。这在供应链中创建了集中的漏洞点,攻击者可以利用这些漏洞向其目标施加大规模成本。攻击者可以通过以下方式利用这些漏洞:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]毒害训练数据-罪犯使用基于人工智能的应用程序编程接口(API)来操纵训练数据和模型,以进一步破坏用户或促进漏洞的广泛分布。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]屏蔽的网络流量-罪犯可以创建难以从人类流量中分类的合成流量。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]后门妥协——罪犯将后门放入客户使用的人工智能模型中;从而也可以访问客户系统。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]常见漏洞-罪犯可以利用特定漏洞攻击多个公司,因为所有公司都依赖于相同的底层AI供应商。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]勒索软件即服务(RaaS)攻击-以RaaS为中心的犯罪企业可以使用基于人工智能的攻击更轻松地扩展赎金支付。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]跨共享资源进行间谍活动-罪犯利用多个公司使用的共享AI基础设施来过滤敏感信息。

[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr][tr]3、AI责任和质量方面的困难[tr]
[color=rgba(0, 0, 0, 0.9)][tr]
[color=rgba(0, 0, 0, 0.9)][tr]人工智能工具经常生成质量差、不准确的结果,很难与非人工智能内容区分开来。此外,模型和开发人员不应对这些错误负责。通过降低发起某些类型的网络攻击的成本,对手现在可以将其攻击外包给更小、更隐蔽的实体,从而更难追究这些国家的责任。防御人工智能攻击的成本远远超过开发它们的成本,能力差距正在扩大:
[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]全球覆盖——尽管一些国家采取了法律保障措施,但人工智能平台的开发和使用在法律允许的管辖区内是恶意的。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]与新奇事物斗争——人工智能支持的防御与不属于其训练集的攻击斗争。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]罪犯之间的无许可创新——罪犯创造攻击工具没有任何限制,因为他们不遵循约束合法开发人员的相同道德规范和规则。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]无注意义务——人工智能公司没有明确的法律义务来保护其数据和模型,因此许多公司没有对国防进行充分投资。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]高级证据篡改-罪犯可以使用生成式人工智能廉价地创建虚假内容,使证据收集过程复杂化。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]公众信心的丧失和社会机构的侵蚀——由于人工智能工具在促进恶意行为方面变得更加有效,公众对新技术失去了信心,合法创新滞后,而恶意行为者继续蓬勃发展。公众对技术失去信心,就会侵蚀对社会机构、民主制度和客观真理的信心。

[color=rgba(0, 0, 0, 0.9)][tr]
  • [tr]污染的公共资源-基于人工智能的攻击,如深度伪造,导致更糟糕的数字公共资源,赶走缺乏过滤此类材料的手段的无辜实体。结果是,较贫穷的实体必须在比有支付能力的实体更差的平台上运营。


版权说明:论坛帖子主题均由合作第三方提供并上传,若内容存在侵权,请进行举报

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

联系在线客服