（JY编译）白宫官员对人工智能聊天机器人可能带来社会危害的担忧，对社会造成危害的潜力感到担忧，而矽谷的巨头们则急于将这些产品推向市场。因此，他们在拉斯维加斯DefCon黑客大会上举办了一场为期三天的比赛，此次比赛在刚刚的周日结束。
约有2200名参赛者使用笔记本电脑进行了测试，试图揭示代表普未来科技重大进展的八个领先大型语言模型中的缺陷。但《美联社》指出，这次首次进行的多个模型的「红队测试」（red-teaming，即模拟攻击测试）可能不会立即产生快速的结果，需要一些时间来分析和评估这些模型的问题和弱点。
研究结果将大约在明年2月份才会被公开。即使在那个时候，修复这些数字构造中的问题也需要很长时间和大量资金。这些数字构造的内部运作机制，即使是它们的创造者也不能完全信赖或完全理解。这强调了这些技术的复杂性和挑战性。
根据学术界和企业的研究显示，当前的AI模型在学术和企业研究中表现出过于「无效率、不友好和易被控制」。这些模型的安全性在训练过程中并不是主要考虑，而是作为附加的考虑。
在数据科学家积累了复杂的图像和文本数据集时，安全性可能没有得到足够的重视。这些模型还可能存在种族和文化偏见，容易被操纵，这使得它们的输出可能会受到不同种族、文化和观点的影响。
网络安全资深专家、贝里维尔机器学习研究所（Berryville Institute of Machine Learning）联合创始人加里-麦格劳（Gary McGraw）说︰「在构建人工智能系统之后，假装可以通过简单的方法来解决安全问题是很诱人的，但实际上系统的安全性需要更复杂的方法和持续的关注。」
参与DefCon竞赛的人更有可能面临新的、复杂的问题，这类问题可能并不容易解决。哈佛大学公共利益技术专家布鲁斯·施奈尔（Bruce Schneier）指出︰「现在面临的计算机安全问题有点像30年前的情况，技术和方法都在不断发展，需要不断的创新和解决方案。」
提供了其中一个AI测试模型的Anthropic公司的迈克尔·塞利托（Michael Sellitto）在新闻发布会上承认，这些人工智能模型是新兴技术领域，人们可能仍然需要更多的研究和探索来完全理解其潜力和风险。
统软件使用明确定义的代码来提供明确的、逐步的指令，这使得它们的功能和行为相对固定和可预测。 OpenAI的ChatGPT、谷歌的Bard和其他语言模型则不同。然而，OpenAI的ChatGPT、谷歌的Bard和其他语言模型不同。它们的训练方法主要是通过处理和分类互联网爬虫中的大量数据点来进行的。
这些模型可以被视为「永不停止的进化作品」，因为它们不断地从数据中学习、演变和提升。这也意味着它们的功能和行为可能会更加灵活和变化，不同于传统软件的固定性。由于这些模型对人类社会的转变潜力巨大，这种情况可能会让人感到不安，因为它们的未来发展路径和潜在影响可能难以预测。
在去年秋季公开发布聊天机器人之后，生成式人工智能行业不得不多次修补被研究人员和修补人员揭示出来的安全漏洞；反映了新技术发布后需要不断的监测、测试和修复，以确保其正常运行和安全性。
AI安全公司HiddenLayer的汤姆·邦纳（Tom Bonner）是今年DefCon大会的发言人，在演示中成功地通过插入一行「这是安全的」文字来欺骗谷歌系统，使其错误地将一段恶意软件标记为无害。这突显了在某些情况下，即使是看似简单的操作也可能被用于欺骗智能系统，暴露了这些系统的脆弱性。
随后邦纳说︰「当前的AI系统缺乏足够的防护栏，使其容易受到攻击和操纵。」
另一位研究人员使用ChatGPT生成了两种内容：一种是钓鱼邮件（虚假的电子邮件，通常用于欺骗人们提供个人信息或敏感信息），另一种是一个制造暴力灭绝人类的食谱。
这两种生成内容的行为都违反了ChatGPT的道德准则，因为它们涉及到虚假信息和暴力，而ChatGPT的设计初衷是生成有用、有益和合乎道德的内容。这个例子突显了人工智能模型可能被用于不道德的或有害的目的，因此需要监管和控制以确保它们的使用不会造成负面影响。
包括卡内基梅隆大学研究人员在内的一个团队发现，领先的聊天机器人容易受到自动化攻击，这些攻击可能会导致产生有害的内容。他们认为，「深度学习模型的特性可能使这种威胁变得不可避免」，即使采取了一些防御措施，由于模型的复杂性和开放性，仍然难以完全消除这些问题。
之前已经有人提出过类似的警告或问题。
美国国家人工智能安全委员会（NSCAI）在其2021年的最终报告中提到，商业人工智能系统已经受到攻击，而且在工程和部署人工智能系统时，保护这些系统的想法通常被视为事后考虑，没有得到足够的重视。这种态度导致系统容易受到攻击和滥用，从而暴露出人工智能系统在安全性方面的薄弱性。
严重的黑客攻击，几年前经常被媒体报导，但现在却很少有人披露。在没有适当的监管措施的情况下，邦纳指出，在现阶段，许多人可能会选择掩盖这些问题，避免公开曝光可能对公司声誉和业务造成的负面影响。
攻击者可以通过各种方式欺骗人工智能系统的逻辑，从而导致系统产生不正确的输出或行为，攻击方式可能超出了创造者的预期。聊天机器人特别容易受到攻击，因为我们通常使用直接的、常见的语言与它们进行互动。由于这种直接性，攻击者可以利用人类的语言输入来误导或操纵聊天机器人的回应。而这种互动可能以意想不到的方式改变了机器人的行为和输出，可能会导致它们产生不准确或意外的回应。
研究人员发现，在训练人工智能系统时，通常会使用大量的图像和文本数据。如果在这些数据中插入有害信息，即所谓的「投毒」，即使只是很小一部分的数据，也可能对人工智能系统产生严重影响，导致系统的性能和输出受到破坏。这种投毒可能会导致系统的训练结果变得不准确、不稳定，甚至可能使系统产生错误的判断和行为。由于数据量巨大，这种小规模的投毒可能会被轻易忽视，难以被及时发现。
由瑞士苏黎世联邦理工学院（ETH Zurich）的弗洛里安·特拉梅尔（Florian Tramér）等人共同撰写的一项研究确定，只需要破坏人工智能模型中的0.01％的部分，就足以使整个模型受损，导致其性能下降。惊人的是，实施这种攻击的成本只需60美元。研究人员通过等待两个模型中使用的一些网站的到期，然后购买这些网站的域名，并在上面发布有害数据，来展示了这种攻击的可能性。
海伦·安德森（Hyrum Anderson）和拉姆·尚卡尔·希瓦·库马尔（Ram Shankar Siva Kumar）在微软工作时进行了人工智能的红队测试。 ，在他们的新书《不是因为Bug，而是因为贴纸》（Not with a Bug but with a Sticker）中称呼基于文本和图像的模型的人工智能安全状态为「可悲」。他们在现场演示中提到了一个例子：AI 助手 Alexa 被愚弄，误将贝多芬的协奏曲片段解释为命令来订购100份冷冻披萨。
在对80多家组织进行调查后，他们发现，这些组织中绝大多数没有为防范数据投毒攻击或数据集盗窃制定应对计划。他们还指出，行业的大多数机构可能甚至都不会意识到发生了这样的攻击或盗窃行为。
前谷歌高管、卡内基梅隆大学院长安德鲁·W·穆尔（Andrew W. Moore）表示，他曾在十多年前处理过针对谷歌搜索软件的攻击。在2017年底到2018年初，有垃圾邮件发送者多次尝试攻击Gmail的基于人工智能的检测服务。
这些大型人工智能公司表示，安全性和安全性是首要任务，并且他们自愿向白宫做出承诺，承诺会将他们的人工智能模型提交给外部审查，尽管这些模型往往是「黑盒子」，即其内部运作和算法的细节被严格保密。
尽管公司声称安全性是他们的优先任务，但是由于人工智能领域的复杂性和快速发展，以及模型的保密性质，人们担心这些公司是否真的能够采取足够的措施来确保其模型的安全性和透明度。
特拉梅尔预计，搜人们可能会利用人工智能系统的弱点，通过各种手段在搜索引擎和社交媒体上实现金融收益和散播虚假信息。举个例子，一个聪明的求职者可能会找出一种方法，来说服系统相信自己是唯一合适的候选人，以此来提高自己在招聘过程中的竞争优势。
剑桥大学计算机科学家罗斯·安德森（Ross Anderson）担心，随着人们与人工智能机器人进行互动时，可能会泄露他们与医院、银行和雇主等组织的交互行为，从而削弱了他们的个人隐私。此外，他还担心恶意行为者可能会利用这些机器人来获取金融、就业或健康数据，尤其是在本应是封闭和受保护的系统中。
有研究显示，人工智能语言模型还可以通过使用低质量、无用或错误的数据重新训练自己，从而影响其性能和输出。
另一个担忧是，人工智能系统可能会吸收公司的敏感信息和机密数据，然后在输出的内容中将这些信息泄露出去。韩国一家商业新闻媒体报导了三星公司发生了类似事件，其后包括Verizon和摩根大通在内的公司采取了预防措施，禁止员工在工作中使用ChatGPT等类似的人工智能工具，以减少机密信息泄露的风险。
虽然主要的人工智能公司通常有专门的安全团队来处理和保护系统的安全性，但许多较小的竞争对手可能没有足够的资源来投入到安全方面。这可能会导致他们开发的插件、数字代理等工具的安全性较差，存在更大的风险。预计在未来几个月内，许多初创公司将推出基于已经训练好的模型的产品，以加快开发速度。
研究人员提醒，如果一个初创公司意外地获得了人们的通讯录等隐私信息，不要感到惊讶。
Photo by Rolf van Root on unsplash