微软Copilot 被曝数据泄露 AI助手会成为未来的“特洛伊木马”吗?|AI数据合规
Copilot是微软推出的AI助手,也搭载着微软开启AIPC革命的雄心。作为一个助手,Copilot可以为高级领导到IT专业人员再到一线员工,提供可简化任务、自动化工作流程并增强协作,更大释放员工生产力和创造力,被视为可以颠覆打工方式。
高强度用户交互、访问大量公司数据,这些植入AI助手DNA的特色,也埋下了安全隐患。这不是微软Copilot第一次卷入数据泄露的漩涡,也不会是最后一次。
AI助手作为最值得关注的商业应用方向,业内认为将重塑未来生活与工作模式。然而,
???
根据BlackHat2024公布的情况,微软Copilot不安全的默认值、过度宽松的插件以及一厢情愿的设计思维,使得数据泄露“不仅可能,而且很可能”。
安全公司Zenity的联合创始人兼CTOMichaelBargury称,“人们构建的大多数CopilotStudio机器人都是不安全的,而且它们在网络上很容易被发现。这就是即将发生的数据泄露。”
Bargury利用自己创建的工具CopilotHunter扫描可公开访问的copilot,并使用模糊测试和AI滥用它们,从而提取敏感的企业数据。研究结果表明,针对数千个可访问的人工智能助手,可以揭示出恶意行为者可以利用的敏感数据和公司凭证。
此外,研究人员通过演示展示了攻击者如何通过这些漏洞实施攻击,
事实上,这并非微软Copilot首次受到质疑,今年6月初就有网络安全专家表示,Copilot+中名为“回顾”(Recall)功能的日志系统仅仅是一个SQLite数据库,黑客可以远程访问这些信息。
网络安全专家凯文?博蒙特(KevinBeaumont)还在社交平台上指出,回顾功能会每隔几秒钟自动截取屏幕内容,然后利用运行在用户设备上的Azure人工智能进行光学字符识别(OCR),并将识别出的文本内容写入用户文件夹中的SQLite数据库。
这种全面的监控和记录能力,引发了人们对隐私保护的担忧。
尽管微软首席研究科学家海梅?蒂文(JaimeTeevan)在斯坦福大学AI研究所的演讲中解释称,“回顾”功能收集的所有数据都存储在用户本地的电脑上,并不会将数据存储到云中。
但这并不能完全消除隐私泄露的风险,任何能够访问用户电脑的人,无论是物理访问还是远程登录,都有可能通过“回顾”功能获取到敏感信息。并且
今年3月29日,美国国会众议院出于安全考量,禁止其工作人员在工作设备上使用微软的Copilot生成式人工智能辅助工具。
根据众议院首席行政官CatherineSzpindor在发送给国会办公室的一份指南中表示,“网络安全办公室认为微软Copilot应用程序构成了风险,因为它有可能将众议院的敏感数据,
???
微软Copilot的种种安全问题并非是一家公司孤例,
AI助手旨在通过访问大量数据来提供决策支持和自动化服务。从创建到使用的整个流程都充斥着数据安全风险。
以Copilot为例,要创建自己的Copilot,用户必须选择一个“知识”来源来训练AI模型。可以选择各种来源作为AI的训练集,例如公共网站、上传文件、使用SharePoint、OneDrive或云数据库Dataverse。
然而上传的文件可能包含隐藏的元数据,敏感或隔离的数据可能会被上传。Copilot共享将打破隔离,使共同所有者能够下载文件,并导致多种泄漏情况。
数安信CTO崔维友指出,Copilot主要存在两方面问题:首先,训练的数据难免会包含私有化信息;其次,AI很难真正理解问话者的实际意图。他举例称,黑客会做一个“交叉盘问”AI工具,去“审问”Copilot,从而攻破防线,获取信息。
各种安全漏洞的出现主要是因为人工智能代理技术被赋予了数据访问权限,BlackHat大会中提到,
但是人工智能代理技术本身就是通过访问大量数据来完成辅助功能,其实现途径与风险入口成为了一种内在悖论。这是人工智能代理技术发展不可避免的固有安全风险。
Bargury还强调:“这里存在一个根本问题。
此外,公有云的交互也加剧了风险。使用微软的内容管理工具SharePoint或存储空间OneDrive作为输入可能会出现问题,因为它可能会导致敏感数据过度共享。尽管数据存储在公司的云环境中,但用户授权Copilot访问所提供链接下的所有子页面。
数据的持续泄露不仅影响了用户和企业的隐私安全,其破坏成本也再创新高。
根据IBM发布的2024年《数据泄露成本报告》中显示,全球数据泄露事件的平均成本在今年达到488万美元,与上一年相比,数据泄露带来的成本增加了10%。
IBM安全战略和产品设计副总裁凯文·斯卡皮内茨(KevinSkapinetz)说:随着生成式AI迅速渗透到企业中,扩大了攻击面,这些(安全)费用很快将变得不可持续,迫使企业重新评估安全措施和响应策略。
斯卡皮内茨还发出了警告,“企业陷入了一个持续的泄露、遏制和后果响应的循环中。这个循环现在通常包括投资加强安全防御和将泄露费用转嫁给消费者——使安全成为新的商业成本。”
数据泄露的确是继续发展人工智能代理(AIagent)技术需要面对的棘手问题,针对AI技术发展带来的安全风险,中国工程院院士、清华大学智能产业研究院院长张亚勤则建议,
记者|王俊 编辑|蔡姝越 公号编辑|王俊