
研究人员提供
赵承认,人们可能会滥用数据中毒技术进行恶意使用。然而,他表示,攻击者需要数千个有毒样本才能对更大、更强大的模型造成真正的损害,因为它们是在数十亿个数据样本上训练的。
“我们还不知道针对这些攻击的强大防御措施。康奈尔大学(Cornell University)研究人工智能模型安全的教授维塔利?什马蒂科夫(Vitaly Shmatikov)表示:“我们还没有在野外看到针对现代(机器学习)模型的中毒攻击,但这可能只是时间问题。”Shmatikov补充道:“现在是时候加强防御了。”
滑铁卢大学(University of Waterloo)研究数据隐私和人工智能模型稳健性的助理教授高塔姆·卡马斯(Gautam Kamath)没有参与这项研究,他说这项工作“非常棒”。
卡马斯说,研究表明,这些新模型的漏洞“不会神奇地消失,实际上只会变得更加严重”。“随着这些模型变得越来越强大,人们对它们的信任也越来越高,这一点尤其正确,因为风险只会随着时间的推移而增加。”
哥伦比亚大学(Columbia University)计算机科学教授杨俊峰(Junfeng Yang)研究了深度学习系统的安全性,但他没有参与这项工作。他表示,如果Nightshade能让人工智能公司更加尊重艺术家的权利,比如更愿意支付版税,那么它可能会产生重大影响。
开发了生成文本到图像模型的人工智能公司,如Stability AI和OpenAI,已经提出让艺术家选择不使用他们的图像来训练未来版本的模型。但艺术家们表示,这还不够。插画家兼艺术家伊娃·图伦特(Eva Toorenent)使用过Glaze,她说,选择退出政策要求艺术家跳过各种障碍,同时仍然把所有的权力留给科技公司。
Toorenent希望龙葵能改变现状。
她说:“这会让(人工智能公司)三思而后行,因为它们有可能在未经我们同意的情况下拿走我们的工作,从而毁掉自己的整个模式。”
另一位艺术家秋·贝弗利(Autumn Beverly)说,像Nightshade和Glaze这样的工具给了她再次在网上发布作品的信心。在发现这张照片在未经她同意的情况下被抓取到流行的LAION图像数据库后,她将其从网上删除。
她说:“我真的很感激,我们有一个工具,可以帮助艺术家们把权力交还给他们自己的作品。”




