国枫观察 | EDPB《生成式AI背景下进行网络爬取的指南》解读（上）：适用范围、角色认定与透明度义务

一位求职者在招聘平台公开了完整的职业经历，一位患者在医疗论坛详细讲述了自己的病情，一位父亲在社交平台上传了家庭聚会的照片。这些信息在技术上都可以被自动化程序访问并批量下载——但发布者当初公开它们的目的，显然不是为了让某家AI公司把它们与数亿条其他数据合并、保存数年，再用于训练能够生成文本、声音、图像和视频的生成式AI模型。由此引出了生成式AI时代普遍性的合规命题之一：“已经公开”本身，能否成为处理他人个人数据的通行证？在全球范围内，“公开数据”的边界始终存在争议，而AI训练对数据规模的渴求，又让这一争议变得空前紧迫。

2026年7月7日，欧盟数据保护委员会（EDPB）通过了《关于在生成式人工智能背景下开展网络爬取的指南》（03/2026）（Version 1.0，下称“《指南》”），并于7月8日全会对外发布、启动公开征求意见，意见征集截止至2026年10月30日[1]。这是EDPB首份专门以“网络爬取”为主题的指南，覆盖了从爬取定义、角色认定、数据处理原则、合法性基础到特殊类别数据保护的完整链条，正面回应了上述问题。《指南》并非从零起步，而是在EDPB《关于AI模型中个人数据处理若干问题的意见28/2024》与《合法利益指南1/2024》基础上的场景化细化[2]。同一次全会还通过了《匿名化指南》（同样征求意见至10月30日）——由于《指南》反复将“匿名化、假名化”列为数据最小化措施与缓解措施，这两份文件对AI企业而言构成必须配套阅读的一对[3]。

《指南》的域外效力

按GDPR第3条，即使企业在欧盟境内没有设立机构，只要其向欧盟境内的数据主体提供商品或服务，或者监测其在欧盟境内的行为，即落入GDPR的适用范围。对中国AI企业而言，以下两类情形应当按《指南》开展自检：（i）模型或AI产品面向欧盟用户开放（包括通过API、应用商店、海外版应用间接触达）；（ii）训练数据的爬取来源包含大量欧盟数据主体的个人数据。此外，两类容易被忽略的角色同样在射程之内——对外提供训练数据集的供应商（可能被认定为独立控制者甚至共同控制者），以及接受委托执行爬取的服务商（可能被认定为处理者）。

注意：企业“从数据中间商处获取已爬取的数据集用于AI训练”属于《指南》的讨论范围，但数据中间商自身“只爬取、只持有、不训练”的角色被明确排除在外——《指南》管的是数据的使用者，而非纯粹的数据持有者。

同时，《指南》结合网络数据爬取的常见场景，将网络数据爬取活动进行了以下区分：

《指南》还将网络爬取拆解为四个相对独立的步骤，这为企业把合规义务挂载到工程流程上提供了现成的锚点[5]：

① 定义收集标准——确定拟爬取的来源，并设定排除规则，包括排除以robots.txt、ai.txt或CAPTCHA等技术措施明确反对爬取的网站；

② 提取——将选定来源的数据传输至指定的存储位置；

③ 清洗——对原始数据去重、剔除无关的HTML标签与代码、统一日期与数字等格式、删除不必要的数据；

④ 结构化与存储——剔除低质量内容后，将剩余数据整理为可用格式。

其中第①步直接对应数据最小化与合理期待的事前评估，第③④步则对应《指南》要求的“收集期间及之后”的最小化措施。两者都应当留下可回溯的书面记录。

透明度是《指南》着墨最多的原则之一，也是实务中最容易被误读的一节。

① “不成比例的努力”不是免死金牌

GDPR第14条第5款(b)项允许控制者在逐一告知“不可能或需要不成比例的努力”时免于个别通知。但《指南》明确警告：该例外主要指向“为公共利益归档、科学或历史研究、统计目的”而进行的处理；不从事上述目的的控制者，不应常规性地援引这一例外[9]。换言之，AI企业若要依赖该例外，必须逐案论证，而不能将其作为默认适用的通道。

② 例外的衡量方法

《指南》要求就数据集整体（而非逐条数据）进行衡量，将控制者提供信息所需付出的努力，与数据主体因未获信息而受到的影响与后果相比较，并至少考虑三项因素：数据主体的数量、数据的年份，以及已采取的适当保障措施[10]。

《指南》给出的一组示例清晰划出了界限——

示例二（可以公开告知）：AI开发者从社交页面、讨论论坛等多种来源收集数据，时间跨度回溯至20年前，可能涉及成千上万乃至数百万人，且数据中不含直接标识符。鉴于爬取方与数据主体之间不存在可供联系的直接渠道、数据年代久远且数据集规模巨大，逐一告知构成不成比例的努力；控制者在其网站上以清晰简明的语言公开必要信息，并辅以排除可直接识别个人的网页等措施即可[11]。

示例三（必须逐一告知）：为微调大语言模型，企业从一个5,000人的封闭社群收集近两年的讨论内容，数据主体通过全名、电子邮箱和唯一参与者ID可被直接识别。鉴于存在联系数据主体的途径、且数据系近年发布或收集，逐一告知不构成不成比例的努力，控制者应当逐一告知[12]。

概括而言，示例给出的判断轴是三条：能不能联系上、数据有多旧、规模有多大。

③ 公开告知必须写什么

若确可适用例外，控制者必须采取的措施之一是将信息公开（例如在官网发布隐私政策或专项通知），且内容须涵盖GDPR第14条第1、2款要求的事项，特别包括：所涉个人数据的类别、处理目的与合法性基础，以及对数据来源的精确指示——须说明来源系公开可访问还是非公开来源；若数据系从线上来源爬取，还应说明 爬虫的特征。在无法完整列举来源时，应尽可能列举，并同时说明未列入清单的来源类型及不列入的理由[13]。

《指南》进一步列出了若干良好做法：提供被爬取网页的域名与URL、以可检索的格式呈现该清单、注明收集的日期或期间[14]。对于使用他人已爬取数据集的企业，还建议提供上游控制者的联系方式，最好直接链接至其网站，并以清晰简明的语言说明原始数据的收集条件[15]。

④ 两个容易被忽略的要点

其一是一项“减负”规则。依GDPR第11条，若处理无需控制者识别数据主体，控制者没有义务仅为满足GDPR的要求而额外获取、保存或处理识别信息；此时第15条至第20条项下的数据主体权利原则上不适用，除非数据主体自行提供了足以识别其身份的补充信息[16]。

其二是DPIA。《指南》将“开展数据保护影响评估（DPIA）并予以公开”明确列为在无法逐一告知时应当采取的适当措施之一[17]，与之并列的还有对个人数据进行匿名化或假名化、最小化收集范围与存储期限，以及实施保障高水平安全的技术与组织措施。对AI企业而言，DPIA既是合规义务，也是重要的举证材料。

以上为《指南》就适用范围、角色认定与数据处理原则所作的规定。下篇将进入合法性基础的核心——“同意”为何难以成立、合法利益的三步测试如何逐项通过、特殊类别数据的“举证换空间”路径，以及面向AI企业的实操建议。

参考文献

[1] EDPB, Guidelines 03/2026 on web scraping in the context of generative AI, Version 1.0, adopted on 7 July 2026. 全文见 https://www.edpb.europa.eu/system/files/2026-07/edpb_guidelines_2020603_webscraping_v1_en_0.pdf。公开征求意见期为2026年7月8日至10月30日23:59（CET）。以下引注中的“第X段”均指该文件的段落编号。

[2] EDPB, Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models, adopted on 17 December 2024；EDPB, Guidelines 1/2024 on processing of personal data based on Article 6(1)(f) GDPR, adopted on 8 October 2024。EDPB新闻稿表述为“Building on the EDPB Opinion on AI models, the guidelines provide further clarifications and examples on the use of the legitimate interest legal basis”。

[3] EDPB, “EDPB sheds light on anonymisation and web scraping for generative AI and adopts final version of guidelines on blockchain”, 2026年7月8日全会新闻稿。见 https://www.edpb.europa.eu/news/edpb-sheds-light-on-anonymisation-and-web-scraping-for-generative-ai-and-adopts-final-version_en。

[4] 《指南》第8段。

[5] 《指南》第11段。

[6] 《指南》第17段。

[7] 《指南》第19段。

[8] 《指南》第36段。

[9] 《指南》第27段。另见 Article 29 Working Party, WP260 rev.01, Guidelines on transparency under Regulation 2016/679, 第61段。

[10] 《指南》第28段；GDPR鉴于条款第62条。

[11] 《指南》示例二（Example 2）。

[12] 《指南》示例三（Example 3）。

[13] 《指南》第30段；GDPR第14条第1、2款、第5款(b)项。

[14] 《指南》第31段。

[15] 《指南》第32段。

[16] 《指南》第29段；GDPR第11条。

[17] 《指南》第34段。