西班牙国家图书馆最近报告了对西班牙.ES域名注册机构管理的.es域名的第九次大规模收集工作，该工作已存储了 200 多万条记录，信息量超过 200 TB。
根据双方签署的协议，每年的大规模收集工作由爬虫自动进行，爬虫从西班牙.ES域名注册机构管理提供的域名列表中扫描所有网站。西班牙.ES域名注册机构管理是一个公共实体，通过数字化和人工智能国务秘书隶属于数字化转型和公共管理部。这为互联网上的文献遗产提供了一个概览，自 2009 年以来，这些文献遗产一直通过西班牙网络档案保存在国家图书馆。2024 年，该项目迎来了其 15 周年庆典，它是保存西班牙文数字遗产的保障，保存的网站使未来的研究人员能够了解我们的社会并研究其中发生的事件。
2024 年，收集的域名数量比上一年增长了 5%，超过了 210 万个，这意味着网站数量大大增加。除了每年的增长之外，还面临着进一步提高采集质量的技术挑战。为此，对机器人的参数进行了修改，调整了抓取深度，减少了与其他域的外部链接，从而从每个域下载了更多相关信息。这使得工作执行时间得以缩短，不间断地达到 71 天。
上一条： 人工智能.AI域名重大域名交易
