#web-crawling

共收录 1 条相关情报。

← 返回所有主题
学术论文2026-09-10 发布INFO

terms.txt: A Consent and Compensation Protocol for Agentic Web Access

该论文针对「AI 爬虫与智能体正在瓦解开放互联网默认契约」这一现实问题,提出了一套面向机器访问的授权与补偿协议。作者首先指出现状:开放网络长期依赖一项未写入合同的默契——网站允许爬虫抓取,搜索引擎以回送访客作为回报。公开测量数据显示这一默契

历史摘要 · 未重新核验 · arXiv cs.CR