Identifying AI Web Scrapers Using Canary Tokens

本论文提出一种新方法，通过部署动态网站并嵌入唯一诱饵令牌（canary tokens）来识别与大型语言模型（LLM）训练或查询相关的网络爬虫。网站为每个访问的爬虫分配一个独特令牌，随后研究人员向LLM提问关于网站内容的问题，若LLM输出中包

历史摘要 · 未重新核验 · arXiv cs.CR