Which Model Is Actually Serving You? IRIS: Budgeted Black-Box Auditing of Model Substitution and Routing Dilution in LLM Gateways
商业大语言模型(LLM)网关作为用户与托管模型之间的中介,用户期望调用的是广告中宣称的模型。然而,实际后端可能被替换为更便宜的模型(完全替换),或者仅将部分请求(比例ε)路由至宣称模型而其余请求使用其他模型(路由稀释)。现有黑盒审计方法通常