F5 推出的一款新网关旨在帮助企业更好地管理人工智能安全和交付。
F5 AI Gateway为客户提供了一种自动化方式，以确保AI应用、API和大型语言模型（LLM）之间的交互安全并对其进行管理。该公司表示，这是一种容器化的Kubernetes服务，可以单独部署，也可以与现有的F5软件、硬件或服务集成。该网关支持流行的人工智能模型，如OpenAI、Anthropic、Ollama以及通用HTTP上游LLM和小型语言模型（SLM）服务。
F5 首席技术官办公室的杰出工程师 Lori MacVittie 表示，人工智能应用在安全、监控和交付方面面临着独特的挑战。
“人工智能应用的非确定性是一大挑战。也就是说，入站输入和出站响应会随着时间的推移而变化很大。人工智能应用还可以从结构化和非结构化来源获取数据，这些数据可能跨越多个地点，"MacVittie 在一篇关于网关的博客中写道。
“非结构化、不可预测的输入和输出带来的问题是，很难确定请求或响应是否包含敏感或不正确的信息。虽然 API 安全和网络应用防火墙通常正是用于这一目的，但它们是在确定性内容的基础上运行的。也就是说，请求和响应的格式和内容是可以理解的，因此更容易检测到恶意或敏感内容。MacVittie 写道："对于人工智能，虽然它利用了与 API 和 Web 应用程序相同的结构，但内容却千变万化，因此很难制定扫描或清除请求和响应的策略。
MacVittie 表示，F5 AI Gateway 提供了许多处理 AI 环境的功能，包括利用语义缓存从 LLM 卸载重复任务的能力。
它还为本地和第三方大型语言模型（LLM）提供流量路由和速率限制，以保持服务可用性和性能并控制成本。F5 表示。该厂商表示，语义缓存通过消除 LLM 的重复任务，加快了响应速度，降低了运营成本。
AI Gateway 可以检查、识别和阻止入站攻击，如提示注入、不安全输出处理、模型拒绝服务、敏感信息泄露和模型盗窃。“对于出站响应，AI Gateway 可以识别和擦除 PII 数据并防止幻觉。软件开发工具包（SDK）可针对提示和响应额外执行操作规则和合规要求，以进一步满足操作需求，"F5 表示。
“MacVittie写道："通过OpenTelemetry报告各种指标、仔细关注审计日志要求、语义缓存、速率限制和基于内容的模型路由等附加功能确保支持所有三项人工智能交付和安全要求：观察、保护和加速。
人工智能网关可与 F5 的 NGINX 应用程序安全套件和 BIG-IP 应用程序交付平台集成，为客户提供传统的集成和访问。
上一条： 思科推出智能Wi-Fi 7接入点
下一条： 没有了
