部署模型进行批量推理和预测

本文介绍了 Databricks 建议用于批量和流式推理的内容。

使用 ai_query 进行批量推理

Databricks 建议将 ai_query 与模型服务结合使用以进行批量推理。 ai_query 是一个内置的 Databricks SQL 函数，可用于使用 SQL 查询现有模型服务终结点。 经验证，它能够在数十亿个令牌范围内可靠且一致地处理数据集。

为了快速试验，ai_query 可以与按令牌付费端点一起使用，因为这些端点已在你的工作区上预先配置。

当准备对大型或生产数据运行批量推理时，Databricks 建议使用预配的吞吐量端点来提高性能。