生成式 AI 概览

本文档介绍 BigQuery ML 支持的生成式人工智能 (AI) 功能。借助这些功能，您可以使用预训练的 Vertex AI 基础模型在 BigQuery ML 中执行 AI 任务。支持的任务包括：

通过在 BigQuery ML 中创建表示 Vertex AI 模型端点的远程模型，您可以访问 Vertex AI 模型以执行其中一个函数。基于您要使用的 Vertex AI 模型创建远程模型后，您可以通过对远程模型运行 BigQuery ML 函数来访问该模型的功能。

通过此方法，您可以使用这些 Vertex AI 模型的功能通过 SQL 分析 BigQuery 数据。

工作流

您可以��基于 Vertex AI 模型的远程模型和基于 Cloud AI 服务的远程模型与 BigQuery ML 函数结合使用，以便完成复杂的数据分析和生成式 AI 任务。

下图显示了您可以结合使用这些功能的一些典型工作流：

显示使用 Vertex AI 模型或 Cloud AI 服务的远程模型的常见工作流的示意图。

生成式 AI

您可以使用大语言模型 (LLM) 来执行文本总结和生成等任务。例如，您可以对一份长报告进行总结，或分析客户反馈所传达的情绪。您可以使用视觉语言模型 (VLM) 分析视觉内容（例如图片和视频），以执行视觉标注和视觉问答等任务。您还可以使用多模态模型，除了与 LLM 和 VLM 相同的任务之外，它还可以执行音频转写和文档分析等其他任务。

如需执行生成式 AI 任务，您可以通过创建远程模型并为 ENDPOINT 值指定模型名称来创建对预训练 Vertex AI model的引用。支持以下 Vertex AI 模型：

  • gemini-1.5-flash（预览版）
  • gemini-1.5-pro（预览版）
  • gemini-1.0-pro
  • gemini-1.0-pro-vision（预览版）
  • text-bison
  • text-bison-32k
  • text-unicorn

创建引用 gemini-1.0-pro-002 模型或任何版本的 text-bison 模型的远程模型时，您可以选择同时配置监督式调优（预览版）。

创建模型后，您可以使用 ML.GENERATE_TEXT 函数与该模型交互：

  • 对于基于 gemini-1.0-pro、text-bison、text-bison-32k 或 text-unicorn 模型的远程模型，您可以对您在查询中提供的提示或某个标准表的某一列中的提示使用 ML.GENERATE_TEXT 函数。
  • 对于基于 gemini-1.0-pro-vision 模型的远程模型，您可以使用 ML.GENERATE_TEXT 函数分析对象表中的图片或视频内容，并将您提供的提示用作函数参数。
  • 对于基于 gemini-1.5-flash 或 gemini-1.5-pro 模型的远程模型，您可以使用 ML.GENERATE_TEXT 函数分析对象表中的文本、图片、音频、视频或 PDF 内容，并将您提供的提示用作函数参数；也可以根据您在查询中提供的提示或某个标准表的某一列中的提示生成文本。

当您将 Gemini 模型与 ML.GENERATE_TEXT 函数搭配使用时，可以使用接地和安全属性，前提是您将标准表用于输入。通过接地功能，Gemini 模型可以使用互联网上的其他信息来生成更具体的真实回答。借助安全属性，Gemini 模型可以根据您指定的属性过滤其返回的回答。

所有推理都在 Vertex AI 中进行。结果存储在 BigQuery 中。

如需了解详情，请尝试使用 ML.GENERATE_TEXT 函数生成文本。

嵌入

您可以使用嵌入来识别语义上相似的项。例如，您可以使用文本嵌入来确定两段文本的相似程度。如果两段文本在语义上是相似的，则它们的相应嵌入在嵌入矢量空间中彼此接近。

您可以使用 BigQuery ML 模型创建以下类型的嵌入：

  • 如需创建文本嵌入，您可以通过创建远程模型并为 ENDPOINT 值指定 LLM 名称来创建对 Vertex AI text-embedding 或 text-multilingual-embedding 嵌入模型之一的引用。
  • 如需创建可以将文本、图片和视频嵌入同一语义空间的多模态嵌入，您可以通过创建远程模型并为 ENDPOINT 值指定 LLM 名称来创建对 Vertex AI multimodalembedding LLM 的引用。此功能处于预览版阶段。
  • 如需为结构化独立同分布随机变量 (IID) 数据创建嵌入，您可以使用主成分分析 (PCA) 模型或自动编码器模型。此功能处于预览版阶段。
  • 如需为用户或项数据创建嵌入，您可以使用矩阵分解模型。此功能处于预览版阶段。

创建模型后，您可以使用 ML.GENERATE_EMBEDDING 函数与其交互。对于所有类型的受支持模型，ML.GENERATE_EMBEDDING 适用于标准表中的数据。对于多模态嵌入模型，ML.GENERATE_EMBEDDING 也适用于对象表中的视觉内容。对于远程模型，所有推理都在 Vertex AI 中进行。对于其他模型类型，所有推理都在 BigQuery 中进行。结果存储在 BigQuery 中。

如需了解详情，请尝试使用 ML.GENERATE_EMBEDDING 函数创建文本嵌入和图片嵌入。

对于较小的轻量级文本嵌入，请尝试使用预训练的 TensorFlow 模型，例如 NNLM、SWIVEL 或 BERT。

如需了解如何为嵌入用例选择最佳模型，请参阅选择文本嵌入模型。

后续步骤

  • 如需详细了解如何对机器学习模型执行推理，请参阅模型推理概览。