Написание плагинов Genkit

Возможности Firebase Genkit предназначены для расширения с помощью плагинов. Плагины Genkit — это настраиваемые модули, которые могут предоставлять модели, средства извлечения, индексаторы, хранилища трассировок и многое другое. Вы уже видели плагины в действии, просто используя Genkit:

import { configureGenkit } from '@genkit-ai/core';
import { vertexAI } from '@genkit-ai/vertexai';

configureGenkit({
  plugins: [vertexAI({ projectId: 'my-project' })],
});

Плагин Vertex AI принимает конфигурацию (например, идентификатор проекта Google Cloud пользователя) и регистрирует множество новых моделей, средств внедрения и т. д. в реестре Genkit. Реестр обеспечивает локальный пользовательский интерфейс Genkit для запуска и проверки моделей, подсказок и многого другого, а также служит служ��ой поиска именованных действий во время выполнения.

Создание плагина

Чтобы создать плагин, вам обычно нужно создать новый пакет NPM:

mkdir genkitx-my-plugin
cd genkitx-my-plugin
npm init -y
npm i --save @genkit-ai/core
npm i --save-dev typescript
npx tsc --init

Затем определите и экспортируйте свой плагин из основной точки входа:

import { genkitPlugin } from '@genkit-ai/core';

interface MyPluginOptions {
  // add any plugin configuration here
}

export const myPlugin = genkitPlugin(
  'my-plugin',
  async (options: MyPluginOptions) => {
    // initialize your plugin here...
  }
);

Руководство по опциям плагина

В общем, ваш плагин должен принимать один аргумент options , который включает в себя любую конфигурацию всего плагина, необходимую для работы. Для любого параметра плагина, требующего секретного значения, например ключей API, вы должны предложить как параметр, так и переменную среды по умолчанию для его настройки:

import { genkitPlugin, GenkitError } from '@genkit-ai/core';

interface MyPluginOptions {
  apiKey?: string;
}

export const myPlugin = genkitPlugin(
  'my-plugin',
  async (options: MyPluginOptions) => {
    const apiKey = options.apiKey || process.env.MY_PLUGIN_API_KEY;
    if (!apiKey)
      throw new GenkitError({
        source: 'my-plugin',
        status: 'INVALID_ARGUMENT',
        message:
          'Must supply either `options.apiKey` or set `MY_PLUGIN_API_KEY` environment variable.',
      });
    // ... continue initialization
  }
);

Создание вашего плагина

Один плагин может активировать множество новых функций в Genkit. Например, плагин Vertex AI активирует несколько новых моделей, а также встроенный инструмент.

Плагины моделей

Плагины моделей Genkit добавляют одну или несколько генеративных моделей искусственного интеллекта в реестр Genkit. Модель представляет собой любую генеративную модель, которая способна принимать приглашение в качестве входных данных и генерировать текст, мультимедиа или данные в качестве выходных данных. Обычно плагин модели выполняет один или несколько вызо��о�� defineModel в своей функции инициализации.

Пользовательская модель обычно состоит из трех компонентов:

  1. Метаданные, определяющие возможности модели.
  2. Схема конфигурации с любыми конкретными параметрами, поддерживаемыми моделью.
  3. Функция, реализующая модель, принимающая GenerateRequest и возвращающая GenerateResponse .

Чтобы создать плагин модели, вам понадобится пакет @genkit-ai/ai :

npm i --save @genkit-ai/ai

На высоком уровне плагин модели может выглядеть примерно так:

import { genkitPlugin, GenkitError } from '@genkit-ai/core';
import { defineModel, GenerationCommonConfigSchema } from '@genkit-ai/ai/model';
import { simulateSystemPrompt } from '@genkit-ai/ai/model/middleware';
import { z } from 'zod';

export const myPlugin = genkitPlugin('my-plugin', async (options: {apiKey?: string}) => {
  defineModel({
    // be sure to include your plugin as a provider prefix
    name: 'my-plugin/my-model',
    // label for your model as shown in Genkit Developer UI
    label: 'My Awesome Model',
    // optional list of supported versions of your model
    versions: ['my-model-001', 'my-model-001'],
    // model support attributes
    supports: {
      multiturn: true, // true if your model supports conversations
      media: true, // true if your model supports multimodal input
      tools: true, // true if your model supports tool/function calling
      systemRole: true, // true if your model supports the system role
      output: ['text', 'media', 'json'], // types of output your model supports
    },
    // Zod schema for your model's custom configuration
    configSchema: GenerationCommonConfigSchema.extend({
      safetySettings: z.object({...}),
    }),
    // list of middleware for your model to use
    use: [simulateSystemPrompt()]
  }, async request => {
    const myModelRequest = toMyModelRequest(request);
    const myModelResponse = await myModelApi(myModelRequest);
    return toGenerateResponse(myModelResponse);
  });
});

Преобразование запросов и ответов

Основная работа плагина модели Genkit — преобразование GenerateRequest из общего формата Genkit в формат, который распознается и поддерживается API вашей модели, а затем преобразование ответа вашей модели в формат GenerateResponseData , используемый Genkit.

Иногда для обхода ограничений модели может потребоваться ��бработка данных или манипулирование ими. Например, если ваша модель изначально не поддерживает system сообщение, вам может потребоваться преобразовать системное сообщение приглашения в пару сообщений пользователя/модели.

Ссылки на модели

После регистрации модели с помощью defineModel она всегда доступна по запросу по имени. Однако, чтобы улучшить типизацию и автодополнение IDE, вы можете экспортировать ссылку на модель из вашего пакета, которая включает только метаданные модели, но не ее реализацию:

import { modelRef } from "@genkit-ai/ai/model";

export myModelRef = modelRef({
  name: "my-plugin/my-model",
  configSchema: MyConfigSchema,
  info: {
    // ... model-specific info
  },
})

При вызове метода generate() ссылки на модели и имена строковых моделей могут использоваться как взаимозаменяемые:

import { myModelRef } from 'genkitx-my-plugin';
import { generate } from '@genkit-ai/ai';

generate({ model: myModelRef });
// is equivalent to
generate({ model: 'my-plugin/my-model' });

Плагины телеметрии

См. раздел «Написание плагина телеметрии Genkit» .

Публикация плагина

Плагины Genkit можно публиковать как обычные пакеты NPM. Чтобы улучшить обнаруживаемость и обеспечить максимальную согласованность, ваш пакет должен называться genkitx-{name} чтобы указать, что это плагин Genkit, и вы должны включить в свой package.json столько keywords , которые имеют отношение к вашему плагину:

  • genkit-plugin : всегда включайте это ключевое слово в свой пакет, чтобы указать, что это плагин Genkit.
  • genkit-model : включите это ключевое слово, если ваш пакет определяет какие-либо модели.
  • genkit-retriever : включите это ключевое слово, если в вашем пакете определены какие-либо ретриверы.
  • genkit-indexer : включите это ключевое слово, если ваш пакет определяет какие-либо индексаторы.
  • genkit-embedder : включите это ключевое слово, если ваш пакет определяет какие-либо индексаторы.
  • genkit-tracestore : включите это ключевое слово, если ваш пакет определяет какие-либо хранилища трассировки.
  • genkit-statestore : включите это ключевое слово, если ваш пакет определяет какие-либо хранилища состояний.
  • genkit-telemetry : включите это ключевое слово, если ваш пакет определяет поставщика телеметрии.
  • genkit-deploy : включите это ключевое слово, если ваш пакет включает помощники для развертывания приложений Genkit у облачных провайдеров.
  • genkit-flow : включите это ключевое слово, если ваш пакет расширяет потоки Genkit.

Плагин, предоставляющий средство извлечения, средство внедрения и мо��ель, может иметь package.json , который выглядит следующим образом:

{
  "name": "genkitx-my-plugin",
  "keywords": ["genkit-plugin", "genkit-retriever", "genkit-embedder", "genkit-model"],
  // ... dependencies etc.
}