O ajuste de modelos é um processo crucial na adaptação do Gemini para executar tarefas específicas com maior precisão. O ajuste de modelos fornece um modelo com um conjunto de dados de treinamento que contém um conjunto de exemplos de tarefas downstream específicas.
Nesta página, você encontra uma visão geral do ajuste de modelos para o Gemini, uma descrição das opções disponíveis e ajuda para determinar quando cada opção de ajuste precisa ser usada.
Benefícios do ajuste de modelos
O ajuste de modelos é uma maneira eficaz de personalizar modelos grandes para suas tarefas. Essa é uma etapa fundamental para melhorar a qualidade e a eficiência do modelo. O ajuste de modelos oferece os seguintes benefícios:
- Qualidade mais alta para suas tarefas específicas.
- Maior robustez de modelo.
- Menor latência e custo de inferência devido a comandos mais curtos.
Ajuste comparado ao design de comandos
O ajuste oferece os seguintes benefícios em relação ao design de comandos.
- Permite uma personalização profunda no modelo e resulta em melhor desempenho em tarefas específicas.
- Oferece resultados mais consistentes e confiáveis.
- Capaz de processar mais exemplos de uma só vez.
Abordagens de ajuste
O ajuste com eficiência de parâmetros e o ajuste fino completo são duas abordagens para personalizar modelos grandes. Ambos os métodos têm vantagens e implicações em termos de qualidade do modelo e eficiência de recursos.
O ajuste da eficiência dos parâmetros
O ajuste da eficiência de parâmetros, também chamado de ajuste do adaptador, permite a adaptação eficiente de modelos grandes para tarefas ou domínios específicos. O ajuste eficiente de parâmetros atualiza um subconjunto relativamente pequeno de parâmetros do modelo durante o processo de ajuste.
Para entender como a Vertex AI oferece suporte ao ajuste e à disponibilização de adaptadores, confira mais detalhes neste artigo: Adaptação de modelos de fundação grandes.
Ajuste completo
O ajuste completo atualiza todos os parâmetros do modelo, o que o torna adequado para adaptá-lo a tarefas altamente complexas, com o potencial de alcançar maior qualidade. No entanto, o ajuste fino completo exige recursos computacionais mais altos para ajuste e disponibilização, levando a custos gerais mais altos.
O ajuste da eficiência dos parâmetros em comparação com o ajuste fino completo
O ajuste com eficiência de parâmetros é mais econômico em comparação com o ajuste fino completo. Ele usa recursos computacionais significativamente menores para treinamento. Ele adapta o modelo mais rapidamente com um conjunto de dados menor. A flexibilidade do ajuste de eficiência de parâmetros oferece uma solução para o aprendizado de várias tarefas sem a necessidade de um retreinamento extensivo.
Métodos de ajuste com suporte
A Vertex AI dá suporte aos seguintes métodos para ajustar modelos de fundação:
Ajuste de detalhes supervisionado
O ajuste de detalhes supervisionado melhora o desempenho do modelo ensinando uma nova habilidade. Dados que contêm centenas de exemplos rotulados são usados para ensinar o modelo a imitar um comportamento ou tarefa desejado. Cada exemplo rotulado demonstra o que você quer que o modelo produza durante a inferência.
Ao executar um job de ajuste, o modelo aprende outros parâmetros que o ajudam a codificar as informações necessárias para executar a tarefa desejada ou aprender o comportamento desejado. Esses parâmetros são usados durante a inferência. A saída do job de ajuste é um novo modelo que combina os parâmetros recém-aprendidos com o modelo original.
O ajuste de detalhes supervisionado de um modelo de texto é uma boa opção quando a saída do modelo não é complexa e é relativamente fácil de definir. O ajuste de detalhes supervisionado é recomendado para classificação, análise de sentimento, extração de entidade, resumo de conteúdo não complexo e gravação de consultas específicas de domínio. Para modelos de código, o ajuste supervisionado é a única opção.
Modelos com suporte para ajuste de detalhes supervisionado
Os modelos Gemini e PaLM são compatíveis com o ajuste de detalhes supervisionado. Para mais informações sobre como usar o ajuste de detalhes supervisionado em cada modelo, consulte as seguintes páginas.
Ajuste do aprendizado por reforço com feedback humano (RLHF)
O aprendizado por reforço com base no feedback humano usa preferências especificadas por humanos para otimizar um modelo de linguagem. Ao usar o feedback humano para ajustar os modelos, é possível alinhá-los melhor com as preferências das pessoas e reduzir resultados nocivos em cenários em que as pessoas têm incertezas complexas sobre uma tarefa. Por exemplo, o RLHF pode ajudar com uma tarefa ambígua, como escrever um poema sobre o oceano, oferecendo a uma pessoa dois poemas sobre o oceano e permitindo que ela escolha o preferido.
O ajuste do RLHF é uma boa opção quando a saída do modelo é complexa e não é facilmente alcançada com o ajuste supervisionado. O ajuste de RLHF é recomendado para responder a perguntas, resumir conteúdo complexo e criar conteúdo, como uma reescrita. Os modelos de código não oferecem suporte ao ajuste de RLHF.
Modelos compatíveis com o ajuste de RLHF
Os modelos PaLM são compatíveis com o ajuste de RLHF. Para mais informações, consulte Ajustar modelos de texto do PaLM usando o ajuste do RLHF.
Destilação de modelo
A destilação de modelo é uma boa opção se você tem um modelo grande que quer reduzir sem prejudicar a capacidade dele de fazer o que você pretende. O processo de destilação de um modelo cria um novo modelo treinado menor, que é mais barato de usar e tem menor latência do que o original.
Modelos compatíveis com a destilação de modelos
Os modelos PaLM são compatíveis com a destilação de modelos. Para mais informações, consulte Criar modelos de texto destilados para o PaLM.
Para mais informações, consulte os preços da Vertex AI e Versões de modelo estáveis do Gemini disponíveis.
A seguir
- Visão geral do ajuste de modelos para o Gemini
- Sobre o ajuste supervisionado
- Ajustar modelos do Gemini usando ajuste supervisionado