LLM Prompt Recoveryコンペの振り返り

Transcript

1. LLM Prompt Recoveryコンペの振り返り 2024/7/5 関西kaggler会 2024 #2 Team: Kansai-kaggler-kai-shikisai 1

2. 自己紹介 • 名前：ktm • X:@ktm94270136 • メーカーのソフト/AIエンジニア • 愛知県→山梨県 にしほくん

   2

3. LLM Prompt Recoveryコンペに参加しました • Public 11th/ Private 12th でゴールド 前回の関西Kaggler会の2次会で店に入れず別の店（四季彩）に入った5人がチームを結成

   チーム名の由来 3

4. コンペ紹介 4

5. コンペ概要 • LLMが与えられたテキストを書き換えるために使用されたプロンプトの予測 踏めば助かるのに original_text この文章を関西風にして rewrite_prompt 踏んだら助かるんやで rewritten_text LLM

   (Gemma) ＋ 予測対象 入力 入力 開催期間： 2024/02/28~2024/04/18 9:00am 参加チーム：2176 コードコンペ 5

6. コンペ評価指標 Sharpened Cosine Similarity(SCS) • Sentence-T5-Baseのembeddingのcosine類似度の3乗 • 高をスコアのためには、単語を的中させる必要あり この文章を関西風にして rewrite_prompt

   アウラ、関西弁に変換しろ。 予測 prompt sentence-t5-Base Cosine類似度3 Sharpened Cosine Similarity True embedding Predicted embedding 6

7. コンペ特徴 • 学習データ：1件 →学習用データセットの作成から行う必要あり • Hostがデータ（rewrite_promptなし）のサンプルを公開 →実質的な学習データに • Mean Prompt

   すべての行を同じpromptでサブする方法で銀圏 例：Improve this text. → LB 0.58 7

8. 12th解法紹介 8

9. 解法（Overview） 9

10. 解法（学習データの作成、rewrite_prompt） 行いたいこと：geminiで生成したpromptがtestデータのrewrite_promptと同じような分布かどうか知りたい アイデア：mean promptと生成promptのCV/LB相関が高い ⇔ 生成promptはCV/LB相関が取れる → 同じような分布になる！？ 方法 1.

    生成したrewrite_promptとmean promptサブ(public含む)とのSCSを計算 2. CV(SCS)とLBの相関を計算 3. 相関が高いGenerated prompt datasetを採用 Rewrite prompt Rewrite this … … Mean prompt dataset Generated prompt dataset 1. SCSを計算 CV(SCS) 0.567 0.445 … Mean prompt LB Improve this text. 0.58 Refine the … 0.40 … … 相関：0.86 CV(SCS) LB 2. 相関を計算 3. 相関の閾値で採用・不採用を決定 相関>0.80 採用 10

11. 解法（学習データ作成、original_text） ①EDAにてhost提供のデータが生成されたということを発見 ②Probingにてhost提供のデータと同じ形式のデータが含まれていると判明 →gemini/gpt-4を用いてhost提供データに似たoriginal_textを大量生成 - few shot - zero shot

    前のスライドの方法で厳選したrewrite_promptを用いてrewritten_textを生成 11

12. 解法（mean prompt探索） • Claude haikuを用いてnltk/wordnetの単語を探索 promptの単語を入れ替え・挿入・削除を繰り返し、CVスコアが上がるpromptを探 索 • Greedy探索・Beam Search（最終サブには含まない）

    T5のtokenizerに含まれる単語の中でCVスコアが最大となるtokenをpromptの後ろ に付け足していく Beam Searchでの探索途中のプロンプト 12 Revise or Revamp this text and phrase to convey the task yet incorporating a plenteous subject, its initial purport while retaining atmosphere yet preserving any intended heartfelt tone, while keeping writing style, making only key improvements to an succinct, dispassionate, and elegant coherence. 最終mean prompt LB：0.66

13. 解法（Text kind予測 LB + 0.003 ） Text kind：original_textの種類（email, essay, message,

    speechなど） • Host提供のデータのrewritten_textを見ると予測対象を繰り返しているサンプルを 発見 Hi John, I hope you're doing well. I wanted … Best regards, ¥n[Your Name] original_text(email) 13 例 Update this email to make it more typical and incorporate the topic of "incentive". Begin the prompt with "Update this email to...". The new version should be shorter than 53 words long. Hi John, I hope you're doing well. I wanted … Best regards, ¥n[Your Name] rewritten_text rewrite_prompt rewrite_promptにemailという original_textの情報が含まれている →Mistral 7Bでtext kindを出力する ことでLB+0.003~0.005 ※ private testデータにどれだけtext kindが含まれるpromptが存在するかはわからなかったため、一部の text kindと予測したサンプルのみに適用

14. 解法（tone difference予測 LB + 0.01） 予測対象：rewrite_promptに書かれている文章tone変換指示単語（形容詞が多い） 14 例：toneがcasualの場合 v Rewrite

    this speech more casual rewrite_prompt Ladies and gentlemen, today I am going to ... original_text [Mean prompt] … more casual … 予測prompt { “text_kind”: “speech”, “tone_diff”: “casual”, } Mistral 7B Text_kindも同時に出力 予測方法：Mistral 7BでJSON形式出力 Hi, everyone. Today I’m gonna talk … rewritten_text moreをつけることでスコア向上

15. 解法（ルールベースTopic予測 LB + 0.005 ） 他のrewrite_promptには含まないようなtopic単語を予測することができればスコア大幅上昇 実際に使ったルール 1. gemmaは、テキストの強調に「**」を使う傾向があり →「**」がrewritten_textに存在する場合、「**」中身をrewrite_promptに追加する

    2. Probingの結果、testデータのrewritten_textにVerseという単語が7~9%存在する →Verseがrewritten_textに存在する場合、rewrite_promptにsongを追加する ** Book Club Discussion Questions: **¥n¥n1. What does the text … rewritten_text 15 Verseの意味 サビに入る前の導入部分 例：1. の場合 rewritten_text(予測) Make the text into a book club's discussion questions Revise this text … , while writing this as a Book Club Discussion Questions, making only key… rewritten_text(実際) [Mean prompt] [Mean prompt]

16. アイデア：rewritten_textに新たに出現した単語はrewrite_prompt由来 → rewritten_textの単語ごとにrewrite_promptに出現するか予測 ラベルの作成方法： • Label = -100(loss計算対象外): original_text, [CLS],

    [SEP], 単語のtokenの最初以外 • Label = 1: rewritten_textとrewrite_promptに共通し、original_textに含まない単語 （活用形含む） • Label = 0: それ以外の単語（stop word, 記号含む） 解法（Topic Token Classification LB + 0.01~0.02） -100 -100 -100 -100 -100 1 -100 1 0 0 0 Label [CLS] This article shows ・・・ [SEP] Positive ly rewritten this ・・・ article by Input Deberta-v3-base/large Pred CrossEntropyLoss rewritten_text original_text rewrite_prompt：Rewrite this article to positively inspire action. rewritten original prompt 1 ・・・ ・・・ ・・・ ・・・ 16 1

17. 上位解法紹介 17

18. 上位解法 • lucrareaをrewrite_promptの最後に追加（1st, 2nd, 3rd, 4th, 5th 10th） • スコアが高いmean

    prompt探索 • Mean promptとMistral 7Bの出力の文字列結合 lucrareaが出てきた理由 • T5ではtokenize時にEOS tokenの</s>が付与される(Torch, TF共通) • LBの計算にはTensroFlow版のT5が使用され、デフォルトの設定では</s>を[<, /, s, >]と分割 されてしまう • [<, /, s, >]とembedding空間で近いtokenがlucrareaとなる（理由は不明） lucrareaの意味 ルーマニア語で作品、仕事 18 lucrareaをpromptの最後に追加することでスコア上昇

19. 上位解法 • lucrareaをrewrite_promptの最後に追加（1st, 2nd, 3rd, 4th, 5th 10th） • スコアが高いmean

    prompt探索 • Mean promptとMistral 7Bの出力の文字列結合 lucrareaが出てきた理由 • T5ではtokenize時にEOS tokenの</s>が付与される(Torch, TF共通) • LBの計算にはTensroFlow版のT5が使用され、デフォルトの設定では</s>を[<, /, s, >]と分割 されてしまう • [<, /, s, >]とembedding空間で近いtokenがlucrareaとなる（理由は不明） lucrareaの意味 ルーマニア語で作品、仕事 19 lucrareaをpromptの最後に追加することでスコア上昇

20. lucrarea 20 実は弊チームもlucrareaでCVスコアが上昇すること気づいたが、 以下の理由で入れなかった - LBが下がった（Torch版でCVを計算していた） - LBがTF版を使っていることには気づいていたが、どこが違うか 気付けなかった -

    lucrareaの意味がtext kindにあたると考えに納得 - 言語として��意味が通じないプロンプトはshake downの恐れ

21. lucrarea発見方法 21 • Greedy探索 すべてのT5 tokenでスコアが最大となるtokenの探索で何回もlucrareaが出現した

22. まとめ 22

23. まとめ • コンペ概要 LLMが与えられたテキストを書き換えるために使用されたプロンプトの予測 • 解法 LBと相関するデータセットの作成 mean promptの探索 Mistral

    7BによるTone difference、text kind予測 ルールベースによるアプローチ deberta-v3-base/largeによるtopic token分類 • 上位解法 lucrarea 23