サクサク読めて、アプリ限定の機能も多数！
トップへ戻る
デスク環境を整える
soysoftware.sakura.ne.jp
あれから進化的マージの試行錯誤を繰り返していたが、ついに相当性能が高そうなモデルが生まれた。 Umievo-itr012-Gleipnir-7Bである。 umiyuki/Umievo-itr012-Gleipnir-7B · Hugging Face ElyzaTasks100の平均スコアは3.91に達して、ついにGPT-3.5Turboのスコア（3.88）を上回ってしまった。 ただし、スコアが上回ってるからと言って性能が勝ってるというわけではない事に注意して欲しい。例えるなら、身長が高いからと言って強いわけではないみたいな話である。 前回の記事では少し誤解を招く書き方だったかもしれないが、そもそも7Bの小型日本語LLMなんてのは基本的にドアホである。間違ってもChatGPTの代わりに使えるなんて考えてはいけない。 とは言うものの、単なるドアホではスコア3.91なんて取れないという事もまた
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
前回の記事では、GPUが１枚だけの環境でなるべく高速にローカルでElyzaTasks100の評価を回す方法を示した。 GPUが1枚でもローカルで高速にLLM評価を回したい！ だから次はこれ使って進化的アルゴリズムでモデルを進化させてみたいね！という話だったのだが、そんな時、まさに渡りに船のグッドタイミングでMergekit-Evolveが登場した！ mergekit-evolve登場！https://t.co/Gx4IJjajba の進化モデルのマージ手法論文を元にMergeKitで実装 競走馬のインブリード配合みたいに父方と母方の4代前と3代前に同じ祖先を持つ4×3の「奇跡の血量」みたいな”黄金配合率”が見つかるかもしれない https://t.co/CD3H1WAeG0 — Ryousuke_Wayama (@wayama_ryousuke) April 24, 2024 Sakana
前回の記事の続きです。 Command R+はどこまで量子化するとアホになってしまうのか？ 前回の記事で、Command R+（CR+）のようなモデルはまあ4bit程度までは量子化しても実用的に問題なさそうだという事が分かった。 では、今回はいよいよローカルのCR+でElyzaTasks100の採点をさせまくろう！と言いたいところだが、だがちょっと待ってほしい。 …実は、あの後「もしかしたらCR+よりもLlama3-70Bの方が日本語能力高かったりして…」と考えて、LLama3の8Bモデルと70BモデルにElyzaTasks100を解かせていつも通りCR+に自動評価させてみた。 その結果がこれである。 な、なんと、Llama3-70BはCommand R+を上回るスコアを獲得している！つまり、Llama3-70Bの日本語での能力はCommand R+を上回ってる可能性が高い！ Llama3
今回は、ローカルで動かせるCommand R+の量子化モデルを色々使ってそれぞれにElyzaTasksベンチマークを解かせるという事をやる。 何故そんな事をする必要があるんですか？ まず、LLMのパラメータは本来1パラあたり16bitの精度で保存されている。しかし、LLMを動かすとメチャクチャメモリやVRAM食う。だから、精度を下げちゃえば省メモリになっていんじゃね？という話で、8bitやら4bitやら2bitに精度を下げちゃう事が、特にLlama.cpp界隈では常識的に行われている。これが量子化だ。というか、コンシューマレベルのPCでLLMを実用的に動かしたいと思えば、量子化はもはや必須テクである。 量子化でbit数を下げれば下げるほど、当たり前だがLLMの回答の精度、クオリティは下がっていく。要するにアホになってく。8bitはまったく問題なし。6bit、5bitも全然問題なし。4bit
最近、一部のローカルLLM勢のあいだでChatVectorで遊ぶのが流行っている。 ChatVectorとは何か？というとこちらの論文で発表された技術だ。 [2310.04799] Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages (arxiv.org) こちらの解説記事が分かりやすい。 Chat Vectorを使って日本語LLMをチャットモデルに改造する – Qiita 要するに、ChatVectorとは指示チューニングでチャット能力を獲得したモデルのウエイトから、ベースになったモデルのウエイトを差し引いた差分の事である。 そしてChatVectorを別のモデルのウエイトに加算すれば、そのモデルにチャット能力を付与する事が
ところで世間では大メタバース時代に突入したらしいですね。 私は以前から「ゲームはマルチプレイヤー当たり前時代が来るぞ！」って散々言ってましたが、要するにそれがメタバースだったわけです。（適当 予言者と呼んでもらってもいいですが、まあ世の中の流れを見てたら当然予測できる流れだったので、予言では無く予測でした。 メタバース時代に伴って、猫も杓子もメタバース！メタバースとか連呼し始めたみたいですね。 フェイスブックが社名を「メタ」に変えてまでメタバースに入れ込む宣言をした（毎年１兆円をメタバースに投資するらしい）のをきっかけに、EpicGamesもメタバース！MiHoYoもメタバース！ディズニーもメタバース！パソナもメタバース！Dropboxもメタバース！とか言ってもはや意味不明な状態になってます。（フェイスブックより先にメタバース宣言してた企業も多いけど） そんなにメタバースがやりたいならセカ
今回は、以前のツイートの内容をちょっと掘り下げて書いてみる。 これマジでそう。音楽が基本的に繰り返しで構成されてるのは、脳にフレーズを学習させて次を予測させるためなのよね。予測が当たると脳は歓喜する。でもずっと同じ事を繰り返してると脳は飽きる。だからAメロからBメロ→サビって展開していく。展開が変わると予測が外れて脳は驚いて食い付く。音楽は新… — うみゆき@AI研究 (@umiyuki_ai) April 10, 2023 佐渡島さんが書いた「観察力の鍛え方」を読み始めた。佐渡島さんが言うにはいいクリエイターの条件とは、観察力を持ってる事らしい。で、観察力とは何か？というと、現時点での結論は「いい観察は、ある主体が、物事に対して仮説をもちながら、客観的に物事を観て、仮説とその物事の状態のズレに気づき… — うみゆき@AI研究 (@umiyuki_ai) April 17, 2023 あら
我々は知らない内に創作の終末へと向かう特急列車に乗せられているのか？ 去年の８月、画像AI、Midjourneyが登場した時、これで漫画の背景描けるやんと喜んだ。 Midjourneyで生成した絵をBlenderで3D化してUE5で遊べるようにしてみた pic.twitter.com/I1l0VVZLjz — 海行プログラム (@kaigyoPG) August 12, 2022 そして１０月にNovelAIが出てきて、これで漫画のキャラも描けちゃうやんと思った。 従来のイラスト、マンガ、アニメ、ゲームは「絵を描くのがメッチャ大変」という前提があったからこそああいう収��り方に収束してただけで、毎秒絵を生成できるようになると話が違ってくる。例えばNovelAIでテキトーに生成しただけのエロCG集が乱立した事もそんな手があるとは予想できなかったが — 海行プログラム (@kaigyoPG) O
この前、3月21日にビ��ゲイツ氏はAIについてブログを書いた。 The development of AI is as fundamental as the creation of the microprocessor, the personal computer, the Internet, and the mobile phone. It will change the way people work, learn, travel, get health care, and communicate with each other. https://t.co/uuaOQyxBTl — Bill Gates (@BillGates) March 21, 2023 それについての私のツイートはこれ↓ ビルゲイツがAIについて長文ブログを投下。ビルゲイツが人生で革命的だと思ったテクノロジーは二
いかにも海外の煽り記事みたいなタイトルを付けてしまったが、おおむねそういう感じの内容の論文が発表されて、興味深かったので今回はそれについて書いてみたい。 最近、「AGIが人類を滅亡させる！」みたいなAI人類滅亡説がにわかに広がっているらしい。 これの言い出しっぺみたいな人は、ユドコウスキー氏という方らしいが、彼は何十年も前からAI脅威論を言っていたらしい。そういう人もいるとは思うが、最近はそれを真に受けちゃう人が増えてるらしい。ChatGPTの実力に驚いた人が増えたからだろうか。 ホワイトハウスでFox Newsの記者が「AIが人類を滅亡させるってホントですか？」と質問しちゃうというような、パニック映画さながらの出来事まで起きている。これはエイプリルフールではない。 ホワイトハウスでFox Newsの記者が「機械知能研究所の専門家がAI開発を無期限に停止しないと文字通り地球上のすべての人間
この前、公園を散歩しながらスマホでウイークリー落合の番組を聞いていたら、そこで落合さんがChatGPTに謎の呪文？コマンド？のようなものを入力していた。 https://newspicks.com/movie-series/87?movieId=2528 その時はまったく意味がサーパリ分からなかったので、まったく意識に入ってこないでスルーしてしまった。 清水さんのnote記事によれば、新登場したGPT-4で物語を作って遊んでいたら、落合さんから例の呪文？が送られてきたそうだ。 それを入力したら何か物語の筋書きが生成されたらしい。 GPT-4使ってみた コマンドを転載させてもらうが、このようなものだった↓ #[このコンテンツは [Goal] を SeekするためのTemplateです］ - [コンテンツの詳細]: - [Goal]： - Goalを達成するため
「神は存在する。」 …そんな風に言うと、宗教じみて聞こえるかもしれない。 だが、「神は存在すると見立てる事ができる」と言えばどうだろうか？ ”シムシティ”や”ポピュラス”といった、いわゆるゴッドゲームでは、プレイヤーはゲーム世界における神のような立場になってプレイする。 ポピュラスでは、プレイヤーは神になって、自分を信仰する民族を導いて繁栄させていく。最終目標は、対立する悪魔を信仰する民族の殲滅だ。 これはゲームの話だが、現実においてもポピュラスの神やシムシティの市長のような、つまり我々人類全体を操作している神のような存在を見立てる事はできなくもないだろう。 ”超個体”という概念がある。ウィキペによれば「多数の個体から形成され、まるで一つの個体であるかのように振る舞う生物の集団のこと」だ。アリの群れの動きはまるで一つの大きな生き物のように見えるときがある。 羊の群れも上空から見ると一つの生
最近は、ジェネレーティブゲームについて色々と調べている。 ジェネレーティブゲームって何じゃ？というと、これは私の造語かもしれないが、ジェネレーティブAIを駆使して、ゲームのプレイ中に動的にコンテンツが生成されるゲームの事だ。 例えばゲームプレイ中にキャラクターのグラフィックをその場でAIが描いてくれるとか、キャラの台詞がその場で生成されるといった感じだ。 このような事は去年までは想像する事さえできなかったSFおとぎ話のようなもんだったが、ここ数ヶ月のジェネレーティブAIの進化で急激に現実味を帯びてきた。（私の中ではそうだけど、実は数年前からジェネレーティブAIに着目して色々やってる人達もいる） 前回の記事で、「ジェネレーティブAIはコンテンツの在り方を変えてしまうかもしれない」という話をした。 ジェネレーティブAIで美樹さやかさんを錬成できるのか？ かいつまんで言うと、AIによってコンテン
ぶっちゃけ、最近はひたすらSD関係のディスコードに張り付くだけの日々だった。 だって毎日しっちゃかめっちゃかなドラマが起きてて面白すぎるから。 面倒だからここでまたイチから経緯を書いたりしないが、とにかくEmad氏の謝罪によって揉め事もひと段落したようだ。 私もいつまでもディスコなんか監視してる場合ではない。 ハッキリ言って、今の自分が画像AIに相当のめり込んでる事を認めざるを得ない。 しかし、２週間前にブログ記事を書いた段階では、自分がどういう風に画像AIにコミットしていけばいいのかサーパリ分かってなかった。 というか、世の中で何が始まりつつあるのかを正確に捉え切れてなかったのだ。 それが何か？というと、世界でジェネレーティブAI（GAI）の時代が始まりつつあるという事だ。 アメリカを代表するベンチャーキャピタルである、セコイアキャピタルが、「GAIが今激アツ！！」みたいな記事を9/20
10月6日、NovelAIのGitHubとかのプライベートリポジトリに第三者が侵入して、AIモデルやソースコードを丸っと盗んで流出させた。 [Announcement: Proprietary Software & Source Code Leaks] Greetings, NovelAI Community. On 10/6/2022, we experienced an unauthorized breach in the company's GitHub and secondary repositories. The leak contained proprietary software and source code for the services we provide. — NovelAI (@novelaiofficial) October 7, 2022
Stable Diffusionがオープンソースで公開されてから一ヶ月ほど経ったが、世の中ではいろんな人が色んな方法でこの画像AIを弄くり回している。 私もそういう人達の内の一人と言えるかもしれない。 しかしまあ、オープンソースのおかげでやれる事が多すぎて、自分がどういう風に画像AIに接していくべきか、何をすればいいのか、見失いそうだ。 ちょっと立ち止まって、自分がこの画像AIで何をやっていくべきかを考えてもいいと思う。 画像AIへの関わり方には、色々な方法があるが、上位のレイヤーと下位のレイヤーという概念が存在すると思う。例えばGoogleやStability.aiなどのAI自体を研究・開発しているAI企業は最上位レイヤーの存在だろう。それに対してプロンプトをあれこれこねくり回してイイ絵を出そうとするプロンプターなどはかなり下位レイヤーの存在ではないだろうか。 下位レイヤーというのは、や
前置き 最近、イラストを生成してくれるAIがアツいらしい。 「そういう話、前からあんじゃん」と思われるかもしれない。 私も6年前にはChainer-goghという画風変換アルゴリズムを試した件をこのブログに書いた。 しかし、当時はちょっと試してそれっきりだった。たしかに凄いけど、なにかに実用できるというほどでは無いなと思った。 とは言え、あれから６年も経てば技術も進歩しているという事らしい。 去年(2021年)から今年にかけて、”言葉を入力するだけでその通りに絵を描いてくれる”系のすごいAIが続々と発表されている。 発端となったのは、2021年の頭にOpenAI（イーロンマスクらが設立した人工知能を研究する非営利団体）が発表した、”CLIP“と呼ばれる新しい画像分類モデルの論文だ。 OpenAIが開発した画像認識AI「CLIP」の思考の特徴とは？ 要するに、CLIPによって、画像とその画像
「まあ多分UE5のリリース発表だろうな…」というのはみんな分かりきってたと思いますが、それに加えてさらなるサプライズとして、例のMatrix AwakensのプロジェクトがCityサンプルとしてDLできるようになりました。 （ちなみに、「Cityサンプルを遊ぶためにUE5インスコするの面倒だな…」とか「容量足りないな…」という方は、Cityサンプルをビルドしてアップロードしてくれてる方がいるので、こちらからDLして遊べます。Cityサンプルプロジェクトは85GBくらいありますが、ビルドしたゲームは17GBくらいに収まってます。↓） I also uploaded the demo on my CDN https://t.co/SMRctGwi2B Will stay there as long as it needs to. https://t.co/BHD8LDG97p — Octobi
前回の記事では、メタバースの同時参加人数を左右する様々な要素について考察を行いました。 記事の最後では、「そもそも論として同時参加人数って、多けりゃ多いほどいいってもんなのか？」という疑問提起を行いました。 現実世界では、他人がウジャウジャいても邪魔なだけで嬉しくありませんが、プレイヤー同士で交易（アイテムの交換など）が行えるとしたら、他のプレイヤーの存在は邪魔なだけでなく、利益の可能性となりますし、さらに積極的にコミュニケーションを取る動機付けにもなりますから、そういう場合は同時参加人数が多いほどいいかもしれないという話をしました。 さらにNFTだかブロックチェーンなどでゲーム内経済も持ち込めばもっと良いかもしれないという話もしましたが、この点については後から考えるとそうでもないかもと思いました。 というのも、ゲームに経済を持ち込むと、それはゲームでは無くなってしまうからです。 ゲームス
ポリゴンが無限に使えるUE5の登場がインパクトありすぎて、つい、「今までの自分のゲーム制作の苦労って何だったんだろう？」みたいな事を考えてしまい、過去の人生を振り返ってしまいました。 考えてみると、自分の人生ってゲームの進歩とともに歩んできたようなもんだったという気がします。 そして、高校生くらいから現在に至るまでずーっとゲームを作るという事についてああでもない、こうでもないとやってきた憶えがあります。 不思議な事に、そんな風に何十年もゲームを作ってた？はずなのに、実際には今まで自分の理想通りに自作ゲームが完成した試しが無いという事実に目を向けざるを得ません。 一体どういう事なんでしょうか？私の人生って何なの？ 振り返ってみると、私がゲーム制作に挑戦するたびに、なんやかんやと”壁”にぶつかってしまって挫折する事の繰り返しだったような気がします。 そうして考えてみると、この前登場したUE5は
絵画の美学について 最近、岡田斗司夫さんのYoutubeチャンネルが面白くてよく観ますが、その中で、岡田さんが山田五郎さんのYoutubeチャンネルを絶賛していました。 山田五郎さんはYoutubeで絵画やその作家についての解説をやってるそうです。岡田さんはアートには全然興味ないのにどうしてそこまで絶賛するのか？ と思って私も試しに山田五郎さんのチャンネルを観てみましたが、実際面白すぎて動画を全部観てしまいました。 山田さんはアートの事を面白く解説してくれます。私が好きなのはドガやルソーの解説です。 そんな風に山田さんから色んな画家の事を教えてもらう内に思ったことがあります。 西洋の絵画と言うのは、昔は基本的に写真みたいにリアルに描くのを目指す物だったという事です。まあその中でも細かい流派の流行り廃りとかはあったみたいですが、基本的にはリアルなほど良いとされてたと思います。 何故なら、西洋
前置き 例によって今回も前置きが長くなりそうなので、まあ読み飛ばしていただいても構いません。 個人でゲームを作っている人と、ゲーム会社とでは、作れるゲームに格差が生じます。 基本的に、人員と資金の潤沢なゲーム会社には、一人ぼっちあるいはごく少数人数での個人開発で対抗するのは難しいです。当たり前の話ですね。 しかし、どれだけでっかいゲーム会社だって、その始まりは個人開発レベルでスタートしたはずです。どうやってもゲーム会社と個人で格差があるように見える現在でも、新興のゲーム会社は次々に生まれています。 開発能力に絶対的な格差があるとしたら、なぜ資金も人員も足りていない新興ゲーム会社がその市場に食い込める余地が生じるのでしょうか？ その理由は、「社会では時々技術革新によって大きなうねりが生じる」からです。 技術革新と言うのは、トランプの大富豪における”革命”のようなものです。普段は勝ち組と負け組
結論 今Unityのネットワークマルチゲーム作るならMLAPIよりMirrorの方がいいかも 以前はUnityに完全に騙されてMLAPIを推しちゃってたけど、今はもうそれほど推してない。 騙したUnityが全部悪い。これだけはハッキリと真実を伝えたかった。 前置き 以前、Unityのネットワークマルチの現状について記事を書きました。 この記事は、ありがたい事に結構多くの方に読まれているようです。 しかし、この記事はUnityが書いた「自分のゲームに適したネットコードを選ぼう」という、Unityで使える色々なネットワークライブラリの比較記事の内容を鵜呑みにして書いたものです。 その後、UnityがMLAPIを買収した事で、件のブログ記事がMLAPIアゲしたいがための提灯記事だった疑惑が極めて濃厚になりました。 つまり、インチキ記事だったかもしれないという事です。 とは言え、この時点では疑惑は
UE4のマーケットプレイスから、人気の高いアセット（３Ｄモデル系のカテゴリを除く）を抜き出して並べてみました。 【21/04/16追記】この記事を書いた後教わったのですが、マーケットプレイスのアセットを人気順や評価数順でソートできるサイトがありました。↓ https://orbital-market.com/ …つまり最初からこの記事は用済みだった？苦労が水の泡か！？ というわけでみなさんは是非こちらの便利なサイトを参考にしてください。私も参考にします。 FAQ Ｑ．なにこれは？ Ａ．UE4のマーケットプレイスのアセットの中から、90回以上評価されてる物（2021年4月14日時点で）を人気アセットと見なして、評価数が多い順に並べた記事です。ただしキャラクター、環境、小物、カテゴリのアセットは含んでません。あとEpic公式アセットも含まれません（公式アセットは評価が付けられない） Ｑ．なんで
“憂鬱”の記事への反応として、「アウトゲームはクリーンに作った方がいいし、インゲームはダーティでもしゃーない」という意見がいくつかありました。 私にとって、この”Unityゲームをインゲームとアウトゲームに分けて考えよう”という発想は、目からウロコで、大きな気付きを与えてもらいました。 ぶっちゃけた話、インゲーム、アウトゲームという用語自体、これまでほとんど聞いたことがありませんでした。 みなさんは知ってましたか？ Unityで作るのは全部ゲームだろ。そのゲームの中にさらにイン（内側）とアウト（外側）があるって何のこっちゃ？とか思いませんか？ ググったら用語の意味が分かりました。 インゲームとアウトゲームの用語を知らなかったので調べた【ゲーム開発】 インゲーム、アウトゲームと言うのは、いわゆるソシャゲ的なゲームアプリ業界で使われる用語だそうです。 私はスマホゲーム会社にいた事もありますが、
自分がやってる仕事って実は”Unityエンジニア“じゃないかもしれないという話。 クリーンアーキテクチャはゲーム開発に不向き説 以前から、界隈では「UnityでDIコンテナを使おう！クリーンアーキテクチャをやろう！」みたいな話がたびたび盛り上がっている。 私も、「そんなに素晴らしいなら使ってみたい」と思って勉強しようとするたびに、そもそものメリットがサッパリ理解できずに終わるのを繰り返してしまう。 本当にUnityでクリーンアーキテクチャをやるのは優れた方法なのだろうか？じゃあUnity公式のサンプルとかがベッタベタにUnityの普通の作り方になっててクリーンな設計が全然されてないのはなんでなん？ 最近はこういう記事も見かけた。 ゲーム開発 に所謂なアプリケーション設計パターンをおいそれと適用するのは難しい クリーンアーキテクチャというものはUIフレームワークとかWebのアーキテクチャから
次の���ージ
このページを最初にブックマークしてみませんか？
『soy-software』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
