【自作AI】ゲーム画面をリアルタイム解析してフルボイスでお話する「AI賢者」を作ってみた【第1回：誕生編】

お疲れ様です！WakabaPonchaNです！

今回は以前ブログにしたストリーマー向けの完全自律型AIコーチシステム「 T.A.C.T.I.C.S.」の最近のお話をしようと思います。

前回書いた記事と重複する項目がありますが、パラレルワールドだと思って流してください！

プロローグ

皆さんはゲームをプレイしている時、「今のシーン、猛者ならどう動いたんだろう？」「誰かリアルタイムで配信の実況やコーチングしてくれー！」と思ったことはありませんか？

そんな夢を叶えるべく開発したのが、WakabaPonchaNの自慢のシステムであるこの「AI賢者」です。実は、現在のシステムは初期のものをそのままアップデートしたわけではありません。一度完成させたAI賢者を作り直し、圧倒的な進化を遂げたVer4の姿なのです。

実際はある程度前回作ったシステムをそのまま流用しています。

一体どのようにして現在の「超実践的かつリアルタイムに寄り添う完全自律型AIコーチ」へと生まれ変わったのか。その驚異の進化の軌跡を、全5回にわたって技術的な裏側も交えながらご紹介します！更にプレイヤー以外も干渉できるちょっと面白いシステムも追加しました！

第1回目となる今回は、すべての原点であり、V4の土台ともなった「第1世代：基礎システムの確立」について語っていきます。

AI SAGE「 T.A.C.T.I.C.S.」の原点

すべての始まりは、「映画版アイアンマンのJ.A.R.V.I.S」です。天才トニースタークが作った執事兼高性能AIという未来のシステム。その次に「転生したらスライムだった件の大賢者」こちらもリムルを助ける高性能AIのようなシステムです。もしかしたら、このAI黎明期の現在ならこのコンセプトを形にできるのではないか？とそう考え、形にするために組み合わせたのが「画像解析」×「最新AI」×「音声合成」の3つの技術です。※PCと家庭用ゲームでは仕様が違いますので、ご了承ください。

のちにV4へと至るプロトタイプとなった、第一世代の主要な3つの機能がこちらです。

1. リアルタイム画面キャプチャ＆画像解析

まずはAIに「ゲーム画面を見せる」必要がありました。ここではOpenCVを使用し、起動しているゲーム画面を定期的にキャプチャする仕組みを構築しました。

キャプチャした最新の画像は、マルチモーダルAIであるGemini APIへと送信されます。「現在の戦況はどうなっているか？」「敵との位置関係やリソースの状況は？」といった情報をAIが瞬時に判断し、テキストとして出力する基礎システムがここで完成しました。

2. VOICEVOX連携によるフルボイス化

AIがどれだけ賢いアドバイスを出しても、ゲーム中に画面の端のテキストを読む余裕なんてゲーマーにはありませんよね。そこで、ただテキストを表示するだけでなく「声」で届けることにこだわりました。

無料かつ商用利用可能な音声合成ソフトVOICEVOXのローカルAPIとシステムを連携。これにより、AIの出力したテキストを即座に音声へと変換し、耳からアドバイスを受け取れるようにしました。無機質でありながらどこか知的な「AI賢者」としてのキャラクター性はこの時に誕生したのです。音声は四国めたんを使用させて頂いてます。

3. OBS配信用トランスペアレントUI

このシステムは自分で使うだけでなく、「配信のエンタメ要素」としても成立させることを目指していました。そのため、ゲーム画面の上に重ねても邪魔にならないUI（ユーザーインターフェース）が不可欠です。

そこで、近未来的なデザインを意識した専用透過UI（字幕ボックス＆ステータスアバター）を自作しました。配信ソフトのOBSに綺麗に乗るように設計し、視聴者側からも「AIが今何を考えて喋っているのか」がひと目でわかる画面作りを実現しました。

第1世代を振り返って

こうして、「目画面を見る」「脳思考する」「口言葉にして喋る」「手足配信に載せる」というAIコーチの最小限の骨組み（MVP）が完成しました。

実際に動いたときの感動は今でも忘れません。しかし、いざこれを実戦（APEXやOverwatchなどの激しいFPS）で使ってみると、「そもそも数秒前の実況をしてしまう」「APIの応答速度が追いつかない」「AIがゲームの最新の流行（メタ）を知らない」「それらしい事をそれらしく言っているだけ」といった、次なる高い壁がいくつも立ちはだかることになるのです……。

ここからシステムは、現在の「V4」へとつながる、よりゲーマーのニーズに特化した「第2世代」への進化を迎えることになります！