VTracer
概要
VTuberやストリーマーの配信情報を自動で整理・統合するデータウェアハウス(DWH)構築基盤です。複数動画に散らばるエピソードや出来事をAIが分析・名寄せし、自動で「情報データベース(Wiki)」を構築・運用するシステムです。
※デモサイトへのアクセス: ID: portfolio / Password: 2026
本システムは実在の配信データを解析対象とする基盤ですが、本ポートフォリオ上のスクリーンショット等の画像は、コンプライアンスへの配慮から生成AIを用いてアイコンや名称を「架空のダミーデータ」に差し替えて表示しております。
※リンク先のデモサイトでは実際の稼働データをご覧いただけますが、評価目的での公開に限定するため、Basic認証および検索除外(noindex)によって一般アクセスを制限しております。
データモデリングとAIパイプライン
1. Cloudflare D1上の12テーブルによるRDB設計
単なるテキスト情報の保存ではなく、「基本情報」「使用デバイス」「歴史・年表」「大型イベントの行動ログ」「日々の配信コンテンツ」「トリビア」など、抽出された情報を12のテーブル群に正規化して保存しています。このデータモデリングにより、複雑な情報の関連付けやクエリ検索を実現しています。
2. AIによる文脈統合と「名寄せ」(Profile & Event Merge)
単一動画の要約を行うだけでなく、「複数の動画に散らばる関連情報」をAIに比較させ、矛盾を解消して1つの最新データに統合・名寄せするパイプラインを実装しています。
例えば、「昔の動画で好きだった食べ物」と「最近の動画でハマっている食べ物」の情報をLLMが分析し、時系列を考慮して「最新のプロフィール」としてデータベースを更新します。
3. Exponential Backoffによるリトライ制御
Node.jsの抽出サーバーからWrangler CLIを経由してCloudflare D1にアクセスする際、SQLite特有のデータベースロックや通信エラーを想定し、「ジッター(揺らぎ)を伴う指数的バックオフ(Exponential Backoff)」を用いたリトライ機構を実装しています。これにより、非同期書き込みが発生するバッチ処理においても、プロセスが安定して稼働するよう設計しています。