VTracer

Cloudflare Workers Cloudflare D1 (SQLite) Astro Node.js (LLM Pipeline)

概要

VTuberやストリーマーの配信情報を自動で整理・統合するデータウェアハウス(DWH)構築基盤です。複数動画に散らばるエピソードや出来事をAIが分析・名寄せし、自動で「情報データベース(Wiki)」を構築・運用するシステムです。

※デモサイトへのアクセス: ID: portfolio / Password: 2026

デモサイトを開く (vtracer.qophi09.workers.dev)
【データ取り扱いに関する注記】
本システムは実在の配信データを解析対象とする基盤ですが、本ポートフォリオ上のスクリーンショット等の画像は、コンプライアンスへの配慮から生成AIを用いてアイコンや名称を「架空のダミーデータ」に差し替えて表示しております。
※リンク先のデモサイトでは実際の稼働データをご覧いただけますが、評価目的での公開に限定するため、Basic認証および検索除外(noindex)によって一般アクセスを制限しております。

データモデリングとAIパイプライン

1. Cloudflare D1上の12テーブルによるRDB設計

単なるテキスト情報の保存ではなく、「基本情報」「使用デバイス」「歴史・年表」「大型イベントの行動ログ」「日々の配信コンテンツ」「トリビア」など、抽出された情報を12のテーブル群に正規化して保存しています。このデータモデリングにより、複雑な情報の関連付けやクエリ検索を実現しています。

2. AIによる文脈統合と「名寄せ」(Profile & Event Merge)

単一動画の要約を行うだけでなく、「複数の動画に散らばる関連情報」をAIに比較させ、矛盾を解消して1つの最新データに統合・名寄せするパイプラインを実装しています。
例えば、「昔の動画で好きだった食べ物」と「最近の動画でハマっている食べ物」の情報をLLMが分析し、時系列を考慮して「最新のプロフィール」としてデータベースを更新します。

3. Exponential Backoffによるリトライ制御

Node.jsの抽出サーバーからWrangler CLIを経由してCloudflare D1にアクセスする際、SQLite特有のデータベースロックや通信エラーを想定し、「ジッター(揺らぎ)を伴う指数的バックオフ(Exponential Backoff)」を用いたリトライ機構を実装しています。これにより、非同期書き込みが発生するバッチ処理においても、プロセスが安定して稼働するよう設計しています。

← トップページに戻る