Claude Code 音声AI秘書「セバス」再現説明書

このページは、動画の雰囲気を読むための要約ではなく、AIに「この動画のシステムを再現して」と渡すための説明書です。OpenAIの音声モデル GPT Realtime を耳と口にして、手足であるClaude Codeにタスクを丸投げする「自分専用のAI秘書」を作ります。構築はほぼ全てClaude Codeへの日本語のお願いだけで進み、コードを書く必要はありません。声で「資料を作っておいて」と言うとバックグラウンドで作業が走り、完了すると声で報告が返る、映画のジャービスのような体験が完成形です。

01. 動画の目的と再現したい完成形

目標は、声で話しかけるとClaude Codeが仕事を実行し、結果を声で報告してくれる常駐型のAI秘書を作ること。

動画は「SF映画でよく見る、AIに話しかけたら物がどんどん出来上がり、仕事が進んでいくあの感じを1回やってみたい」という発想から始まります。作るのは、アイアンマンのジャービスのような自分専用のAI秘書。動画内では「セバス」という執事キャラクターとして構築されます。

完成形はこうです。マイクに向かって「セバス、今日の予定教えてくれる?」と話すと、数秒で「今日の予定は全部で13件あり……」と声で返る。「経理フォルダーの8月の売上データを商品別と取引先別に集計して、グラフ付きのExcelとして保存しておいて」と言うと、「かしこまりました。少しお時間がかかる見込みです」と応答してバックグラウンドで処理が走り、完了すると保存場所を一言で報告してくれる。

02. 仕組み：音声AIが受付、Claude Codeが実働

OpenAIのリアルタイム音声モデルが聞き取りと返事を担当し、タスクは全部Claude Codeへ渡す2層構造。

使う部品は2つだけです。

• 耳と口：OpenAIのリアルタイム音声モデル（動画では「GPTリアルタイム2.1」と呼称される最新の音声対話モデル）。マイクの音声を聞き取り、短い返事を声で返す。API利用なのでOpenAIのAPIキーが必要。
• 手足と頭脳：普段使っているClaude Code。音声AIが受け取ったタスクをそのまま渡され、ファイル作成・資料作成・集計・メール下書きなどを実行する。サブスクリプション（定額）の範囲内で動くため追加料金なし。

ポイントは、音声システム自身が資料を作っているのではなく、音声システムがClaude Codeに依頼し、Claude Codeが作っているという構造です。処理はバックグラウンドで進み、その間も音声AIとは雑談や別の確認ができます。完了すると「経理フォルダーに保存しました」のように要点だけ声で報告されます。

03. 必要な環境と費用感

必要なのはClaude Codeが動く環境とOpenAIのAPIキーだけ。お金がかかるのは音声層のみ。

• エディタ環境：動画ではVS Code＋Claude Code。デスクトップアプリ版のClaude Codeでも可。
• Claude Codeのサブスクリプション：実働部分はこの定額内で動く。
• OpenAIアカウントとAPIキー：音声モデルの利用に必要。支払い情報（Billing）の登録も必要。
• マイクとスピーカー：普通のPC内蔵のもので可。

動画で紹介された費用感（投稿者の実測の印象値）は次のとおりです。

• 朝の予定確認など軽い利用（10〜20往復程度の会話）：約40〜80円。0.5ドル未満。
• 日常的にこまめに使う場合：1日あたり約1ドル。
• ヘビーに使い倒す場合：約400〜500円。
• 実演での目安：会話1往復あたり数円、10往復ほどで20〜30円程度。

音声モデルの正確な単価は変動するため、OpenAIの料金ページで最新を確認してください。

04. 構築手順①：フォルダを作りClaude Codeに依頼する

新しいフォルダを作り、Claude Codeを立ち上げ、作りたいものを日本語で丸ごとお願いするだけ。

手順は驚くほど単純です。

• VS Codeを開き、新しいフォルダを作る（名前は何でもよい）。
• そのフォルダでClaude Codeを立ち上げる。
• 次のような依頼を投げる（動画では音声入力で指示している）。

あとはClaude Codeが実装計画を立ててくれるのを待ち、提示された計画を見ながら選んでいくだけです。途中から要望を追加してもかまいません。動画では構築の途中で「起動のオン/オフをOptionキー＋スペースキーでできるようにしておいて」という指示を追加し、Claude Codeはそれも計画に含めて進めています。

05. 構築手順②：秘書の人格とモデル・モードの設定

そのままだと味気ないので、キャラクター設定を足す。動画の設定は執事「セバス」。

動画では、会話するAIに次の特徴を付けています。この人格設定が体験の面白さを大きく左右します。

最後の「日本語のみ」は動画の実演から得られた教訓です。実演中、システムの返答が突然英語に切り替わる場面があり、投稿者は「後で日本語しか喋らないようにプロンプトで調整しておきます」と述べています。最初から入れておくのが安全です。

06. 構築手順③：OpenAI APIキーの取得と安全な渡し方

キーの発行は数分で終わる。大事なのは「チャット欄にキーを直接貼らない」こと。

APIキーの発行手順（動画の説明どおり）:

• OpenAIのAPIプラットフォームにログインする（ChatGPTのアカウントがあればすぐ使える）。
• 設定のBillingから支払い情報を登録する（未登録の場合）。
• 「API keys」→「Create new secret key」で新しいキーを発行する。名前は「AI音声」など分かりやすく。
• 発行されたキーをコピーする。このキーは誰にも見せない。流出したら大変なことになる。

そして動画がもっとも丁寧に扱っているのがここです。コピーしたAPIキーを、そのままClaude Codeのチャット欄に貼り付けてはいけません。流出の危険があります。動画の概要欄で配布されている安全設定プロンプトが以下です。キーをクリップボードにコピーした状態で、このプロンプトをチャット欄に投げます。

実行後に「キー設定成功」と返れば完了です。「失敗」と返る場合はキーのコピーがうまくいっていないことが多いので、もう一度コピーからやり直します。設定が済んだら、あとはClaude Codeがシステムを作り上げるのを待つだけです。

07. 構築手順④：起動確認とビジュアライザーの追加

「セバス、聞こえてる?」で動作確認。その後、AIが喋っている状態を見せる近未来UIを足す。

システムが完成したら起動し、「セバス、聞こえてる?」と話しかけます。「はい、聞こえています。何でもお話しください、マスター」と人格どおりの返事が声で返れば成功です。最初のテストとして、動画では「このフォルダーに買い物メモというファイルを作って、1行目に牛乳と卵と書いておいて」という小さなタスクを声で投げ、メモフォルダー内にMarkdownファイルが実際に作られることを確認しています。

次に、音声AIが喋っているかどうかを見た目で分かるようにする「ビジュアライザー」を追加します。これも日本語で頼むだけです。

• ChatGPTの画像生成で、近未来的なAIの見た目の素材画像を作っておく。
• Claude Codeのチャットに素材画像をアップロードし、「この画像を元に、デスクトップに浮かぶ近未来的なAIビジュアライザーを作ってほしい」と伝える。

出来上がったウィジェットにはミュートボタンも付き、音声AIが起動しているか・喋っているかが一目で分かるようになります。投稿者は「作っておいてなんですが、これ我ながらめちゃくちゃいい」と勧めています。

08. 実演でできたこと：資料作成・予定読み上げ・集計・メール下書き

声で投げたタスクを、Claude Codeがバックグラウンドで実行し、完了を声で報告する。

動画の実演で「セバス」がこなしたタスクは次のとおりです。再現時の動作確認メニューとしてそのまま使えます。

• 提案資料の自動作成：「実演フォルダーのA社フォルダーの資料を全部読んで、打ち合わせ用の提案資料のパワポをネイビーで5枚作って、フォルダーに保存しておいて」。資料内の「現状の課題は問い合わせ対応の負荷」といった内容を反映した5枚のスライドが生成され、打ち合わせ日が変わっていたことを検知して表紙の日付まで自動更新された。
• 今日の予定の読み上げ：カレンダーのデータを読み、「今日の予定は全部で13件。朝のメール確認と打ち合わせ、AI研修レビュー、移動と昼収録、会議、経理処理、税理士打ち合わせ、そして会食まで時間順に詰まっています」と数秒で口頭報告。
• 売上データの集計：「経理フォルダーの8月の売上データを商品別と取引先別に集計して、グラフ付きのExcelとして経理フォルダーに保存しておいて」。棒グラフ付きのExcelが生成された。
• メール返信の下書き：「Gmailフォルダーの中から最新の返信が必要なメールを探して、下書きを作成して保存しておいて」。来週以降の候補日を3つ提案する返信下書きが作られ、確認できない情報（見積書の送付時期）は「社内確認の上で改めて連絡する」という内容にして、勝手に送信はしなかった。

09. セキュリティと運用の注意

便利さの裏返しとして、PC内のファイルに触れるシステムであることを忘れない。

• APIキーは絶対に公開しない。チャット欄に直接貼らず、06節の安全設定プロンプトを使う。動画の投稿者も、画面に映ったキーは撮影後すぐ削除すると明言している。
• ファイルアクセスの範囲は自己責任。設定によってはPC内のいろいろなファイルを触れるようになるため、動画でも「そこは自己責任で」と注意している。
• セキュリティ重視で作らせることもできる。最初の構築プロンプトに「セキュリティを重視して作って」と加えるだけで、Claude Code側が「こちらがOKと言うまでファイルを触らない」「隔離した環境でしか動かない」といった構成に調整してくれる。気になる人はこの一文を足す。
• 音声の費用は使った分だけ発生する。使わないときはOption＋スペース（構築時に指定したショートカット）やミュートボタンでオフにする。

10. AIに渡す再現プロンプト一式

このブロックをClaude Codeへ渡せば、動画と同じシステムの構築を最初から依頼できる。

APIキーの受け渡しには、06節の安全設定プロンプト（動画概要欄で配布されているもの）をそのまま使ってください。

11. 再現時のチェックリスト

うまく動かない時は、キー、マイク、モデル指定、人格設定を順番に切り分ける。

• OpenAIの支払い情報（Billing）を登録したか。未登録だとAPIが使えない。
• APIキーの接続テストで「成功」が返ったか。失敗ならコピーからやり直す。
• APIキーをチャット欄に直接貼っていないか。.envはchmod 600か。.gitignoreに.envが入っているか。
• 「聞こえてる?」への返事が返るか。返らない場合はマイク入力とスピーカー出力の設定を確認する。
• AIの声をマイクが拾ってループしていないか。発話中・発話直後のマイク停止が入っているか確認する。
• 返答が英語に切り替わる場合、「日本語のみで話す」を人格設定に追加したか。
• 小さなタスク（メモファイル作成）から動作確認したか。いきなり大きな仕事を投げない。
• ファイルを触れる範囲を意図どおりに制限したか。不安ならセキュリティ重視の構成で作り直す。

この説明書の用途は、動画を見た人間が一度で思い出せるようにすること、またAIへ渡して同じシステムを再構成させることです。音声モデルの正式名称・最新仕様・料金は、必ずOpenAIの公式情報と元動画の概要欄で確認してください。