ブラウザと Web — 検索・抽出・自動操作・マルチモーダル

これは何か

本章で扱う機能はどれも、CLIの専用サブコマンドではなくエージェントがモデルコールとして呼び出すツールという形で提供される。対話の中で「〜を調べて」「このページを開いて」「画像を作って」と頼むと、エージェントが状況に応じて次のツールを選ぶ。

• web_search / web_extract — Webを検索し、指定したURLの本文を抽出する
• browser_navigate / browser_snapshot / browser_click / browser_type / browser_vision ほか — ブラウザを実際に操作する
• vision_analyze — 画像を解析する（多くの場合は自動ルーティングされ、明示的に呼ばれないこともある）
• image_generate — テキストから画像を生成・編集する
• text_to_speech — テキストを音声に変換する

どのバックエンドが動くかは、hermes toolsのウィザードか~/.hermes/config.yamlの設定キー（web.backend / browser.backend / browser.cloud_provider / image_gen.provider / tts.provider）で選ぶ。第3章のNous Portal有料サブスクリプションがあれば、これらすべてをTool Gateway経由でAPIキーなしに使える。ただしweb・browserのツールセット自体が有効でなければ使えず、Blank Slateで導入した場合は既定で無効な点に注意（詳細は第3章参照）。

いつ使うのか

典型的な使いどころは次の4つに分かれる。

• 最新情報を調べたい — ニュース・ドキュメント・料金など、学習データにない/変わりやすい情報を知りたいとき。web_searchで十分なことが多い
• 特定ページの内容をまとめて読みたい — 記事全文、フォーラムのスレッド、ドキュメントの1ページを丸ごと読ませたいとき。web_extractを使う
• ページを操作したい — ログイン、フォーム送信、ボタンのクリック、JavaScriptで描画される動的なコンテンツの確認など、読むだけでは済まないとき。ブラウザ自動化が必要になる
• 画像・音声を読む/作る — スクリーンショットや添付画像の中身を理解したい（vision）、説明用の画像が欲しい（画像生成）、返答を声で届けたい（TTS）

最初の3つは「情報を得る」ための手段を、速さ・コスト・自由度で並べた段階になっている。迷ったら軽い方から試し、それで足りなければ一段重い方へ進めばよい。

vision・画像生成・TTSは向きが逆で、画像や音声を入力として理解する（vision）か、出力として作る（画像生成・TTS）かで分かれる——エージェントが「見る」のがvision、「描く」のが画像生成、「話す」のがTTSである。

仕組み①　Web検索と抽出——バックエンドの多様性と文字数バジェット

web_searchとweb_extractは単一のバックエンド選択で動く、モデルコール可能な2つのツールである。既定はFirecrawlだが、実際には8種類のプロバイダから選べる。

Brave・DDGS・xAIは検索専用なので、web_extractも使いたいならFirecrawl・Exa・Parallel・Keenableのいずれかと組み合わせる（web.search_backend / web.extract_backendで検索と抽出を別プロバイダにできる）。特筆すべきは鍵なしフォールバックリングで、何も設定していない新規インストールでも、Exa・Parallel・Firecrawl・Keenableの公開無料枠をラウンドロビンで自動利用し、サインアップなしでWeb検索・抽出が動く。レート制限に当たったリクエストは自動的にリング内の次のベンダーへフェイルオーバーする。

web_extractは、フォーラムのスレッドやニュース記事のようにページが巨大になりがちな問題に、LLMによる要約ではなく決定的な文字数バジェットで対処する。既定は15,000文字（web.extract_char_limitで変更可）で、これを超えたページは先頭75%＋末尾25%のウィンドウに[TRUNCATED]フッターを添えて返す。省略された全文は~/.hermes/cache/web/に保存されており、フッターに書かれたread_fileの呼び出しでいつでも続きを読める。「切り詰められて壊れた」のではなく、「読み切れなかった残りがどこにあるか」を毎回教えてくれる設計だと理解しておくとよい。

仕組み②　ブラウザ自動化——バックエンドとアクセシビリティツリー

ブラウザ自動化は用途に応じて複数のバックエンドから選べる。

• Browser Use cloud mode（BROWSER_USE_API_KEY）— stealth・住宅プロキシ・CAPTCHA解決・永続プロファイル付きの管理Chromium
• Browserbase cloud mode（BROWSERBASE_API_KEY + BROWSERBASE_PROJECT_ID）— アンチボット機能を持つ別のクラウドブラウザ
• Browser Use mode（既定）— Browser Use CLI 3.0を使い、エージェントがPythonコードを書いてブラウザを操作する駆動方式。browser.backend未設定でCLIが動く環境なら自動的にこのモードになる
• Firecrawl cloud mode（FIRECRAWL_API_KEY）— 組み込みスクレイピング付きのクラウドブラウザ
• Camofox local mode— Camoufox（フィンガープリント偽装機能つき Firefox フォーク）をラップする自前の Node.js サーバー。標準デプロイは Docker 経由
• Lightpanda local engine— Zig製の高速ヘッドレスブラウザ。Chrome比16倍省メモリ・9倍高速だがスクリーンショット非対応
• Local Chromium-family CDP— /browser connectで稼働中のChrome/Brave/Chromium/Edgeにアタッチする
• Local browser mode— agent-browser CLI経由のローカルChromium

ページはアクセシビリティツリー（画面の見た目ではなく、要素の役割・ラベル・状態をテキストで表した構造）として表現され、クリック可能な要素には@e1・@e2のような参照IDが振られる。エージェントはピクセル座標ではなくこの参照IDでクリックや入力を行う。主要ツールは次のとおり。

• browser_navigate — URLへ移動する（最初に必ず呼ぶ）
• browser_snapshot — 現在のページのアクセシビリティツリーを取得する。web_extractと同じ15,000文字の既定しきい値（browser.snapshot_threshold）で切り詰められ、超過分は同様にキャッシュされる
• browser_click / browser_type / browser_scroll / browser_press / browser_back — クリック・入力・スクロール・キー入力・戻る
• browser_get_images — ページ上の画像一覧を取得する
• browser_vision — スクリーンショットを撮ってAIで解析する。CAPTCHAや複雑なレイアウトなど、テキストのスナップショットでは分からない視覚情報を確認するときに使う
• browser_console / browser_cdp / browser_dialog — JSエラー取得・生CDPパススルー・ネイティブダイアログ応答という、他のツールで届かない領域の逃げ道

単に情報を読みたいだけならweb_searchやweb_extractの方が速くて安い。ブラウザツールは、クリック・フォーム送信・動的コンテンツの確認など「操作」が必要なときに使う——これが図11-1のエスカレーションの実体である。

仕組み③　実プロファイルブラウジング——便利さと引き換えのリスク

既定のローカルブラウジングは、まっさらな使い捨てプロファイルで動く——エージェントはどこにもログインしていない。browser.use_real_profile: trueにすると、これが一変する。

# ~/.hermes/config.yaml
browser:
  use_real_profile: true

有効にすると、Hermesはあなたの既定ブラウザの「実際に使っている」プロファイル（Cookie・保存済みログイン・設定）のスナップショットを~/.hermes/browser-profile/<browser>/にコピーし、実際のブラウザ本体をそのスナップショット上でヘッドレス起動して、エージェントがあなた自身としてブラウジングできるようにする。実体を持つブラウザ本体を使うのは、macOSのKeychainで暗号化されたCookieを正しく復号するためだ。独立したコピー上で動くため実行中のブラウザとロックを取り合わず、ヘッドレスなので作業の邪魔にもならない。

対応ブラウザはChrome・Edge・Brave・Brave Origin・Chromium（OSの既定ブラウザに限る）で、Firefoxのような非Chromium系は明確なエラーで失敗する。複数プロファイルを使い分けている場合はbrowser.real_profile_pinで対象を明示できる。Windowsでは対象ブラウザを完全終了しないとCookie・ログインDBが排他ロックされてコピーできない（バックグラウンドで動き続けるトレイ常駐にも注意）。トグルをOFFに戻すと、次回のブラウザ利用時に~/.hermes/browser-profile/のスナップショット自体が削除され、コピーされた認証情報が残り続けることはない。

仕組み④　マルチモーダル——vision・画像生成・TTS

Hermesは画像や音声を「見る」「描く」「話す」という3方向のマルチモーダル機能を持つ。いずれも本体の会話モデルとは別の、専用バックエンドを経由する。

vision — 画像を理解する

クリップボードの画像は/pasteコマンド（最も確実な明示的手段）でCLIに貼り付けられ、~/.hermes/images/にPNGとして保存される。貼った画像がどう処理されるかは、いま使っているモデルがvision対応かどうかで自動的に切り替わる。

• vision対応モデル（Claude・GPT-4V系・Gemini・Qwen-VLなど）— 実ピクセルとしてそのままモデルに送られる
• テキスト専用モデル（DeepSeek V3など）— 補助ツールvision_analyzeが画像を説明文に変換し、その説明がテキストとして会話に注入される

この切り替えはユーザーが設定するものではなく、Hermesがプロバイダのメタデータからモデルの対応状況を見て自動的に選ぶ。セッションの途中でモデルを切り替えても、画像の扱いは意識せずそのまま動く。

画像生成 — 画像を作る

画像生成はimage_generateツールが担い、FAL.ai経由で11モデルを標準サポートする。hermes toolsで選んだモデルはconfig.yamlに保存され、以後そのモデルが使われ続ける。

同じimage_generateツールは既存画像の編集（image-to-image）もこなす——編集対応モデルなら元画像を渡すだけで自動的に編集エンドポイントへ切り替わる。アスペクト比はlandscape / square / portraitの3種類をエージェント側から指定でき、モデルごとの実際のサイズ指定はHermesが内部で変換する。image_gen.providerは一度選ぶと固定され、.envに鍵を追加しただけでは自動的に切り替わらない——変更は必ずhermes toolsから行う。

# ~/.hermes/config.yaml
image_gen:
  provider: fal                 # nousを選べばTool Gateway経由
  model: fal-ai/flux-2/klein/9b
  max_parallel_requests: 4

TTS — 音声で話す

テキスト読み上げはtext_to_speechツールが担い、11のプロバイダから選べる。既定のEdge TTSはAPIキー不要の無料プロバイダで、322音声・74言語をカバーする。

切り替えはtts.providerを書き換えるだけで、選んだプロバイダ固有の設定はtts.<provider名>以下にまとまる。配信形式はプラットフォームごとに変わる（Telegramは再生ボタン付きのボイスバブル、CLIは~/.hermes/audio_cache/へのMP3保存など）。逆方向の音声メッセージ（声を文字に起こすSTT）は、Telegram・Discord・WhatsApp・Slack・Signal経由で自動的に文字起こしされ会話に注入される仕組みで、既定はローカルWhisperによる無料処理。プラットフォームごとの配信の詳細は第7章のゲートウェイを参照。

Nous ResearchのHermes Agentの最新リリースについて調べて。

さっき出てきたリリースノートのページを丸ごと読んで要点をまとめて。

https://github.com/NousResearch/hermes-agent を開いて、
トップページのスクリーンショットを見て何が書いてあるか教えて。

/paste

この画像に写っているグラフは何を示している？

つまずきポイント

理解度チェック

まとめ

• 情報を得るための3段階（web_search → web_extract → ブラウザ自動化)は、速さ・コストと引き換えに自由度が上がる関係にあり、軽い方から試して足りなければ一段重い方へ進む
• web_extractとbrowser_snapshotはどちらも要約ではなく決定的な文字数バジェットで長文を切り詰め、省略部分はキャッシュとread_fileで補える
• ブラウザ自動化は複数のローカル/クラウドバックエンドを持ち、アクセシビリティツリーと参照IDでページを操作する。実プロファイルブラウジングは強力だが隔離境界ではなく、同意に基づく機能として慎重に使う
• vision・画像生成・TTSはそれぞれ別のプロバイダ経由で動くマルチモーダル機能で、visionは追加費用が生じにくいのに対し画像生成・TTSの有料プロバイダは生成のたびに従量課金される
• 次の第12章では、Hermesが生成した実行の軌跡を学習データとして再利用するMLOps機能を俯瞰する

参考リンク

• features/web-search.md（公式ドキュメント原文）
• features/browser.md（バックエンド・実プロファイルブラウジング・主要ツール）
• features/vision.md（画像貼り付け・vision対応の自動ルーティング）
• features/image-generation.md（11モデル・価格・編集・アスペクト比）
• features/tts.md（TTS・STTプロバイダ一覧）
• features/tool-gateway.md（Nous Portal Tool Gateway）
• Hermes Agent 公式ドキュメント