Engineering

LLM 選定 checklist 20 項目 — Ollama / Claude / GPT-4o / Gemini の実運用比較

XIORA INSIGHT xiora-official.com LLM 選定 checklist 20 項目 — Ollama / Claude / G PT-4o / Gemini の実運用比較 Xiora — AI-native software, engineered for business.

LLM を SaaS 実装で本番採用する時、性能ベンチマークだけでは選べません。Xiora が 6 ヶ月の実運用で蓄積した 20 項目の checklist を、Ollama (Llama / Qwen 系) / Claude / GPT-4o / Gemini の 4 モデル群でスコアリングしました。「用途別にどう組み合わせるか」の判断材料として使ってください。

KR
沓澤 怜士 (Kutsuzawa Reo)
Xiora 代表 · info@xiora-official.com

この記事は何か

「どの LLM を SaaS に組み込むべきか」という質問を月 5-10 件受けています。多くの場合、Claude / GPT-4o / Gemini の 3 択で悩まれていて、Ollama (ローカル LLM) は「性能が足りない」と外されがちです。

Xiora では、この選定を性能ベンチマークではなく 20 項目の checklistで機械的に判定する運用にしています。用途 (chat / RAG / エージェント / 分類 / 要約 / 生成) ごとに 20 項目のスコアを付け、合計点で自動選定します。この記事では、その 20 項目と、Ollama / Claude / GPT-4o / Gemini の 4 モデル群の傾向を、Xiora の実運用データから共有します。

注意: LLM のバージョンや価格は 3-6 ヶ月で大きく変わります。本記事のスコアは 2026 年 7 月時点の Xiora 実運用ベースです。実装前に各モデルの最新価格・仕様をご確認ください。また特定モデルの優劣を主張する意図はなく、「用途とのマッチング指標」を提供する意図です。

20 項目の checklist

Xiora の LLM 選定 checklist は、以下の 20 項目を各 5 段階 (0-4) でスコアリングします。合計 80 点満点。用途ごとに重み付けを変えて最終選定します。

コスト (4 項目)

  1. Input token 単価 — 100 万 token あたりの入力コスト
  2. Output token 単価 — 100 万 token あたりの出力コスト
  3. 月次コスト予測可能性 — 使用量の月次上限を予測できるか
  4. Cost guard の実装しやすさ — 日次上限を script で監視できるか

性能 (5 項目)

  1. 日本語 (business) 品質 — 敬語・専門用語・レポート体の品質
  2. 日本語 (casual) 品質 — Chat / SNS / 口語の品質
  3. コード生成品質 — TypeScript / Python の実装精度
  4. 長文 (10k+ token) 一貫性 — 長文の主張の一貫性
  5. 指示追従性 — システムプロンプトの厳密な遵守

性能 (補助) (3 項目)

  1. Context window の実効長 — 公称値でなく実運用で使い切れる長さ
  2. Structured output 対応 — JSON mode / Function calling の安定性
  3. Tool use / MCP 対応 — 外部 tool を呼ぶ精度と失敗リカバリ

運用 (4 項目)

  1. Latency (first token) — 最初の token までの遅延
  2. Latency (total) — 完了までの遅延
  3. Rate limit の緩さ — 個人 / 小規模でのレート制限のヒットしにくさ
  4. Availability (障害履歴) — 過去 6 ヶ月の可用性

Privacy / 権利 (4 項目)

  1. Privacy (学習利用の除外可否) — 送ったデータが学習に使われないか
  2. Local 実行可否 — 完全ローカル (Ollama) で動くか
  3. コスト予測なし提供可否 — Free tier で開発期間中無料か
  4. 商用利用ライセンス — SaaS 組み込みの明示的許諾があるか

4 モデル群の傾向 (Xiora 実運用データ 2026 年 7 月時点)

各モデル群を、上記 20 項目の傾向で整理します。数値は Xiora の実運用ワークロード (SaaS handler / SEO 記事 draft / エージェント意思決定 / RAG 応答) をもとにした相対評価で、他社ワークロードでは順位が変わる可能性があります。

Ollama (Llama 系 / Qwen 系 / Gemma 系)

強み: Local 実行可否 4/4、Privacy 4/4、コスト 4/4 (推論時の追加課金ゼロ)。Xiora の handler runtime (L1_LOCAL タスク) では、日次 60-70% のリクエストを Ollama で処理しています。「情報を外に出さない」要件と「大量の分類 / 要約」用途に向いています。

弱み: 指示追従性が Claude / GPT-4o と比べて弱く、複雑なシステムプロンプトの厳密遵守は不安定。Tool use / MCP 対応も、外部 API 呼び出しの成功率が Claude / GPT-4o より 10-20% 低い傾向。長文一貫性は 7B クラスだと 3k token あたりから崩れる傾向がありました。

Xiora の使い方: 分類、要約、下書き生成、SaaS 内部 log 分析、翻訳の一次パスに使用。エージェント意思決定や外部 API 連携には使わず、その先で Claude / GPT-4o に escalation。

Claude (Sonnet / Opus 系)

強み: 指示追従性 4/4、長文一貫性 4/4、コード生成品質 4/4、Tool use / MCP 対応 4/4。Xiora の brain runtime のエージェント意思決定は、Claude 系がデフォルトです。日本語 (business) の品質も安定して高い印象。

弱み: コスト単価が Ollama と比べて 2-3 桁高い (Ollama の推論はほぼ電気代のみ)。Rate limit は個人 / 小規模で厳しめのケースがあり、大量並列は tier upgrade が必要になることがあります。

Xiora の使い方: エージェントの中核判断、コード生成、複雑な RAG 応答、Reo との対話。日次コスト予算 $5-10 を上限に script で監視、超えたら Ollama fallback。

GPT-4o

強み: 汎用性能が全項目でバランス、Structured output (JSON mode) の安定性、豊富な integration ecosystem。日本語も指示追従も安定しています。

弱み: 長文 (30k+ token) の一貫性は Claude Opus 系よりやや落ちる傾向。コスト単価は Claude と近い水準で、Ollama より高価。

Xiora の使い方: Claude と用途を分けて、「Structured output が重要」「JSON schema 厳密遵守」の用途で採用。SaaS の webhook payload 変換など。

Gemini

強み: 超長文 (100k+ token) の context 処理、マルチモーダル (画像 / 音声 / 動画) の統合、Free tier の余裕。実運用でも長文の要約と映像プレビュー分析で採用しています。

弱み: 日本語 (business) 品質は Claude / GPT-4o と比べてやや振れ幅がある印象。指示追従性はプロンプト設計次第で改善するが、Claude ほどの安定性は感じにくい傾向。

Xiora の使い方: 長文分析 (10k+ token の議事録 / 論文要約)、マルチモーダル (Aiverse Studio の映像フレーム分析)、Free tier で開発期間中の一次実装。

用途別の推奨組み合わせ (Xiora 運用ベース)

実運用では 1 モデルに固定せず、用途別にルーティングするのが最もコスト効率が高いです。Xiora の router 設定を共有します。

  • 分類 / 要約 / 翻訳一次パス — Ollama (Llama 系) 優先、失敗時は Claude Haiku に fallback
  • エージェント意思決定 / コード生成 — Claude Sonnet 優先、コスト超過時は Ollama fallback (品質低下は許容)
  • Structured output / JSON schema 厳密 — GPT-4o 優先、失敗時は Claude Sonnet
  • 長文 (10k+ token) 分析 / マルチモーダル — Gemini 優先、Free tier 上限到達時は Claude Opus に切替
  • Reo との対話 UI — Claude Sonnet 固定 (安定性優先)

このルーティングを YAML (brain/config/llm-router.yaml) に持たせ、handler は「用途 tag」だけ指定すれば適切なモデルが選ばれる設計にしました。切り替えロジックが handler ごとに散らばると、モデル価格改定のたびに全 handler 修正が発生します。

Cost guard の 3 段階 (script レベルの実装)

LLM を SaaS で採用する時、最大の恐怖は「コスト暴走」です。Xiora では以下の 3 段階で監視しています。

  1. Pre-call check — 各 handler は API 呼び出し前に、日次累積コストを DB から読んで上限 (例: Claude $5/日) を超えていないか確認。超えていたら Ollama に fallback。
  2. Post-call log — 各 API 呼び出し後、実際の usage token 数と概算コストを DB に記録。日次集計で drift を検知。
  3. Nightly reconcile — 日次バッチで各プロバイダーの usage API を叩き、DB 記録と実 usage の乖離を検知。5% 以上ズレたら alert。

この 3 段階があると、「気付いたら Claude API 課金が $500/月」という事故を予防できます。私は 2024 年に 1 度この事故を起こしていて、そこから 3 段階監視を仕込みました。

選定手順 (要約)

新規 SaaS に LLM を組み込む時、以下の順で判断するのが最短です。

  1. 用途を分ける — chat / 分類 / 要約 / エージェント / RAG / コード生成の 6 カテゴリで分類
  2. Privacy 要件を先に決める — Local 必須 (医療 / 法務) なら Ollama 一択
  3. 用途別に 20 項目 checklist をスコアリング — 各項目 0-4 で採点
  4. 用途別に第 1 候補 + fallback を決める — 単一モデルに寄せない
  5. Cost guard の 3 段階を実装 — 日次上限 + post-call log + nightly reconcile

この 5 手順を最初に固めておくと、LLM 価格改定やモデル更新のたびに右往左往する状態を避けられます。

次の一手

Xiora では、LLM router と cost guard の実装ノウハウを内部で brain/config/llm-router.yaml に集約しています。同じ運用を検討中の SaaS 開発者向けに、無料相談も受付中です。

  • Xiora コーポレートサイト — https://xiora-official.com/
  • Aiverse Studio (M1a waitlist) — https://aiverse.xiora-official.com/pricing
  • XCloud Connect (Live) — https://connect.xiora-official.com/
  • XCloud Flow (Live) — https://flow.xiora-official.com/

LLM 選定 / router 実装 / cost guard の相談は info@xiora-official.com までお問い合わせください。

筆者: Xiora 代表 沓澤 怜士 (Kutsuzawa Reo)
連絡: info@xiora-official.com
免責: 本記事は情報提供を目的としており、特定モデルの優劣を主張するものではありません。LLM の性能と価格は頻繁に更新されるため、採用前に各プロバイダーの最新情報および貴社ワークロードでの独自評価をお願いします。

#LLM #Ollama #Claude #GPT4o #Gemini #AI #SaaS #Xiora

関連 Xiora プロダクト

本記事のトピックに直接関わる Xiora 自社プロダクトです。 いずれも公開情報、¥0 で概要確認できます。

関連ツール (提携リンク)

本記事の内容を実装するにあたり、Xiora が業務で採用しているツール群です。 リンクは提携リンク (advertisement) を含み、経由でお申込みの場合は Xiora に紹介料が入る場合があります。 記事内容の中立性は維持しています。

  • Notion — SMB のドキュメント / ナレッジ管理 SaaS
  • Vercel — Next.js を最速で公開する PaaS
  • Railway — コンテナ / DB を 1 分で立てる PaaS
  • Cloudflare — エッジ CDN + Zero Trust

※ Reo Absolute Gate (KYC) 承認待ちの placeholder URL。 承認後、代理人が sed で real referral ID に一括置換します。

本記事の 参考文献 セクション には 楽天アフィリエイトリンク が含まれます (収益は Xiora の運営に還元されます)。

参考文献 (楽天ブックス)

← Insights 一覧へ