Ocean LLM とは — Xiora の日本発 LLM 開発 5 phase roadmap (P0〜P5)

Introduction

Xiora は 2026 年 7 月時点で 5 プロダクトを 24/7 運用しており、そのバックエンドで動く LLM は Claude API と Ollama の 2 系統に依存しています。

このアーキテクチャは短期的には問題なく動くのですが、long-term では 3 つの構造課題を抱えています。

1. Claude API の値上げ / 契約変更のリスク。 2. 日本 SMB × solo founder 特化タスクで汎用 LLM が劣化する。 3. moat が 浅い — 誰でも同じ substrate を使える。

本記事では、Xiora が 2026-08 から着手する自社 LLM「Ocean」の設計思想と、P0〜P5 の 5 phase roadmap を実装レベルで公開します。

なぜ日本製 LLM を自社で作るのか

汎用 LLM (GPT / Claude / Gemini) は英語圏の一般タスクでは高精度ですが、日本 SMB × solo founder ドメインには 4 パターンの劣化があります。

1. 商法 / 特商法 / 電特法 / 資金決済法 の条文引用が古い or 混同。

2. 越谷 / 草加 / 川口 のような地方地名を扱う際、店舗情報 / 商圏データが薄い。

3. Stripe Japan の特別条項 / インボイス制度 / 適格請求書 発行事業者 の実務が浅い。

4. 「AI 導入したい」と言う SMB に対して 「SaaS を実装します」という ゴールに直行する提案ができない。

Ocean は上記 4 領域を moat とするため、日本 SMB / solo founder / AI エージェント運用 の 3 ドメインに特化した学習を行います。

P0 - Byte-level tokenizer + skeleton (2026-07)

現状の Ocean は P0 phase。 stdlib のみで動く byte-level tokenizer と、model.transformer / model.attention のスケルトンだけを実装しています。

コード: services/systems/OceanLLM/src/model/tokenizer.py。 SPECIAL_TOKENS 8 種 + BYTE_OFFSET=16 + BYTE_VOCAB=256 で vocab_size=272。

この段階では学習は行わず、data pipeline (collect → clean → tokenize → package) を穴なく通すことを最優先しています。

P1 - SentencePiece BPE + 1 GB 学習コーパス (2026-08)

P1 では SentencePiece BPE (vocab_size 32k) に置換し、学習コーパス 1 GB (日本語 Wikipedia + 政府白書 + Xiora 内部運用ログ) で initial train を行います。

target: perplexity ≦ 40、 tokenizer round-trip の loss ゼロ、 encode/decode 差分 0 byte。

P2 - 100M param small model (2026-09)

P2 では 100M parameter の small transformer を pretrain します。 configs/model_small_100m.yaml に定義。

hardware は Mac Studio (M4 Ultra / 128GB unified memory) 1 台で MPS backend、 学習時間目安 5-7 日、 training corpus 5 GB。

この段階では 汎用 LLM としての実用性はほぼありませんが、pipeline が回るか + eval harness (Xiora 内部 eval suite 50 問) が測定できるかを検証します。

P3 - 3B param mid model (2026-10 - 2026-12)

P3 では 3B parameter の mid model を pretrain。 configs/model_mid_3b.yaml に定義。

MoE (Mixture of Experts) を top-2 で導入し、activated param を実効 800M 前後に抑えます。

target: Xiora eval suite 50 問 のうち 30 問以上を汎用 LLM (llama3.2 3B) と同等以上で解けること。

P4 - 70B param large model (2027 前半予定)

P4 では 70B parameter の large model を pretrain。 configs/model_large_70b.yaml に定義。

この段階では自社 GPU クラスタは不要で、Runpod / Vast.ai / TensorDock 等の spot GPU (H100 x 8) を time-boxed で借りて 60-90 日学習する試算です。

cost 試算 = spot H100 x 8 x $2.5/h x 24h x 60d = $28,800 (約 ￥450 万)。 これは Xiora の M6-M8 milestone 到達後に着手する予定で、それまでは P3 で開発体験を蓄積します。

P5 - Fine-tuning + RLHF + safety alignment (2027 後半予定)

P5 では 70B base に対して 日本 SMB / solo founder / AI エージェント運用 の 3 ドメインで instruction tuning + RLHF を行います。

reward model の学習には Xiora 内部で蓄積した Reo 承認 / 却下 データを reward signal として利用予定 (moat)。

safety alignment では 憲法 5 条 (断定表現 / 助言性 vocab 禁止) を constitutional AI 方式で組み込みます。

moat データセットの構築

P0-P5 通じて Ocean の moat は「日本 SMB × solo founder ドメインの Reo 意思決定ログ」です。

現状 brain/state.db に 3-4 週間分の event / task / handler log が蓄積しており、これを SentencePiece 学習コーパスに組み込む予定です。

他社が同じ substrate を使っても、この moat データセットが無ければ Xiora と同じ判断精度は再現できません。

まとめ

Ocean LLM は Xiora の 3-year vision の中核で、P0-P5 の 5 phase で段階的に構築します。

P0-P2 は Mac Studio 単体で完結し、P3 以降で spot GPU を借りる構成です。

moat は日本 SMB × solo founder ドメイン特化 + Reo 意思決定ログ。 詳細は info@xiora-official.com までご相談ください。

---