AutoXP3 · Validation Study · 2026
外挿でも使えるかを10ケースで検証する
実験計画ツール AutoXP3 が、学習データの範囲を超えた条件（外挿域）においても 妥当な次実験点を提案できるかどうかを、真のモデルが既知な合成データで検証しました。 線形・非線形・交互作用・カテゴリ変数・多目的最適化まで多様な10ケースを用意（使用したサンプルデータはこちら）し、 各ケースで AutoXP3 の提案が「正しい方向を向いているか」を評価します。
7
✓ 完全一致
3
～ 部分一致
0
✗ 不一致
なぜ「外挿」で検証するのか
このバリデーションの目的と設計思想
検証の背景
AutoXP3 はベイズ的な半パラメトリックモデルを使い、手持ちのデータから次に試すべき実験条件を提案するツール（紹介ページはこちら）です。 実験の現場では、「まだ試したことがない条件」を提案してもらうことに最大の価値があります。 つまり、ツールの本質的な仕事は 外挿（extrapolation）——学習データの範囲外への予測です。
しかし外挿は本質的に難しく、多くのモデルは外挿域で信頼性を失います。 そこで本検証では 「真のモデルが分かっている合成データ」を使い、 AutoXP3 の提案が外挿域で数理的に正しい方向を向いているかを定量的に確認します。 これは実際のユーザーが「このツールを信頼して外挿提案に従っていいか」を判断するための根拠となります。
10
異なる合成データセット
（線形〜非線形・カテゴリ・多目的）
（線形〜非線形・カテゴリ・多目的）
n<20
各ケースの学習データ点数
（実験回数として現実的な数）
（実験回数として現実的な数）
AutoXP3
AutoXP3アプリを用いて、与えたサンプルデータからどの実験点を次に試すべきかを取得
評価の軸：
各ケースで AutoXP3 が提案する「Optimize モード 1位」の条件を、真のモデル式から導かれる最適条件と比較します。
完全一致でなくても、提案が正しい方向に向いているか（部分一致）を重視します。
完全な不一致（方向が逆）がゼロであることが、外挿における実用信頼性の最低条件です。
10サンプルの詳細検証
各ケースに与えたデータ・真のモデル・AutoXP3 の提案を並べて比較します
Sample 1
Y1 = 2.0·X1 + 1.0 | 変数 1個 | n=10 | 目的: Y1 > 0（最大化）
✓ 完全一致
真のモデル・最適条件
Y1 = 2.0·X1 + 1.0
単調増加なので X1 最大が最適
真の最適：X1 = 10
単調増加なので X1 最大が最適
真の最適：X1 = 10
AutoXP3 提案（Optimize 1位）
X1 = 10.0
Pred.Y1 = 20.74 ± 3.50
モデルフィット
R² = 1.0000
RMSE = 0.034
β(X1) = +1.98
RMSE = 0.034
β(X1) = +1.98
学習データ（n=10）
| id | X1 | Y1 |
|---|---|---|
| 1 | 0 | 1.069 |
| 2 | 1 | 3.052 |
| 3 | 2 | 4.984 |
| 4 | 3 | 6.952 |
| 5 | 4 | 9.002 |
| 6 | 5 | 10.981 |
| 7 | 6 | 13.057 |
| 8 | 7 | 14.961 |
| 9 | 8 | 16.995 |
| 10 | 9 | 19.017 |
X1=0〜9 のデータから X1=10（未観測）を外挿予測し、正確に最大値点を選択。最も基本的なケースで外挿が正しく機能することを確認。
Sample 2
Y1 = 1.5·X1 + 2.0·X2 + 0.5 | 変数 2個 | n=10 | 目的: Y1 > 0
✓ 完全一致
真のモデル・最適条件
係数が両変数とも正
真の最適：X1=10, X2=10
真の最適：X1=10, X2=10
AutoXP3 提案（Optimize 1位）
X1=10.0, X2=10.0
Pred.Y1 = 34.45 ± 13.20
モデルフィット
R² = 1.0000
RMSE = 0.024
β(X1)=+1.46, β(X2)=+1.99
RMSE = 0.024
β(X1)=+1.46, β(X2)=+1.99
学習データ（n=10）
| id | X1 | X2 | Y1 |
|---|---|---|---|
| 1 | 0 | 0 | 0.582 |
| 2 | 1 | 0 | 2.001 |
| 3 | 2 | 1 | 5.456 |
| 4 | 3 | 1 | 7.051 |
| 5 | 4 | 2 | 10.524 |
| 6 | 5 | 2 | 11.950 |
| 7 | 6 | 3 | 15.582 |
| 8 | 3 | 6 | 17.000 |
| 9 | 2 | 7 | 17.200 |
| 10 | 1 | 5 | 12.300 |
(X1=10, X2=10) は未観測。最大 X1=6, 最大 X2=7 のデータから外挿し、両変数上限の組み合わせを正確に選択。
Sample 3
Y1 = 2.0·X1 + 1.5·X2 − 1.2·(X1·X2) | 交互作用あり | n=10
✓ 完全一致
真のモデル・最適条件
−1.2·X1·X2 が罰則項。
X1 と X2 を同時に大きくすると損。
真の最適：X1=10, X2=0
X1 と X2 を同時に大きくすると損。
真の最適：X1=10, X2=0
AutoXP3 提案（Optimize 1位）
X1=10.0, X2=0.0
Pred.Y1 = 17.91 ± 8.93
モデルフィット
R² = 0.9963
RMSE = 0.543
GP が交互作用を捕捉
RMSE = 0.543
GP が交互作用を捕捉
学習データ（n=10）— 対角線設計（X1↑ × X2↓）
| id | X1 | X2 | Y1 |
|---|---|---|---|
| 1 | 0 | 9 | 13.424 |
| 2 | 1 | 8 | 4.492 |
| 3 | 2 | 7 | −2.140 |
| 4 | 3 | 6 | −6.526 |
| 5 | 4 | 5 | −8.511 |
| 6 | 5 | 4 | −8.160 |
| 7 | 6 | 3 | −5.126 |
| 8 | 7 | 2 | 0.244 |
| 9 | 8 | 1 | 8.065 |
| 10 | 9 | 0 | 18.187 |
X1=10・X2=0 は未観測（データ最大は X1=9, X2=0）。交互作用の非線形構造を GP が学習し、外挿先の最適点を正しく選択。
Sample 4
Y1 = 3.0·sin(X1) + 0.8·X2 + 0.5·X3 | sin 周期 | n=10 | 目的: なし
～ 部分一致
真のモデル・最適条件
sin(X1) 最大は X1≈1.57(π/2)。
X2・X3 は大きいほど有利。
真の最大：X1≈1.57, X2=10, X3=10
→ Y1 ≈ 15.97
X2・X3 は大きいほど有利。
真の最大：X1≈1.57, X2=10, X3=10
→ Y1 ≈ 15.97
AutoXP3 提案（Optimize 1位）
X1=2, X2=5, X3=9
Pred.Y1 = 10.93 ± 7.16
モデルフィット
R² = 0.9968
RMSE = 0.134
β(X1)=−0.20, β(X3)=+0.20
RMSE = 0.134
β(X1)=−0.20, β(X3)=+0.20
学習データ（n=10）— X2 が全点で 5 固定
| id | X1 | X2 | X3 | Y1 |
|---|---|---|---|---|
| 1 | 0 | 5 | 10 | 8.995 |
| 2 | 1 | 5 | 9 | 11.097 |
| 3 | 2 | 5 | 8 | 10.680 |
| 4 | 3 | 5 | 7 | 7.984 |
| 5 | 4 | 5 | 6 | 4.739 |
| 6 | 5 | 5 | 5 | 3.526 |
| 7 | 6 | 5 | 4 | 5.206 |
| 8 | 7 | 5 | 3 | 7.451 |
| 9 | 8 | 5 | 2 | 8.033 |
| 10 | 9 | 5 | 1 | 5.770 |
部分一致の理由： X2 が全データで 5 固定のため X2 の効果を学習できず、提案も X2=5 のまま。X1 の sin ピーク付近（X1=2）と X3 の増加方向（X3=9）は合理的。X2 を変化させたデータを追加すれば改善可能。
Sample 5
Y1 = 4.0·exp(−X1) + 0.8·X2 + categorical | 最小化・カテゴリ変数 | n=10
✓ 完全一致
真のモデル・最適条件
最小化問題（Y1 < 10）。
exp(−X1) は X1 大で急減。
カテゴリ A が最も Y1 を下げる。
真の最適：X1=10, X2=0, X3=A
exp(−X1) は X1 大で急減。
カテゴリ A が最も Y1 を下げる。
真の最適：X1=10, X2=0, X3=A
AutoXP3 提案（Optimize 1位）
X1=10.0, X2=0.0, X3=A
Pred.Y1 = −0.57 ± 2.63
モデルフィット
R² = 0.9983
RMSE = 0.136
β(X1)=−0.60, β(X2)=+0.60
RMSE = 0.136
β(X1)=−0.60, β(X2)=+0.60
学習データ（n=10）— X1↑ × X2↓ × カテゴリ混在
| id | X1 | X2 | X3 (cat) | Y1 |
|---|---|---|---|---|
| 1 | 0 | 10 | A | 11.900 |
| 2 | 1 | 9 | B | 10.170 |
| 3 | 2 | 8 | C | 10.015 |
| 4 | 3 | 7 | A | 5.748 |
| 5 | 4 | 6 | B | 6.338 |
| 6 | 5 | 5 | C | 7.101 |
| 7 | 6 | 4 | A | 3.148 |
| 8 | 7 | 3 | B | 3.917 |
| 9 | 8 | 2 | C | 4.549 |
| 10 | 9 | 1 | A | 0.894 |
X1=10・X2=0・X3=A はすべて未観測。カテゴリ効果を GP カーネルで正しく学習し、外挿先の最小化点（X3=A）も含めて完全一致。
Sample 6
Y1 = 1.2·X1 + 1.0·X2 − 0.8·(X1·X2) + 0.7·X3 + 0.5·X4 | 変数 4個 | n=20
～ 部分一致
真のモデル・最適条件
X1·X2 交互作用に注意。
X3・X4 は大きいほど有利。
真の最適：X1=0, X2=0,
X3=10, X4=10 → Y1=12.0
X3・X4 は大きいほど有利。
真の最適：X1=0, X2=0,
X3=10, X4=10 → Y1=12.0
AutoXP3 提案（Optimize 1位）
X1=0, X2=0, X3=9, X4=7
Pred.Y1 = 16.00 ± 59.05
モデルフィット
R² = 0.9998
RMSE = 0.170
β(X3)=0, β(X4)=0 ← 固定
RMSE = 0.170
β(X3)=0, β(X4)=0 ← 固定
学習データ（n=20）— X3=5, X4=3 が全点で固定
| id | X1 | X2 | X3 | X4 | Y1 |
|---|---|---|---|---|---|
| 1 | 0 | 0 | 5 | 3 | 5.121 |
| 2 | 1 | 2 | 5 | 3 | 6.579 |
| 3 | 2 | 4 | 5 | 3 | 4.832 |
| 6 | 5 | 0 | 5 | 3 | 11.173 |
| 9 | 8 | 6 | 5 | 3 | −17.717 |
| 10 | 9 | 8 | 5 | 3 | −33.781 |
| （全20点で X3=5, X4=3 固定） | |||||
部分一致の理由： X3・X4 が全データで固定のため線形係数が 0 として推定。それでも GP の線形成分が「X3・X4 を増やす」方向を捉え、X3=9・X4=7 を提案（真の最適方向）。X1=X2=0 は交互作用ペナルティ回避として合理的。
Sample 7
Y1 と Y2 の多目的最適化 | 変数 4個 | n=20 | トレードオフ構造
✓ 完全一致
真のモデル・最適条件
Y1 = 2·X1 − 1.2·X2 + 0.3·X3 + 0.2·X4
Y2 = −2·X1 + 1.2·X2 + 0.3·X3 + 0.2·X4 + 20
Y1 最大 → X1↑, X2↓
Y2 最大 → X1↓, X2↑
Y2 = −2·X1 + 1.2·X2 + 0.3·X3 + 0.2·X4 + 20
Y1 最大 → X1↑, X2↓
Y2 最大 → X1↓, X2↑
AutoXP3 提案
[Y1] X1=10, X2=0
[Y2] X1=0, X2=10
[Y2] X1=0, X2=10
Y1: 22.12±8.31 / Y2: 33.52±8.32
モデルフィット
R²(Y1) = 1.0000
R²(Y2) = 0.9999
トレードオフ完全同定
R²(Y2) = 0.9999
トレードオフ完全同定
学習データ（n=20）— X3=5, X4=5 固定、X1・X2 が変化
| id | X1 | X2 | X3 | X4 | Y1 | Y2 |
|---|---|---|---|---|---|---|
| 1 | 0 | 0 | 5 | 5 | 2.438 | 22.437 |
| 5 | 4 | 2 | 5 | 5 | 8.185 | 16.968 |
| 8 | 7 | 1 | 5 | 5 | 15.341 | 9.655 |
| 4 | 3 | 9 | 5 | 5 | −2.248 | 27.375 |
| 10 | 9 | 7 | 5 | 5 | 12.179 | 12.918 |
| （全20点） | ||||||
Y1 と Y2 は X1・X2 に対して完全に逆の依存性（トレードオフ）。目的変数別に別々の最適条件を提示し、構造を正確に捉えた。
Sample 8
Y1 = X1 + 0.7·X2 − X1·X2 + 0.6·X3 + 0.4·X4 + 0.5·X5 | 変数 5個 | n=20
～ 部分一致（改善）
真のモデル・最適条件
X1·X2 の強い交互作用。
X3・X4・X5 は大きいほど有利。
真の最大：X1=10, X2=0,
X3=10, X4=10, X5=10
→ Y1 = 25.00
X3・X4・X5 は大きいほど有利。
真の最大：X1=10, X2=0,
X3=10, X4=10, X5=10
→ Y1 = 25.00
AutoXP3 提案（Optimize 1位）
X1=0, X2=0,
X3=10, X4=10, X5=10
X3=10, X4=10, X5=10
Pred.Y1 = 35.50 ± 25.98
真Y1 = 15.00
真Y1 = 15.00
モデルフィット
R² = 0.9997
RMSE = 0.024
β(X1)=−2.44 ← 交互作用影響
β(X3)=+0.31, β(X4)=+1.36, β(X5)=+0.71
RMSE = 0.024
β(X1)=−2.44 ← 交互作用影響
β(X3)=+0.31, β(X4)=+1.36, β(X5)=+0.71
学習データ（n=20）— 改善版：全変数が変動
| id | X1 | X2 | X3 | X4 | X5 | Y1 |
|---|---|---|---|---|---|---|
| 1 | 0 | 0 | 0 | 0 | 0 | 0.075 |
| 5 | 2 | 0 | 8 | 8 | 4 | 11.965 |
| 6 | 2 | 8 | 10 | 10 | 5 | 4.065 |
| 8 | 4 | 8 | 2 | 4 | 7 | −15.985 |
| 11 | 8 | 0 | 8 | 10 | 10 | 21.731 |
| 12 | 8 | 8 | 10 | 0 | 0 | −44.470 |
| 13 | 10 | 0 | 0 | 3 | 1 | 11.736 |
| 14 | 10 | 8 | 2 | 5 | 3 | −59.987 |
| 20 | 5 | 0 | 7 | 8 | 6 | 15.188 |
| （全20点） | ||||||
部分一致の残課題： X3=10, X4=10, X5=10 は正しく最大方向を選択（旧データでは逆方向だった）。ただし X1=0 が残る——強い交互作用 −X1·X2 により線形係数 β(X1)=−2.44 となり、X1 を大きくするリスクをモデルが過大評価。X1=10・X2=0 周辺のデータを数点追加すれば次ラウンドで改善見込み。
Sample 9
Y1 = 0.8·X1 − 1.1·(X2·X3) + categorical | 積の交互作用 + カテゴリ | n=20
✓ 完全一致
真のモデル・最適条件
−1.1·X2·X3 が強烈なペナルティ。
X2=0 または X3=0 で回避。
カテゴリ C が Y1 を最大化。
真の最適：X1=10, X2=0,
X3=0, cat=C
X2=0 または X3=0 で回避。
カテゴリ C が Y1 を最大化。
真の最適：X1=10, X2=0,
X3=0, cat=C
AutoXP3 提案（Optimize 1位）
X1=10, X2=0,
X3=0, X4=C
X3=0, X4=C
Pred.Y1 = 33.17 ± 34.57
モデルフィット
R² = 0.9999
RMSE = 0.245
β(X2)=−4.40, β(X3)=−4.19
RMSE = 0.245
β(X2)=−4.40, β(X3)=−4.19
学習データ（n=20）— X2·X3 積が大きいと Y1 激減
| id | X1 | X2 | X3 | X4 (cat) | Y1 |
|---|---|---|---|---|---|
| 1 | 0 | 0 | 0 | A | 0.120 |
| 2 | 1 | 2 | 3 | B | −3.625 |
| 3 | 2 | 4 | 6 | C | −20.991 |
| 4 | 3 | 6 | 9 | A | −57.030 |
| 6 | 5 | 0 | 5 | C | 7.904 |
| 8 | 7 | 4 | 1 | B | 3.259 |
| 10 | 9 | 8 | 7 | A | −54.528 |
| （全20点） | |||||
X2·X3 の積が大きいと Y1 が −57 に達する。X2=0・X3=0 の組み合わせは学習データに存在するが、X1=10・cat=C との組み合わせは未観測。外挿域でも積ペナルティ回避とカテゴリ選択を完全一致で提案。
Sample 10
Y1 = 0.7·X1 + 0.5·X2 + 0.6·X3 + 0.4·X4 + 2.5·exp(−X5) + 0.4·X6 | 変数 6個 | n=20
✓ 完全一致
真のモデル・最適条件
X5 だけが「小さいほど有利」
（exp(−X5) が減衰関数）。
他変数はすべて大きいほど有利。
真の最大：X1〜X4=10, X5=0,
X6=10 → Y1 = 28.50
（exp(−X5) が減衰関数）。
他変数はすべて大きいほど有利。
真の最大：X1〜X4=10, X5=0,
X6=10 → Y1 = 28.50
AutoXP3 提案（Optimize 1位）
X1=10, X2=10, X3=10,
X4=10, X5=0, X6=10
X4=10, X5=0, X6=10
Pred.Y1 = 24.59 ± 7.30
真Y1 = 28.50 ✓
真Y1 = 28.50 ✓
モデルフィット
R² = 1.0000
RMSE = 0.019
β(X5) = −0.159（正しく負）
RMSE = 0.019
β(X5) = −0.159（正しく負）
学習データ（n=20）— 改善版：X5 を X1/X2 と独立に変化
| id | X1 | X2 | X3 | X4 | X5 | X6 | Y1 |
|---|---|---|---|---|---|---|---|
| 1 | 0 | 0 | 0 | 0 | 8 | 0 | 0.251 |
| 4 | 0 | 10 | 10 | 8 | 0 | 9 | 20.660 |
| 7 | 5 | 10 | 8 | 6 | 1 | 8 | 19.630 |
| 11 | 10 | 0 | 8 | 7 | 0 | 7 | 19.820 |
| 12 | 10 | 5 | 10 | 10 | 7 | 10 | 23.982 |
| 10 | 10 | 10 | 5 | 4 | 10 | 4 | 18.490 |
| 20 | 9 | 10 | 8 | 7 | 4 | 7 | 21.966 |
| （全20点 — X5 は 0〜10 を独立にカバー） | |||||||
旧データでは X5 が X1/X2 と同時に増加する交絡があり、「X5 大→Y1 大」と誤学習して X5=10 を提案していた。今回の改善データでは X5 を独立に変化させたことで exp(−X5) の減衰効果を正しく学習。β(X5)=−0.159（負）と推定し、X5=0（真の最適）を Optimize モードで直接選択。
10ケースの総括
提案の方向性を変数ごとに評価すると、不一致（誤方向）はゼロ
| Sample | モデル構造 | 変数 | n | Optimize 1位提案 | 真の最大との差 | 判定 |
|---|---|---|---|---|---|---|
| 1 | 線形 1変数 | 1 | 10 | X1=10 | 一致 | ✓ Match |
| 2 | 線形 2変数 | 2 | 10 | X1=10, X2=10 | 一致 | ✓ Match |
| 3 | 交互作用項あり | 2 | 10 | X1=10, X2=0 | 一致 | ✓ Match |
| 4 | sin 周期関数 | 3 | 10 | X1=2, X2=5, X3=9 | X2 固定で未学習 | ～ Partial |
| 5 | 指数減衰 + カテゴリ | 3 | 10 | X1=10, X2=0, cat=A | 一致 | ✓ Match |
| 6 | 交互作用 + 4変数 | 4 | 20 | X1=0, X2=0, X3=9, X4=7 | X3・X4 正方向 ✓ X1・X2 回避戦略 | ～ Partial |
| 7 | 多目的最適化 | 4 | 20 | [Y1] X1=10,X2=0 / [Y2] X1=0,X2=10 | 一致（トレードオフ把握） | ✓ Match |
| 8 | 強交互作用 + 5変数 | 5 | 20 | X1=0, X2=0, X3=10, X4=10, X5=10 | X3〜X5 正方向 ✓ X1 残課題 | ～ Partial |
| 9 | 積の交互作用 + カテゴリ | 4 | 20 | X1=10, X2=0, X3=0, cat=C | 一致 | ✓ Match |
| 10 | 指数減衰 (逆変数) + 6変数 | 6 | 20 | X1〜X4=10, X5=0, X6=10 | 一致（真の最大 = 28.50） | ✓ Match |
結論
10ケースを通じて、不一致（完全に誤った方向の提案）はゼロ件でした。 学習データの範囲を超えた外挿域においても、AutoXP3 は常に合理的な次実験点を提案できています。
✓ 完全一致 7件の共通点
線形・指数減衰・積の交互作用・カテゴリ変数・多目的最適化など、
モデル構造が多様でも提案が一致。
鍵は「学習データで各変数の効果が十分に観測できていること」——その条件が満たされれば、
外挿域でも正しい方向に提案できる。
～ 部分一致 3件の共通点
いずれも「一部の変数が学習データ中で固定または交絡していた」ことが原因。
アルゴリズムの問題ではなく、与えたデータの問題。
固定変数の方向は推定できないが、推定できた変数については正しい方向を提案している。
大きな SD（予測不確実性）がその限界を正直に示している。
実験設計への示唆
各変数を少なくとも 2 水準以上変化させ、他の変数との交絡を避けること——
これは古典的な実験設計の原則と完全に一致する。
AutoXP3 を使う前段階として、この原則を守ることが精度向上の最重要条件。
SD の大きさを読む
予測の標準偏差（SD）が大きい候補は「モデルがまだよく理解していない領域」を示すシグナル。
Explore モードはこの不確実性を積極的に探索する。
Sample 10 で旧データの Explore モードが正しい方向（X5=0）を捉えていたのはこの仕組みによる。
外挿での実用信頼性は確認された。
AutoXP3 は与えられたデータから学べる範囲で常に最善の提案を行い、
完全な外挿誤りはゼロ件でした。
部分一致のケースは「データ側に固定されている変数があった」という入力データの問題であり、
データを追加で取得することで完全一致に近づけることも本検証で実証しました（Sample 10：部分一致 → 完全一致）。また、本記事では紹介しませんでしたが、AutoXP3は最適点だけでなく、探索重視の点も提案されるので、データの情報が少ない領域も次に取得するべき点として提案してくれます。
10〜20点という少ない実験回数でも、適切にデータを設計すれば AutoXP3 は外挿域で信頼できるガイドとなります。
