使い方ガイド ⑥

⑥ モデルを作る

「この心電図の特徴から、6か月後に症状が出るかを予測する」のような予測モデルを作ります。研究で最も怖い『データ漏れ(リーク)』を自動でチェックする仕組みが組み込まれているので、安心して試せます。

モデル作りの全体像

難しそうに見えますが、AI が各ステップを手伝います。流れはこの5つです。

🤖モデル開発者(MLエンジニア)
1特徴量を選ぶHRVや波形の形など、予測の材料になる数値を用意する。
2データ漏れ検査「答えがこっそり材料に混じっていないか」を自動チェック。
3学習する被験者ごとに分けて交差検証しながらモデルを訓練。
4評価する当たり具合(ROC等)を見て、誤った例も波形で確認。
5登録する予想を凍結して再現を確認し、正式モデルとして保存。

いちばん大事:データ漏れ(リーク)検査

リークとは、予測の材料の中に「実は答えそのもの」が混じってしまうこと。これがあると、テストでは高得点なのに本番では全く当たらない、という事故が起きます。このツールは学習の前に自動でチェックします。

リーク検査(model.detect_leakage)
材料(特徴量)HRV + 波形の形 + PVC頻度
予測したいもの6か月後の症状再発
判定✅ リークなし — 学習に進めます

🚧 リークが見つかると、学習に進めません。 答えから作られた材料(例: 予測対象そのものを加工した値)が混じっていると警告が出て、[適用] できなくなります。これは不便ではなく、間違った結論を世に出さないための安全装置です。

学習と評価

検査を通ったら学習します。被験者ごとにデータを分けて検証するので、「同じ人のデータで覚えてカンニング」も防げます。学習後、モデルタブで成績を確認します。

Workspace ▸ モデルタブ ▸ 評価
当たり具合(ROC)0.78 [0.72–0.83]
確率の信頼性(ECE)0.06(小さいほど良い)
グラフ[ROC] [PR] [較正] [重要度]
しきい値スライダー0.42 → 感度0.71 / 特異度0.74
外した例sub_017 / win_03 … [波形を見る ▶]

「外した例」はその場で波形を開いて確認できます。なぜ間違えたかを目で確かめられます。

登録する(正式モデルにする)

良い結果が出たら、仮説と同じように評価条件を凍結して登録します。再実行してまったく同じ成績が出ることを確認してから、正式モデルとして保存します。

🧊
凍結条件を固定
🔁
再現確認同じ成績か
登録正式モデルへ
🔮
予測に使う新しいデータへ

登録したモデルは、あとから来る新しい被験者のデータに対して予測を実行できます。

安心ポイント(不正・事故を防ぐ)

🔒 凍結必須

ラベルが凍結されていないと登録できません。

🔁 再現できる

同じ条件なら何度学習しても同じ結果。

📋 全部記録

すべての学習の入出力が監査ログに残ります。

次のステップ

⑦ 結論とレポート →結果を判定し、レポートにまとめて共有します。