訪問看護の記録AIをどう検証したか｜本番の前に通す関所

訪問看護の記録AIの検証とは、記録AIの新しい版を本番に出す前に、決まった試験（関所）を通して確かめることです。当社は、同じサーバーで動く別の仕組みで、作った本人の考えで作った試験の答えが思い込みをなぞり、全部合格のまま不具合を本番に出した反省から、決まりの文から別に作った答え（独立した答え）で確かめる関所を置き、全部の試験が合格したときだけ本番に出しています。

なぜ「自分で作った答え」では足りないのか

同じサーバーで動く別の仕組みで、作った本人が試験の答えを自分のコードと同じ考えで作ったため、試験は全部合格なのに、不具合を本番に出したことがありました。試験の答えがコードと同じ思い込みでできていると、思い込みの誤りは試験でも見つかりません。

そこでNURSE PARTNERでは、2026年10月17日から試験の答えを、コードではなく記録の決まりの文（要件の文書）から作ることにしました。

本番に出す前に通す関所

本番に出す前には、関所の道具（release_gate）で次の試験を1本ずつ順に通します。どれか1つでも合格しなければ、本番に送る道具そのものが止まります。

「火を噴くかの確かめ」は、試験が本当に不具合を見つけられるかを、わざと古い版に当てて確かめるものです。見つけられない試験は、合格しても意味がないからです。

版ごとに何を直してきたか

NURSE PARTNERは、版を上げるたびに変更の記録（CHANGELOG）を残しています。たとえば次のような直しです。

• 運用テスト（679通り）で見つかった不具合58件を直した（v1.3.1）
• 主治医からの書類の取り込みを、2つのAIで読み、高リスクのものは看護主任が確かめる形にした（v1.3.0）
• 書類の束を書類ごとに分け、対象の書類だけから読み取るようにした（v1.8.5）
• ルート表に特別指示の期間が入っていない特別訪問看護指示書を、主任の画面に出し続けるようにした（v1.8.6）

使う人の15の立場から、3つのAIで点検した回もあります。

試験では分からないこと

試験で確かめられることには限りがあります。NURSE PARTNERでは、次のことは「試験では分からない所」として品質の画面にも出しています。

• 本物のAIが写真を読み取ったときの正しさ（試験のAIは固定の答え）
• 本番のデータベースでの動き
• 実際のスマートフォン（LINEの中のブラウザなど）での見え方

このため、主治医からの書類のうち高リスクのものは看護主任が確かめる流れにしています。AIが作るのは下書きで、記録を確定するのは事業所の看護師です。

導入前に管理者が聞くとよいこと

記録AIを選ぶとき、「何割の時間が減るか」だけでなく、次の3つを聞くと、導入後に困りにくくなります。

1. 試験の答えは、だれが、何をもとに作っているか（コードの作り手だけで作っていないか）
2. 本番に出す前に、何を通さないと出せない決まりになっているか
3. 試験では分からないことを、どこで人が確かめているか

よくある質問

記録AIの精度は何パーセントですか？

NURSE PARTNERでは、1つの数字で精度を示していません。何を試験で確かめ、何が試験では分からないかを分けてご説明します。高リスクの書類は主任が確かめ、記録を確定するのは事業所の看護師です。

版を上げるたびに、事業所で何かする必要はありますか？

関所を通った版だけが本番に出ます。何を変えたかは、版ごとの変更の記録（CHANGELOG）に残しています。

独立した答えとは何ですか？

試験の答えを、プログラムの出力からではなく、記録の決まりの文から別に作ったものです。作り手の思い込みを、試験が見逃さないようにするためです。

検証の中身を見せてもらえますか？

導入のご相談の中で、関所で何を確かめているかと、試験では分からないことをご説明します。利用者さんの名前や記録の中身は送らないでください。