ポートフォリオのトップへ戻る

代表実績　2026年

閉域環境での生成AIの検証

基本情報

体制と役割個人で実施（1名）。検証の設計、判定基準の作成、実機での実行、出力と元の文書の照合
期間2026年8月6日〜8月28日
課題ネットにつながないPCで、AIが規程文書から守るべき事項を漏れなく抜き出せるか。抜き出せたかを、どう確かめるか
使用ツールWindowsノート1台（NEC VersaPro・メモリ32GB）／LM Studio 0.4.20／モデル gpt-oss-20b ほか／Python 3.13（標準ライブラリのみ）／GitHub

作ったもの

  • local-llm-record：文書の全文を渡すスクリプト、関連部分だけを渡すスクリプト、出力を元の文書と照合するスクリプト、全実行の出力
  • fde-checklist：この結果をもとにした、閉域での導入の確認手順と、AIの置き場所の判定ツール

進め方

  1. 題材は、福岡県が公開している「生成AI庁内利活用ガイドライン（第2.2版）」。守るべき事項6項目と判定基準を、実測の前に決めた。
  2. アプリの画面から実行すると、文書の一部しかAIに渡らず、守るべき事項が欠けた。
  3. 文書の全文を渡すスクリプトに切り替え、出力を元の文書と照合するスクリプトも作った。
  4. 照合スクリプトの初版は表記の揺れを拾えず、出ている項目を「無い」と誤って報告した。出力と元の文書を自分で突き合わせて見つけ、直した。
  5. 関連部分だけを検索して渡す方式（RAG）で、渡す件数を3件から23件まで変えて比べた。

結果

全文を渡すと、守るべき事項6項目すべてを抽出（欠落0件）

  • 入力8,343トークン・出力874トークン・81.54秒
  • 関連部分だけを渡す方式では、23件中12件を渡しても4項目にとどまった。渡した件数ごとの項目数は、3件で1、5件で0、8件で2、12件で4、23件（全件）で6
  • 件数を増やせば順に良くなるわけではなく、守るべき事項の本体が書かれた章のうち中心の2件は、全件を渡すまで一度も選ばれなかった
  • すべて機内モード（通信を切った状態）で実行。コードと全出力を公開し、誰でも同じ結果を確かめられる

自分のノートPCでの実測です。庁内ネットワークでの動作を保証するものではありません。

根拠（学習）

求められる力機能裏付けになる学習（発行元・名称・発行日）照会先（Credly）
セキュリティ・ガバナンス通信を切った状態での実行と、外部に送信していないことの確認Amazon Web Services Training and Certification「AWS Knowledge: Security Champion - Training Badge」2025年11月10日Credly
生成AI・LLMの実装（RAG・エージェント・MCP）全文を渡す方式と、関連部分だけを検索して渡す方式（RAG）の比較IBM SkillsBuild「Getting Started with Generative AI」2026年2月4日Credly