Part 1 — AI の全体像

AI（人工知能）の本来の問い

• 古典的定義 — 知能的振る舞いの実現。核心は問題の形式化と解法の探索
• 記号推論 — 知識を記号で表し、論理ルールで推論
• 探索・計画 — 状態空間から経路・行動列を見つける
• 学習 — データや試行錯誤から振る舞いを獲得

Part 1 — AI の全体像

AIの歴史（概観）

• 1956〜 — シンボリックAI・エキスパートシステム
• 1980s–90s — AI冬。統計的ML（SVM 等）が実用化
• 1997 — Deep Blue（探索＋評価関数）
• 2012〜 — DLブーム（CNN + GPU）
• 2016 — AlphaGo（DL + MCTS（モンテカルロ木探索））
• 2017〜 — Transformer。NLP が RNN から移行
• 2022〜 — 大規模LLMのプロダクト化（産業の大半は従来型AI）

Part 1 — AI の全体像

AI パラダイムの地図

• 記号主義 — ルール・論理・オントロジー
• 探索・最適化 — グラフ探索、CSP（制約充足）、SAT
• 計画・制御 — PDDL、経路計画、MPC
• 機械学習（識別） — 回帰・分類・ランキング
• 深層学習 — CNN、RNN、GNN、Transformer
• 生成モデル — VAE、GAN、Diffusion、自己回帰LLM

Part 1 — AI の全体像

探索・推論・計画型 AI

• 探索 — BFS、DFS、A*、IDA*
• ゲーム木探索 — Minimax、α-β剪定、MCTS
• 強化学習 — RL（Reinforcement Learning）。方策・価値関数の学習

Part 1 — AI の全体像

機械学習（データ駆動型）

Part 2 — ニューラルネットの系譜

非 Transformer 型のアーキテクチャ

• CNN（畳み込みNN） — ResNet, EfficientNet
• RNN / LSTM / GRU — Transformer以前の系列処理
• GNN（Graph Neural Network） — 分子・推薦・交通網
• VAE / GAN / Diffusion — 生成の各系譜
• SSM（State Space Model。Mamba 等）

Part 2 — ニューラルネットの系譜

Transformer とは何か

• Self-Attention — Q（Query）、K（Key）、V（Value）
• バリアント — Encoder-only（BERT）/ Decoder-only（GPT）/ Encoder-Decoder（T5）
• 拡張 — ViT（画像）、Whisper（音声）

Part 3 — LLM と学習

生成AI と LLM の位置づけ

• LLM（Large Language Model／大規模言語モデル） — Decoder-only Transformer の自己回帰生成
• 強み — 汎用対話、コード補助、要約、ツール連携
• 弱み — 幻覚、再現性、数値厳密性、コスト

Part 3 — LLM と学習

LLM の学習パイプライン（全体像）

1. 事前学習（Pre-training）次トークン予測で一般能力を獲得
2. SFT（Supervised Fine-Tuning／教師あり微調整）指示応答形式に整形
3. アライメントRLHF、DPO 等で安全・有用性を調整
4. 推論時拡張RAG、Tool Calling、CoT 等

Part 3 — 学習・性能改善

ファインチューニングと LoRA

• フルファインチューニング — 全パラメータ更新。高品質だがコスト大
• LoRA（Low-Rank Adaptation） — 低ランク行列で差分を学習。パラメータ1〜数%
• QLoRA — 量子化ベース + LoRA。消費GPUを削減
• PEFT（Parameter-Efficient Fine-Tuning） — Adapter, Prefix Tuning 等
• カタストロフィック・フォーゲッティング（破滅的忘却） — 微調整で汎用能力が劣化。対策：混合データ、LoRA採用

Part 3 — 学習・性能改善

継続事前学習と合成データ

• 継続事前学習（Continued Pre-training） — ドメインコーパスでベースを追学習。社内用語・専門知識の注入に有効
• 合成データ（Synthetic Data） — LLM で学習データを生成し SFT。コスト削減・希少ケース補完
• リスク — 品質ばらつき、バイアス増幅、モデル自身の出力で学習する「自己汚染」
• ベストプラクティス — 人間レビュー、多様性担保、ゴールドデータとの混合、品質フィルタ

Part 3 — 学習・性能改善

アライメント・蒸留・圧縮

• RLHF（人間フィードバック強化学習） — 報酬モデル → 方策改善
• DPO（Direct Preference Optimization） — 好みペアから直接最適化
• RLAIF（AI Feedback） — AI がフィードバック元。スケールするが品質管理要
• 知識蒸留 — 教師モデル → 小モデルへ能力移転
• 剪枝（Pruning）、モデルマージ — 圧縮・合成

Part 3 — 推論基盤

量子化・推論最適化

• 量子化 — FP16/BF16 → INT8/INT4（GPTQ, AWQ, GGUF）
• KVキャッシュ — 自己回帰推論の VRAM 消費源
• 推論エンジン — vLLM, TensorRT-LLM, FlashAttention, 投機的デコーディング
• SLM（Small Language Model） — 端末・エッジ向けの小型化トレンド

Part 3 — 推論基盤

コスト設計とハードウェア

• TCO（Total Cost of Ownership） — 学習は一度、推論は毎リクエスト。本番コストの主役は推論
• GPU / VRAM — モデルサイズ・量子化・バッチサイズで必要メモリが決まる
• HBM（High Bandwidth Memory） — 帯域が推論スループットのボトルネックに
• 推論専用 — TPU、LPU（Groq 等）、NPU — 用途別チップ選定
• 設計指針 — API課金 vs 自前GPU、ピーク/平均負荷、レイテンシ SLA

Part 3 — 推論時拡張

RAG と埋め込み検索

• RAG（Retrieval-Augmented Generation） — 検索 → コンテキスト注入 → 生成
• Embedding（埋め込みベクトル） — 意味的類似度検索
• ベクトルDB — pgvector, Pinecone 等 + ANN（近似最近傍探索）
• 課題 — チャンク設計、再ランキング、引用精度、索引更新

Part 3 — マルチモーダル

マルチモーダル AI

• 定義 — テキスト・画像・音声・動画を統合処理（VLM（Vision-Language Model） 等）
• 例 — GPT-4V, LLaVA, Gemini, Whisper（音声→テキスト）
• アーキテクチャ — モダリティ別エンコーダ + 共通 Transformer、または統合トークン列
• 実務 — OCR代替、図表理解、映像監視、音声アシスタント
• 課題 — コスト高、幻覚（画像の誤読）、著作権・肖像権

Part 3 — LLM インターフェース

トークン・コンテキスト・プロンプト

• トークン — BPE, SentencePiece。日本語はトークン効率が悪い傾向
• コンテキストウィンドウ — 上限内で system + history + tools + output を設計
• CoT（Chain-of-Thought）、Few-shot、Structured Output
• パラメータ — temperature、top_p、max_tokens

Part 3 — 評価・運用

評価・MLOps・データ品質

• ベンチマーク — MMLU、HumanEval + 自社ゴールデンセット
• LLM-as-a-Judge、レッドチーミング
• MLOps — モデル版管理、A/B、ログ・監視、回帰テスト
• Observability（可観測性） — トレース、トークンコスト、品質スコアをリクエスト単位で
• GIGO — 学習・RAG 索引のデータ品質が出力を支配

Part 4 — ソフトウェア設計

AI ネイティブなソフトウェア設計

• 確率コンポーネント — LLM は「正しいとは限らない」部品。フォールバック・検証・再試行を設計に組み込む
• Eval-First — 機能実装より先に評価セット（ゴールデン Q&A）を定義
• プロンプト＝設定 — テンプレート・ツール定義を Git 管理。CI で回帰テスト
• レイヤ分離 — オーケストレーション / モデル / データ（RAG）/ ツール を疎結合に
• フィードバックループ — 本番ログ → 評価 → データ改善 → 再学習/プロンプト更新

Part 4 — ソフトウェア設計

ドメイン駆動設計（DDD）× AI

• 境界づけられたコンテキスト（Bounded Context） — 営業・請求・サポートごとに別プロンプト・別RAG・別Eval
• ユビキタス言語 — ドメイン用語をプロンプト・ツールスキーマ・評価基準で統一
• コンテキストマップ — どの文脈で LLM / ルールエンジン / 人間に委ねるかを明示
• 腐敗防止層（Anti-Corruption Layer） — LLM 出力をドメインモデルに入れる前に検証・変換
• 不変条件 — エージェントがビジネスルール（返金上限等）を破らないガード

Part 4 — ソフトウェア設計

AI 駆動型開発（AI-Augmented SDLC）

• 定義 — AI が開発プロセス自体を加速（コード・テスト・ドキュメント・レビュー生成）
• Spec-Driven — 仕様・Evalケースを先に書き、AI が実装案を生成。人間がレビュー
• Agent 型 IDE — Cursor 等。コードベース全体をコンテキストに編集・リファクタ
• 人間のゲート — セキュリティ・契約・本番変更は人間承認必須
• 限界 — AI生成コードも幻覚・脆弱性あり。テストと静的解析は省略しない

Part 4 — ソフトウェア設計

設計の統合 — 3層の関係

古典AI（ルール・探索）と LLM は同一ドメイン内で併用するのが現実的なベストプラクティス。

Part 5 — Agent とガバナンス

Agent 型 AI

• 構成 — LLM + ツール（API, DB, シェル, ブラウザ）のループ
• ReAct、MCP（Model Context Protocol）
• DDD との接続 — エージェントのツール権限を境界コンテキスト単位で制限

Part 5 — Agent とガバナンス

リスクと ML セキュリティ

• ハルシネーション、プロンプトインジェクション、ジェイルブレイク
• メンバーシップ推論 — 学習データに個人が含まれたか推測される攻撃
• モデル抽出 — API クエリでモデルを複製しようとする攻撃
• データポイズニング — 学習・RAG データへの悪意ある注入
• 供給依存 — API 障害、モデル廃止、規約変更

Part 5 — Agent とガバナンス

環境負荷と OSS ライセンス

• 環境負荷 — 大規模学習・推論の電力・CO₂。モデル選定・量子化・キャッシュで削減
• 推論の累積 — 学習より毎日の推論がエネルギー消費の主因になりうる
• OSS モデル — Llama Community License、Apache 2.0、MIT 等。商用・再配布条件が異なる
• 採用時チェック — ライセンス、学習データの申告、モデルカード（性能・限界の文書）

Part 6 — 法規制

国内の動き（日本）

• AI事業者ガイドライン（2024） — 10原則（ソフトロー）
• 個人情報保護法、著作権法、セクター規制

Part 6 — 法規制

国際的な規制動向

• EU AI Act — リスクベース。GPAI（汎用AI） に義務
• 米国 — 大統領令、NIST AI RMF
• 国際枠組み — OECD, G7 Hiroshima AI Process

Appendix

略語クイックリファレンス

LLM / SFT / LoRA

大規模言語モデル／教師あり微調整／低ランク適応

RLHF / DPO / RAG

人間フィードバックRL／直接選好最適化／検索拡張生成

DDD

Domain-Driven Design（ドメイン駆動設計）

TCO / MLOps

総所有コスト／ML運用基盤

PEFT / SLM / VLM

効率的微調整／小型LM／視覚言語モデル

GPAI / MCP / CoT

汎用AI／ツール連携プロトコル／連鎖思考

CNN / RNN / GNN

畳み込み／再帰／グラフ NN

MCTS / CSP / ANN

モンテカルロ木探索／制約充足／近似最近傍