LoRA（Low-Rank Adaptation）

LoRAとは

**LoRA（Low-Rank Adaptation）**は、大規模言語モデル（LLM）においてパラメータの一部だけを効率的に調整する軽量ファインチューニング手法です。2021年にMicrosoft Researchの論文「LoRA: Low-Rank Adaptation of Large Language Models」で提案され、パフォーマンスを損なわずに計算資源と学習時間を大幅に削減できる点から急速に普及しました。

LoRAの背景と必要性

従来のファインチューニングでは、モデル全体のパラメータを更新するため、大規模モデルの場合、次の課題がありました。

• 学習に膨大なGPUメモリと計算時間が必要
• 各タスクに応じて巨大なモデルコピーが必要
• ストレージコストが肥大化

LoRAはこの問題に対し、学習対象を特定の行列に限定し、低ランク行列の形で追加パラメータを導入するというアプローチで解決を図りました。

仕組みと理論

低ランク行列による近似

Transformer層の重み行列をWとすると、LoRAでは以下のように変換を表現します。

W’ = W + ΔW ΔW = A × B

• W: 既存の固定重み
• A,B: 学習する低ランク行列

通常のファインチューニングではW全体を更新しますが、LoRAではAとBのみを訓練するため、パラメータ数が大幅に減少します。

適用箇所

LoRAはTransformerの以下の部分に適用されることが多いです。

• 自己注意機構のクエリ・バリュー行列
• フィードフォワード層の線形変換

特にAttentionの重みが性能に大きく寄与するため、ここにLoRAを挿入するのが一般的です。

ランク（r）の重要性

低ランク行列のランクrは、モデルの表現力とパラメータ削減のトレードオフを決定します。小さいrなら軽量化は進む一方で性能が低下するため、適切な調整が必要です。

利点

• パラメータ効率：通常のファインチューニングの1〜3%程度のパラメータで済む
• 高速学習：更新対象が少ないため収束が早い
• ストレージ削減：差分パラメータのみを保存
• 複数タスクでの柔軟性：共通基盤モデルに複数のLoRAを切り替え可能

導入例・事例

• Hugging Face Transformers：LoRAを標準サポート
• Alpaca（Stanford）：LoRAを用いた教育支援モデルの微調整
• 商用チャットボット：顧客データでLoRAファインチューニングを実施

学習プロセスの流れ

1. データセット作成
   • 指示と応答のペアを準備
2. ベースモデルの選定
   • 例：LLaMA、GPT-NeoX、Bloomなど
3. LoRA設定
   • ランクr、学習率などを決定
4. 訓練
   • A,B行列のみを更新
5. 推論時の合成
   • W + A×Bの形で計算

他手法との比較

手法	概要	特徴
通常ファインチューニング	全パラメータ更新	最も自由度が高いがコストも大
LoRA	低ランク行列のみ学習	効率的で柔軟性高い
Adapter	中間層に追加モジュール	パラメータ分離が容易
Prompt Tuning	入力に仮想トークンを追加	極めて軽量だが表現力制限