知識蒸留(Knowledge Distillation)
大規模で高性能な教師モデルの知識を小規模な生徒モデルに転移する機械学習技術。ソフトターゲットによる学習により、コンパクトなモデルでも教師モデルに近い性能を実現し、実用的なAIシステムの構築を可能にする
#人工知能
#AI基礎
#知識蒸留
#モデル圧縮
#転移学習
詳しく見る
2件の記事が見つかりました
大規模で高性能な教師モデルの知識を小規模な生徒モデルに転移する機械学習技術。ソフトターゲットによる学習により、コンパクトなモデルでも教師モデルに近い性能を実現し、実用的なAIシステムの構築を可能にする
大規模な機械学習モデルのサイズや計算量を削減しながら性能を維持する技術。量子化、プルーニング、知識蒸留などの手法により、エッジデバイスでの効率的な推論や実用的なデプロイメントを可能にする