トークン（Token） 自然言語処理において、テキストを構成する最小の意味単位。単語、サブワード、文字などの形で表現され、AIモデルが言語を理解・処理するための基本要素として機能する重要な概念 #人工知能 #AI基礎 #トークン #自然言語処理 #言語モデル 詳しく見る