トークナイザー（Tokenizer） テキストを機械学習で扱えるトークン単位に分割する前処理技術。自然言語処理の最初のステップとして、文章を単語・サブワード・文字に分解し、AIモデルが理解できる形式に変換する重要な技術 #人工知能 #AI基礎 #トークナイザー #自然言語処理 #前処理 詳しく見る