クレンジング（Data Cleaning） 生データから不正確、不完全、無関係な情報を特定・修正・除去するデータ前処理プロセス。データ品質を向上させ、機械学習モデルの性能と信頼性を確保する重要な技術 #人工知能 #AI基礎 #データクレンジング #データ品質 #前処理 詳しく見る
トークナイザー（Tokenizer） テキストを機械学習で扱えるトークン単位に分割する前処理技術。自然言語処理の最初のステップとして、文章を単語・サブワード・文字に分解し、AIモデルが理解できる形式に変換する重要な技術 #人工知能 #AI基礎 #トークナイザー #自然言語処理 #前処理 詳しく見る