クレンジングとは

データクレンジング（Data Cleaning）は、生データから不正確、不完全、無関係、または重複した情報を特定し、修正または除去するデータ前処理プロセスです。欠損値処理、外れ値検出、重複除去、データ型変換、一貫性チェックなど、様々な技術を駆使してデータ品質を向上させます。機械学習において「ガベージイン、ガベージアウト」の原則通り、質の低いデータからは質の低い結果しか得られないため、クレンジングは高性能で信頼性の高いAIシステム構築の基盤となる重要な技術です。

背景と重要性

現実世界のデータは完璧ではありません。センサーエラー、入力ミス、システム障害、通信エラーなど様々な要因により、データには不完全性や不正確性が含まれます。また、異なるシステムから収集されたデータには形式の不統一や意味の不整合も発生します。

データクレンジングは、

• データ品質の向上
• モデル性能の最大化
• 信頼性の確保

を実現することで、実用的で高性能なAIシステムの構築を可能にします。特に、医療、金融、自動運転など高い信頼性が求められる分野において、その重要性は計り知れません。

主な構成要素

データ検証（Data Validation）

データの正確性と完全性を確認するプロセスです。

異常検出（Anomaly Detection）

統計的または機械学習手法による外れ値の特定です。

欠損値処理（Missing Value Handling）

欠損データの補完または除去戦略です。

重複除去（Deduplication）

同一または類似レコードの特定と統合です。

形式統一（Format Standardization）

データ型、単位、表記の統一化です。

一貫性チェック（Consistency Check）

データ間の論理的整合性の確認です。

主な特徴

品質向上

データの正確性、完全性、一貫性を改善します。

ノイズ除去

学習に悪影響を与える不要な情報を除去します。

信頼性確保

モデルの予測結果の信頼性を向上させます。

主要なデータ品質問題

データ品質の次元

正確性（Accuracy）

問題: 間違った値、測定エラー
例: 年齢が-5歳、体重が1000kg
対策: 範囲チェック、外れ値検出

完全性（Completeness）

問題: 欠損値、NULL値
例: 顧客情報の電話番号が空白
対策: 補完、除去、フラグ設定

一貫性（Consistency）

問題: データ間の矛盾
例: 生年月日と年齢の不一致
対策: 制約チェック、クロス検証

一意性（Uniqueness）

問題: 重複レコード
例: 同一顧客の複数登録
対策: 重複検出、統合

適時性（Timeliness）

問題: 古い、期限切れデータ
例: 1年前の株価情報
対策: タイムスタンプチェック、更新

妥当性（Validity）

問題: 形式・制約違反
例: 日付形式の不統一
対策: 形式検証、変換

欠損値処理

欠損値の種類と特性

MCAR（Missing Completely At Random）

import pandas as pd
import numpy as np

# 完全にランダムな欠損
def create_mcar_missing(data, missing_rate=0.1):
    """完全ランダム欠損の生成"""
    mask = np.random.random(data.shape) < missing_rate
    data_missing = data.copy()
    data_missing[mask] = np.nan
    return data_missing

MAR（Missing At Random）

def create_mar_missing(data, dependent_col, target_col, missing_rate=0.2):
    """他の変数に依存する欠損"""
    # dependent_colの値に基づいて欠損を生成
    high_values = data[dependent_col] > data[dependent_col].median()
    
    data_missing = data.copy()
    missing_indices = data[high_values].sample(
        frac=missing_rate
    ).index
    
    data_missing.loc[missing_indices, target_col] = np.nan
    return data_missing

MNAR（Missing Not At Random）

def create_mnar_missing(data, target_col, threshold_percentile=80):
    """値そのものに依存する欠損"""
    threshold = data[target_col].quantile(threshold_percentile / 100)
    
    data_missing = data.copy()
    # 高い値ほど欠損しやすい
    high_value_mask = data[target_col] > threshold
    data_missing.loc[high_value_mask, target_col] = np.nan
    
    return data_missing

欠損値処理手法

除去法

# リストワイズ削除（行全体を削除）
df_listwise = df.dropna()

# ペアワイズ削除（分析ごとに利用可能データのみ使用）
correlation_matrix = df.corr()  # 自動的にペアワイズ削除

# 完全ケースのみ保持
complete_cases = df.dropna(subset=['important_column'])

補完法

from sklearn.impute import SimpleImputer, KNNImputer
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer

# 単純補完
imputer_mean = SimpleImputer(strategy='mean')
imputer_median = SimpleImputer(strategy='median')
imputer_mode = SimpleImputer(strategy='most_frequent')

# 前方埋め・後方埋め（時系列データ）
df_ffill = df.fillna(method='ffill')  # 前方埋め
df_bfill = df.fillna(method='bfill')  # 後方埋め

# k-NN補完
knn_imputer = KNNImputer(n_neighbors=5)
df_knn = pd.DataFrame(
    knn_imputer.fit_transform(df),
    columns=df.columns
)

# 反復補完（MICE）
iterative_imputer = IterativeImputer(random_state=42)
df_mice = pd.DataFrame(
    iterative_imputer.fit_transform(df),
    columns=df.columns
)

高度な補完手法

# 線形補間
df_interpolated = df.interpolate(method='linear')

# 時系列特化補間
df_time_interpolated = df.interpolate(method='time')

# カスタム補完関数
def custom_impute(group):
    """グループ別カスタム補完"""
    if group['category'].iloc[0] == 'A':
        return group.fillna(group.mean())
    else:
        return group.fillna(group.median())

df_custom = df.groupby('category').apply(custom_impute)

外れ値検出と処理

統計的手法

Z-score法

def detect_outliers_zscore(data, threshold=3):
    """Z-scoreによる外れ値検出"""
    z_scores = np.abs((data - data.mean()) / data.std())
    return z_scores > threshold

# 使用例
outliers = detect_outliers_zscore(df['value'])
df_cleaned = df[~outliers]

IQR法

def detect_outliers_iqr(data, k=1.5):
    """四分位範囲による外れ値検出"""
    Q1 = data.quantile(0.25)
    Q3 = data.quantile(0.75)
    IQR = Q3 - Q1
    
    lower_bound = Q1 - k * IQR
    upper_bound = Q3 + k * IQR
    
    return (data < lower_bound) | (data > upper_bound)

# 使用例
outliers = detect_outliers_iqr(df['value'])
df_cleaned = df[~outliers]

修正Z-score法（ロバスト）

def detect_outliers_modified_zscore(data, threshold=3.5):
    """修正Z-scoreによる外れ値検出"""
    median = np.median(data)
    mad = np.median(np.abs(data - median))
    modified_z_scores = 0.6745 * (data - median) / mad
    return np.abs(modified_z_scores) > threshold

機械学習による外れ値検出

Isolation Forest

from sklearn.ensemble import IsolationForest

def detect_outliers_isolation_forest(data, contamination=0.1):
    """Isolation Forestによる外れ値検出"""
    iso_forest = IsolationForest(
        contamination=contamination,
        random_state=42
    )
    
    outliers = iso_forest.fit_predict(data)
    return outliers == -1  # -1が外れ値

# 使用例
outliers = detect_outliers_isolation_forest(df[['feature1', 'feature2']])
df_cleaned = df[~outliers]

Local Outlier Factor (LOF)

from sklearn.neighbors import LocalOutlierFactor

def detect_outliers_lof(data, n_neighbors=20, contamination=0.1):
    """LOFによる外れ値検出"""
    lof = LocalOutlierFactor(
        n_neighbors=n_neighbors,
        contamination=contamination
    )
    
    outliers = lof.fit_predict(data)
    return outliers == -1

# 使用例
outliers = detect_outliers_lof(df[['feature1', 'feature2']])
df_cleaned = df[~outliers]

One-Class SVM

from sklearn.svm import OneClassSVM

def detect_outliers_ocsvm(data, nu=0.1):
    """One-Class SVMによる外れ値検出"""
    ocsvm = OneClassSVM(nu=nu)
    outliers = ocsvm.fit_predict(data)
    return outliers == -1

# 使用例
outliers = detect_outliers_ocsvm(df[['feature1', 'feature2']])
df_cleaned = df[~outliers]

重複データ処理

重複検出

完全重複の検出

# 完全に同一の行を検出
duplicates = df.duplicated()
print(f"重複行数: {duplicates.sum()}")

# 特定列での重複
duplicates_subset = df.duplicated(subset=['id', 'name'])

# 重複の表示
duplicate_rows = df[df.duplicated(keep=False)]

類似重複の検出

from fuzzywuzzy import fuzz
from fuzzywuzzy import process

def find_similar_records(df, column, threshold=90):
    """文字列類似度による重複検出"""
    similar_pairs = []
    
    for i, record1 in enumerate(df[column]):
        for j, record2 in enumerate(df[column]):
            if i < j:  # 重複計算を避ける
                similarity = fuzz.ratio(str(record1), str(record2))
                if similarity >= threshold:
                    similar_pairs.append((i, j, similarity))
    
    return similar_pairs

# 使用例
similar_records = find_similar_records(df, 'company_name', threshold=85)

重複除去戦略

シンプルな除去

# 最初の出現を保持
df_dedup = df.drop_duplicates(keep='first')

# 最後の出現を保持
df_dedup = df.drop_duplicates(keep='last')

# すべての重複を除去
df_dedup = df.drop_duplicates(keep=False)

高度な統合戦略

def merge_duplicate_records(group):
    """重複レコードの統合"""
    merged = {}
    
    for column in group.columns:
        # 非NULL値を優先
        non_null_values = group[column].dropna()
        if len(non_null_values) > 0:
            if group[column].dtype in ['int64', 'float64']:
                # 数値は平均値
                merged[column] = non_null_values.mean()
            else:
                # 文字列は最も頻度の高い値
                merged[column] = non_null_values.mode().iloc[0]
        else:
            merged[column] = np.nan
    
    return pd.Series(merged)

# グループ化して統合
df_merged = df.groupby('id').apply(merge_duplicate_records).reset_index(drop=True)

データ形式の統一

日付・時刻の統一

日付形式の標準化

def standardize_dates(df, date_columns):
    """日付形式の統一"""
    for col in date_columns:
        # 複数の形式を試行
        df[col] = pd.to_datetime(df[col], infer_datetime_format=True, errors='coerce')
        
        # カスタム形式の処理
        mask = df[col].isna()
        if mask.any():
            try:
                df.loc[mask, col] = pd.to_datetime(
                    df.loc[mask, col], 
                    format='%Y/%m/%d',
                    errors='coerce'
                )
            except:
                pass
    
    return df

# 使用例
df_cleaned = standardize_dates(df, ['birth_date', 'registration_date'])

テキストデータの統一

文字列の標準化

def standardize_text(text):
    """テキストの標準化"""
    if pd.isna(text):
        return text
    
    # 小文字変換
    text = text.lower()
    
    # 余分な空白除去
    text = ' '.join(text.split())
    
    # 特殊文字の統一
    replacements = {
        '&': 'and',
        '@': 'at',
        '%': 'percent'
    }
    
    for old, new in replacements.items():
        text = text.replace(old, new)
    
    return text.strip()

# カテゴリの統一
def standardize_categories(df, column, mapping=None):
    """カテゴリ値の統一"""
    if mapping is None:
        # 自動的に類似カテゴリを統合
        unique_values = df[column].unique()
        mapping = create_category_mapping(unique_values)
    
    df[column] = df[column].map(mapping).fillna(df[column])
    return df

# 使用例
df['company_name'] = df['company_name'].apply(standardize_text)

一貫性チェック

クロス検証

論理的一貫性チェック

def check_logical_consistency(df):
    """論理的一貫性の確認"""
    issues = []
    
    # 年齢と生年月日の一貫性
    current_year = pd.Timestamp.now().year
    calculated_age = current_year - df['birth_year']
    age_diff = abs(df['age'] - calculated_age)
    
    inconsistent_age = age_diff > 1
    if inconsistent_age.any():
        issues.append(f"年齢の不一致: {inconsistent_age.sum()}件")
    
    # 開始日と終了日の順序
    if 'start_date' in df.columns and 'end_date' in df.columns:
        invalid_dates = df['start_date'] > df['end_date']
        if invalid_dates.any():
            issues.append(f"日付順序の不整合: {invalid_dates.sum()}件")
    
    # 範囲チェック
    if 'salary' in df.columns:
        invalid_salary = (df['salary'] < 0) | (df['salary'] > 10000000)
        if invalid_salary.any():
            issues.append(f"給与の異常値: {invalid_salary.sum()}件")
    
    return issues

# 使用例
consistency_issues = check_logical_consistency(df)
for issue in consistency_issues:
    print(f"警告: {issue}")

自動化されたクレンジングパイプライン

包括的クレンジング

統合クレンジングパイプライン

class DataCleaningPipeline:
    def __init__(self):
        self.cleaning_steps = []
        self.statistics = {}
    
    def add_step(self, step_func, step_name):
        """クレンジングステップの追加"""
        self.cleaning_steps.append((step_func, step_name))
    
    def clean(self, df):
        """クレンジングパイプラインの実行"""
        cleaned_df = df.copy()
        
        for step_func, step_name in self.cleaning_steps:
            print(f"実行中: {step_name}")
            before_shape = cleaned_df.shape
            
            cleaned_df = step_func(cleaned_df)
            
            after_shape = cleaned_df.shape
            self.statistics[step_name] = {
                'before': before_shape,
                'after': after_shape,
                'removed_rows': before_shape[0] - after_shape[0]
            }
        
        return cleaned_df
    
    def print_statistics(self):
        """クレンジング統計の表示"""
        for step_name, stats in self.statistics.items():
            print(f"{step_name}:")
            print(f"  削除行数: {stats['removed_rows']}")
            print(f"  残存行数: {stats['after'][0]}")

# 使用例
pipeline = DataCleaningPipeline()
pipeline.add_step(lambda df: df.dropna(), "欠損値除去")
pipeline.add_step(lambda df: df.drop_duplicates(), "重複除去")
pipeline.add_step(lambda df: df[detect_outliers_zscore(df['value']) == False], "外れ値除去")

cleaned_df = pipeline.clean(df)
pipeline.print_statistics()

活用事例・ユースケース

データクレンジングは、あらゆるデータサイエンスプロジェクトの基盤として活用されています。

顧客データ管理

顧客情報の重複統合、連絡先の形式統一、不正確な情報の修正で、CRMシステムの品質向上を実現。

金融取引分析

取引データの異常検出、欠損値補完、時系列の一貫性チェックで、リスク分析の精度向上を図る。

医療データ解析

患者データの匿名化、検査値の外れ値検出、診断コードの標準化で、診断支援システムの信頼性確保。

IoTセンサーデータ

センサー故障による異常値除去、通信エラーによる欠損データ補完で、予知保全システムの精度向上。

ソーシャルメディア分析

投稿データのスパム除去、重複コンテンツ削除、テキストの正規化で、感情分析の品質向上。

学ぶためのおすすめリソース

書籍

「Data Wrangling with Python」（Jacqueline Kazil他）、「Bad Data Handbook」（Q. Ethan McCallum）

オンラインコース

Coursera「Data Analysis with Python」、edX「Introduction to Data Science」

実装ツール

pandas、OpenRefine、Trifacta、Great Expectations

論文

「Data Quality: The Other Face of Big Data」、「Automated Data Cleaning: Survey and Research Directions」

よくある質問（FAQ）

Q. どこまで厳格にクレンジングすべきですか？
A. データの用途と品質要求に応じて判断します。分析的用途なら80%の品質で十分な場合もありますが、医療や金融では99%以上が求められます。

Q. 自動化と手動のバランスはどうすべきですか？
A. 大規模データは自動化を中心とし、重要な判断や例外処理で人間が介入するハイブリッド方式が効果的です。

Q. クレンジング後のデータ検証は必要ですか？
A. はい。クレンジング結果の品質確認、統計的特性の変化チェック、ビジネスロジックとの整合性確認が重要です。

関連キーワード

データ品質、前処理、欠損値、外れ値、重複除去

まとめ

データクレンジングは、高品質なAIシステム構築のための最も基礎的で重要な技術です。欠損値処理、外れ値検出、重複除去、形式統一など様々な手法を組み合わせることで、データ品質を大幅に向上させることができます。自動化技術の発展により効率性が向上していますが、ドメイン知識に基づく適切な判断も依然として重要です。今後も、より知的で効率的なクレンジング技術の発展により、データの価値最大化が促進されるでしょう。