简述数据清洗的主要步骤和常见方法。

答题要点

数据清洗是数据预处理的重要环节，主要步骤包括数据理解、缺失值处理、异常值处理、重复值处理和数据标准化。首先是数据理解，需要熟悉数据的来源、结构和含义，明确数据的业务背景，这有助于后续的清洗工作。对于缺失值处理，常见的方法有删除包含缺失值的记录、使用统计量（如均值、中位数）填充、根据其他相关变量进行预测填充等。删除缺失值记录简单直接，但可能会丢失部分有用信息；使用统计量填充操作方便，但可能会影响数据的真实性。异常值处理方面，可以通过统计方法（如 Z - score 法）或业务规则来识别异常值，然后选择删除、修正或保留。重复值处理相对简单，可直接删除重复的记录。最后是数据标准化，常见的方法有 Min - Max 标准化和 Z - score 标准化，将数据缩放到特定的范围或具有特定的均值和标准差，以便后续的分析和建模。