请简述数据清洗的主要步骤和常见方法。

答题要点

数据清洗的主要步骤包括数据探查、缺失值处理、异常值处理、重复值处理和数据标准化。首先是数据探查，通过查看数据的基本信息、统计描述等，了解数据的整体情况，如数据类型、取值范围、分布等。对于缺失值，可以采用删除法，删除含有缺失值的记录；填充法，如用均值、中位数、众数填充；或者使用插值法。异常值处理可通过统计方法，如基于标准差的方法识别超出一定范围的值，然后选择修正或删除。重复值处理相对简单，直接删除重复的记录即可。数据标准化则是将数据转换为统一的格式和范围，常见方法有最小 - 最大标准化和 Z - 分数标准化。最小 - 最大标准化将数据缩放到 [0, 1] 区间，公式为 (x - min) / (max - min)；Z - 分数标准化基于数据的均值和标准差，公式为 (x - mean) / std。这些步骤和方法能够有效提高数据质量，为后续的数据分析和建模工作奠定良好基础。