请简要解释什么是数据清洗，以及常见的数据清洗步骤有哪些？

答题要点

数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。常见的数据清洗步骤如下：首先是缺失值处理，数据中可能存在某些字段没有值的情况，处理方式有删除包含缺失值的记录、填充固定值（如均值、中位数）、使用算法预测填充等。其次是重复值处理，通过比较数据记录的关键信息，找出重复记录并进行删除，以保证数据的唯一性。然后是异常值处理，异常值可能会影响数据分析结果，可通过统计方法（如Z - score）或业务规则来识别和处理异常值，处理方式可以是修正、删除或单独分析。最后是数据格式标准化，将数据转换为统一的格式，例如日期格式、数值格式等，方便后续的分析和处理。