`python\nimport pandas as pd\n\n# 读取CSV文件\ndf = pd.readcsv('data.csv', encoding='utf-8')\n\n# 读取Excel文件\ndf = pd.readexcel('data.xlsx', sheetname='Sheet1')\n\n# 读取JSON文件\ndf = pd.readjson('data.json')\n`\n\n### 2.2 数据概览\n\n使用以下方法快速了解数据:\n\n`python\n# 查看前5行\ndf.head()\n\n# 查看数据形状(行数、列数)\ndf.shape\n\n# 查看数据类型和非空计数\ndf.info()\n\n# 数值型数据的统计摘要\ndf.describe()\n\n# 分类数据的频数统计\ndf['columnname'].valuecounts()\n`\n\n## 三、缺失值处理\n\n### 3.1 检测缺失值\n\n`python\n# 检查每列缺失值数量\ndf.isnull().sum()\n\n# 检查缺失值比例\ndf.isnull().sum() / len(df) 100\n\n# 可视化缺失值(需安装missingno库)\nimport missingno as msno\nmsno.matrix(df)\n`\n\n### 3.2 缺失值处理方法\n\n根据《数据处理》教程,缺失值处理策略包括:\n\n删除法:\n`python\n# 删除含有缺失值的行\ndf.dropna()\n\n# 删除缺失值超过50%的列\ndf.dropna(axis=1, thresh=len(df)0.5)\n`\n\n填充法:\n`python\n# 用均值填充数值型缺失值\ndf['numericcol'].fillna(df['numericcol'].mean(), inplace=True)\n\n# 用中位数填充分布偏斜的数据\ndf['numericcol'].fillna(df['numericcol'].median(), inplace=True)\n\n# 用众数填充分类数据\ndf['categoricalcol'].fillna(df['categoricalcol'].mode()[0], inplace=True)\n\n# 前向填充(适用于时间序列)\ndf['col'].fillna(method='ffill', inplace=True)\n\n# 插值法\ndf['numericcol'].interpolate(method='linear', inplace=True)\n`\n\n预测填充: 使用机器学习模型(如KNN、随机森林)预测缺失值,适用于重要数据列。\n\n## 四、重复值处理\n\n`python\n# 检测重复行\ndf.duplicated().sum()\n\n# 查看重复行\ndf[df.duplicated(keep=False)]\n\n# 删除完全重复的行\ndf.dropduplicates(inplace=True)\n\n# 基于特定列去重\ndf.dropduplicates(subset=['userid', 'timestamp'], inplace=True)\n`\n\n## 五、异常值检测与处理\n\n### 5.1 异常值检测方法\n\n统计方法 — 3σ原则:\n`python\nmean = df['col'].mean()\nstd = df['col'].std()\noutliers = df[(df['col'] < mean - 3std) | (df['col'] > mean + 3std)]\n`\n\nIQR法(四分位距):\n`python\nQ1 = df['col'].quantile(0.25)\nQ3 = df['col'].quantile(0.75)\nIQR = Q3 - Q1\nlowerbound = Q1 - 1.5 * IQR\nupperbound = Q3 + 1.5 * IQR\noutliers = df[(df['col'] < lowerbound) | (df['col'] > upperbound)]\n`\n\n可视化检测: 箱线图是识别异常值的直观工具。\n\n### 5.2 异常值处理策略\n\n`python\n# 删除异常值\ndfclean = df[(df['col'] >= lowerbound) & (df['col'] <= upperbound)]\n\n# 截断(Winsorizing)— 将异常值替换为边界值\ndf['col'] = df['col'].clip(lower=lowerbound, upper=upperbound)\n\n# 替换为缺失值后填充\ndf.loc[(df['col'] < lowerbound) | (df['col'] > upperbound), 'col'] = np.nan\n`\n\n## 六、数据类型转换与格式标准化\n\n### 6.1 数据类型转换\n\n`python\n# 字符串转数值\ndf['col'] = pd.tonumeric(df['col'], errors='coerce')\n\n# 字符串转日期时间\ndf['date'] = pd.todatetime(df['date'], format='%Y-%m-%d')\n\n# 数值转分类\ndf['category'] = df['category'].astype('category')\n`\n\n### 6.2 字符串清洗\n\n`python\n# 去除空格\ndf['col'] = df['col'].str.strip()\n\n# 统一大小写\ndf['col'] = df['col'].str.lower()\n\n# 替换特定字符\ndf['col'] = df['col'].str.replace('旧值', '新值', regex=False)\n\n# 提取匹配模式\ndf['提取列'] = df['col'].str.extract(r'(\\d+)')\n`\n\n## 七、数据变换与特征工程\n\n### 7.1 标准化与归一化\n\n`python\nfrom sklearn.preprocessing import StandardScaler, MinMaxScaler\n\n# Z-score标准化(均值0,标准差1)\nscaler = StandardScaler()\ndf[['col1', 'col2']] = scaler.fittransform(df[['col1', 'col2']])\n\n# Min-Max归一化(范围[0,1])\nscaler = MinMaxScaler()\ndf[['col1', 'col2']] = scaler.fittransform(df[['col1', 'col2']])\n`\n\n### 7.2 离散化分箱\n\n`python\n# 等宽分箱\ndf['bin'] = pd.cut(df['col'], bins=5, labels=['很低','低','中','高','很高'])\n\n# 等频分箱\ndf['bin'] = pd.qcut(df['col'], q=5, labels=['Q1','Q2','Q3','Q4','Q5'])\n`\n\n### 7.3 分类变量编码\n\n`python\n# 标签编码(有序分类)\nmapping = {'低': 0, '中': 1, '高': 2}\ndf['category'] = df['category'].map(mapping)\n\n# 独热编码(One-Hot Encoding)\ndf = pd.getdummies(df, columns=['category'], drop_first=True)\n`\n\n## 八、\n\n本文系统介绍了基于Pandas的数据预处理全流程,涵盖数据加载、概览、缺失值和质量异常值处理、格式转换以及特征工程。《数据处理》(中国水利水电出版社)教程强调,高质量的数据预处理是整个分析的基础——每一步决策(如填充策略、异常值阈值)都需结合业务背景和最优化据本身的特点。初学者建议结合实际数据集反复练习,形成Checklist化的预处理习惯(离\tdfpipeline),才能更确保本可靠性析的准确性。如若转载,请注明出处:http://www.naipu-dianchi.com/product/106.html
更新时间:2026-11-21 15:03:58