【Pandas 教程系列】- Pandas 常用函数

下列出了 Pandas 常用的一些函数及使用实例：

读取数据



实例

1. import pandas as pd
   
2. 
   
3. # 从 CSV 文件中读取数据
   
4. df = pd.read_csv('data.csv')
   
5. 
   
6. # 从 Excel 文件中读取数据
   
7. df = pd.read_excel('data.xlsx')
   
8. 
   
9. # 从 SQL 数据库中读取数据
   
10. import sqlite3
    
11. conn = sqlite3.connect('database.db')
    
12. df = pd.read_sql('SELECT * FROM table_name', conn)
    
13. 
    
14. # 从 JSON 字符串中读取数据
    
15. json_string = '{"name": "John", "age": 30, "city": "New York"}'
    
16. df = pd.read_json(json_string)
    
17. 
    
18. # 从 HTML 页面中读取数据
    
19. url = 'https://www.runoob.com'
    
20. dfs = pd.read_html(url)
    
21. df = dfs[0] # 选择第一个数据框

复制代码

查看数据



实例

1. # 显示前五行数据
   
2. df.head()
   
3. 
   
4. # 显示后五行数据
   
5. df.tail()
   
6. 
   
7. # 显示数据信息
   
8. df.info()
   
9. 
   
10. # 显示基本统计信息
    
11. df.describe()
    
12. 
    
13. # 显示数据的行数和列数
    
14. df.shape

复制代码

实例

1. import pandas as pd
   
2. 
   
3. data = [
   
4.     {"name": "Google", "likes": 25, "url": "https://www.google.com"},
   
5.     {"name": "Runoob", "likes": 30, "url": "https://www.runoob.com"},
   
6.     {"name": "Taobao", "likes": 35, "url": "https://www.taobao.com"}
   
7. ]
   
8. 
   
9. df = pd.DataFrame(data)
   
10. # 显示前两行数据
    
11. print(df.head(2))
    
12. # 显示前最后一行数据
    
13. print(df.tail(1))

复制代码

以上实例输出结果为：

1.      name  likes                     url
   
2. 0  Google     25  https://www.google.com
   
3. 1  Runoob     30  https://www.runoob.com
   
4.      name  likes                     url
   
5. 2  Taobao     35  https://www.taobao.com

复制代码

数据清洗



实例

1. # 删除包含缺失值的行或列
   
2. df.dropna()
   
3. 
   
4. # 将缺失值替换为指定的值
   
5. df.fillna(0)
   
6. 
   
7. # 将指定值替换为新值
   
8. df.replace('old_value', 'new_value')
   
9. 
   
10. # 检查是否有重复的数据
    
11. df.duplicated()
    
12. 
    
13. # 删除重复的数据
    
14. df.drop_duplicates()

复制代码

数据选择和切片



实例

1. # 选择指定的列
   
2. df['column_name']
   
3. 
   
4. # 通过标签选择数据
   
5. df.loc[row_index, column_name]
   
6. 
   
7. # 通过位置选择数据
   
8. df.iloc[row_index, column_index]
   
9. 
   
10. # 通过标签或位置选择数据
    
11. df.ix[row_index, column_name]
    
12. 
    
13. # 选择指定的列
    
14. df.filter(items=['column_name1', 'column_name2'])
    
15. 
    
16. # 选择列名匹配正则表达式的列
    
17. df.filter(regex='regex')
    
18. 
    
19. # 随机选择 n 行数据
    
20. df.sample(n=5)

复制代码

数据排序



实例

1. # 按照指定列的值排序
   
2. df.sort_values('column_name')
   
3. 
   
4. # 按照多个列的值排序
   
5. df.sort_values(['column_name1', 'column_name2'], ascending=[True, False])
   
6. 
   
7. # 按照索引排序
   
8. df.sort_index()

复制代码

数据分组和聚合



实例

1. # 按照指定列进行分组
   
2. df.groupby('column_name')
   
3. 
   
4. # 对分组后的数据进行聚合操作
   
5. df.aggregate('function_name')
   
6. 
   
7. # 生成透视表
   
8. df.pivot_table(values='value', index='index_column', columns='column_name', aggfunc='function_name')

复制代码

数据合并



实例

1. # 将多个数据框按照行或列进行合并
   
2. 
   
3. df = pd.concat([df1, df2])
   
4. 
   
5. # 按照指定列将两个数据框进行合并
   
6. df = pd.merge(df1, df2, on='column_name')

复制代码

实例

假设我们有如下的 JSON 数据，数据保存到 data.json 文件：

data.json 文件

1. [
   
2.   {
   
3.     "name": "Alice",
   
4.     "age": 25,
   
5.     "gender": "female",
   
6.     "score": 80
   
7.   },
   
8.   {
   
9.     "name": "Bob",
   
10.     "age": null,
    
11.     "gender": "male",
    
12.     "score": 90
    
13.   },
    
14.   {
    
15.     "name": "Charlie",
    
16.     "age": 30,
    
17.     "gender": "male",
    
18.     "score": null
    
19.   },
    
20.   {
    
21.     "name": "David",
    
22.     "age": 35,
    
23.     "gender": "male",
    
24.     "score": 70
    
25.   }
    
26. ]

复制代码

我们可以使用 Pandas 读取 JSON 数据，并进行数据清洗和处理、数据选择和过滤、数据统计和描述等操作，具体如下：

实例

1. import pandas as pd
   
2. 
   
3. # 读取 JSON 数据
   
4. df = pd.read_json('data.json')
   
5. 
   
6. # 删除缺失值
   
7. df = df.dropna()
   
8. 
   
9. # 用指定的值填充缺失值
   
10. df = df.fillna({'age': 0, 'score': 0})
    
11. 
    
12. # 重命名列名
    
13. df = df.rename(columns={'name': '姓名', 'age': '年龄', 'gender': '性别', 'score': '成绩'})
    
14. 
    
15. # 按成绩排序
    
16. df = df.sort_values(by='成绩', ascending=False)
    
17. 
    
18. # 按性别分组并计算平均年龄和成绩
    
19. grouped = df.groupby('性别').agg({'年龄': 'mean', '成绩': 'mean'})
    
20. 
    
21. # 选择成绩大于等于90的行，并只保留姓名和成绩两列
    
22. df = df.loc[df['成绩'] >= 90, ['姓名', '成绩']]
    
23. 
    
24. # 计算每列的基本统计信息
    
25. stats = df.describe()
    
26. 
    
27. # 计算每列的平均值
    
28. mean = df.mean()
    
29. 
    
30. # 计算每列的中位数
    
31. median = df.median()
    
32. 
    
33. # 计算每列的众数
    
34. mode = df.mode()
    
35. 
    
36. # 计算每列非缺失值的数量
    
37. count = df.count()

复制代码

出结果如下：

1. # df
   
2.    姓名  年龄 性别  成绩
   
3. 1  Bob   0  male  90
   
4. 
   
5. # grouped
   
6.              年龄  成绩
   
7. 性别               
   
8. female  25.000000  80
   
9. male    27.500000  80
   
10. 
    
11. # stats
    
12.          成绩
    
13. count   1.0
    
14. mean   90.0
    
15. std     NaN
    
16. min    90.0
    
17. 25%    90.0
    
18. 50%    90.0
    
19. 75%    90.0
    
20. max    90.0
    
21. 
    
22. # mean
    
23. 成绩    90.0
    
24. dtype: float64
    
25. 
    
26. # median
    
27. 成绩    90.0
    
28. dtype: float64
    
29. 
    
30. # mode
    
31.     姓名    成绩
    
32. 0  Bob  90.0
    
33. 
    
34. # count
    
35. 姓名    1
    
36. 成绩    1
    
37. dtype: int64

复制代码