本篇文章给大家分享了关于python数据处理的相关内容以及要点解释，对此知识点有兴趣的朋友可以参考学习下。
numpy、pandas是python数据处理中经常用到的两个框架，都是采用c语言编写，所以运算速度快。matplotlib是python的的画图工具，可以把之前处理后的数据通过图像绘制出来。之前只是看过语法，没有系统学习总结过，本博文总结了这三个框架的api。
以下是这三个框架的的简单介绍和区别：
numpy：经常用于数据生成和一些运算
pandas：基于numpy构建的，是numpy的升级版本
matplotlib：python中强大的绘图工具
numpy
numpy快速入门教程可参考：numpy tutorial
numpy属性
ndarray.ndim：维度
ndarray.shape：行数和列数，例如(3, 5)
ndarray.size：元素的个数
ndarray.dtype：元素类型
numpy创建
array(object, dtype=none)：使用python的list或者tuple创建数据
zeors(shape, dtype=float)：创建全为0的数据
ones(shape, dtype=none)：创建全为1的数据
empty(shape, dtype=float)：创建没有初始化的数据
arange([start, ]stop, [step, ]dtype=none)：创建固定间隔的数据段
linspace(start, stop, num=50, dtype=none)：在给定的范围，均匀的创建数据
numpy运算
加、减：a + b、a - b
乘：b*2、10*np.sin(a)
次方：b**2
判断：a<35，输出true或false的数组
矩阵乘：np.dot(a,b) 或 a.dot(b)
其他：+=、-+、sin、cos、exp
numpy索引
数组索引方式：a[1, 1]
切片：a[1, 1:3]
迭代：for item in a.flat
numpy其他
reshape(a, newshape)：改变数据形状，不会对原始数据进行修改，返回一组新数据
resize(a, new_shape)：改变数据形状，会对原始数据进行修改，不返回数据
ravel(a)：将成一维返回
vstack(tup)：上下合并
hstack(tup)：左右合并
hsplit(ary, indices_or_sections)：水平分割n份
vsplit(ary, indices_or_sections)：垂直分割n份
copy(a)：深度拷贝
pandas
pandas快速入门教程可参考：10 minutes to pandas
pandas数据结构
pandas的数据结构有两种：series和dataframe。
series：索引在左边，值在右边。创建方式如下：
in [4]: s = pd.series([1,3,5,np.nan,6,8]) in [5]: s out[5]: 0 1.0 1 3.0 2 5.0 3 nan 4 6.0 5 8.0 dtype: float64
dataframe：是一个表格型的数据结构，既有行索引也有列索引， 它可以被看做由series组成的大字典。创建方式如下：
in [6]: dates = pd.date_range('20130101', periods=6) in [7]: dates out[7]: datetimeindex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04', '2013-01-05', '2013-01-06'], dtype='datetime64[ns]', freq='d') in [8]: df = pd.dataframe(np.random.randn(6,4), index=dates, columns=list('abcd'))
pandas查看数据
index：索引
columns：列索引
values：值
head(n=5)：返回前n项数据
tail(n=5)：返回后n项数据
describe()：打印出数据的数量、平均值等各项数据
sort_index(axis=1, ascending=false)：根据索引排序
sort_values(by='b')：根据索引值排序
pandas选择数据
数组选择方式：df[‘a']
切片选择方式：df[0:3] 或 df[‘20130102':'20130104']
根据标签选择：df.loc[‘20130102':'20130104',[‘a','b']]
根据位置选择：df.iloc[3:5,0:2]
混合选择：df.ix[:3,[‘a','c']]
条件判断选择：df[df.a > 0]
pandas处理丢失数据
删除丢失数据的行：df.dropna(how='any')
填充丢失数据：df.fillna(value=5)
数据值是否为nan：pd.isna(df1)
pandas合并数据
pd.concat([df1, df2, df3], axis=0)：合并df
pd.merge(left, right, on='key')：根据key字段合并
df.append(s, ignore_index=true)：添加数据
pandas导入导出
df.to_csv(‘foo.csv')：保存到csv文件
pd.read_csv(‘foo.csv')：从csv文件读取
df.to_excel(‘foo.xlsx', sheet_name='sheet1')：保存到excel文件
pd.read_excel(‘foo.xlsx', ‘sheet1', index_col=none, na_values=[‘na'])：从excel文件读取
matplotlib
这里只介绍最简单的出图方式：
import pandas as pd import numpy as np import matplotlib.pyplot as plt # 随机生成1000个数据 data = pd.series(np.random.randn(1000),index=np.arange(1000)) # 为了方便观看效果, 我们累加这个数据 data.cumsum() # pandas 数据可以直接观看其可视化形式 data.plot() plt.show()
相关推荐：
浅谈python日志的配置文件路径问题
以上就是浅析python数据处理的详细内容。