本篇文章给大家带来了关于python的相关知识,其中主要介绍了关于数据合并的相关问题,包括了concat函数与merge函数等内容,下面一起来看一下,希望对大家有帮助。
推荐学习:python视频教程
一、concat函数concat()函数可以沿着一条轴将多个对象进行堆叠,其使用方式类似数据库中的数据表合并
pandas.concat(objs, axis=0, join=’outer’, join_axes=none, ignore_index=false, keys=none, levels=none, verify_integrity=false, sort=none, copy=true)参数含义如下:参数作用
axis 表示连接的轴向,可以为0或者1,默认为0
join 表示连接的方式,inner表示内连接,outer表示外连接,默认使用外连接
ignore_index 接收布尔值,默认为false。如果设置为true,则表示清除现有索引并重置索引值
keys 接收序列,表示添加最外层索引
levels 用于构建multiindex的特定级别(唯一值)
names 设置了keys和level参数后,用于创建分层级别的名称
verify_integerity 检查新的连接轴是否包含重复项。接收布尔值,当设置为true时,如果有重复的轴将会抛出错误,默认为false
根据轴方向的不同,可以将堆叠分成横向堆叠与纵向堆叠,默认采用的是纵向堆叠方式
在堆叠数据时,默认采用的是外连接(join参数设为outer)的方式进行合并,当然也可以通过join=inner设置为内连接的方式。
1)横向堆叠与外连接import pandas as pddf1=pd.dataframe({'a':['a0','a1','a2'], 'b':['b0','b1','b2']})df1
df2=pd.dataframe({'c':['c0','c1','c2'], 'd':['d0','d1','d2']})df2
横向堆叠合并df1和df2,采用外连接的方式pd.concat([df1,df2],join='outer',axis=1)
2) 纵向堆叠与内链接import pandas as pdfirst=pd.dataframe({'a':['a0','a1','a2'], 'b':['b0','b1','b2'], 'c':['c0','c1','c2']})first
second=pd.dataframe({'b':['b3','b4','b5'], 'c':['c3','c4','c5'], 'd':['d3','d4','d5']})second
当使用concat()函数合并时,若是将axis参数的值设为0,且join参数的值设为inner,则代表着使用纵向堆叠与内连接的方式进行合并pd.concat([first,second],join='inner',axis=0)
二、merge()函数1)主键合并数据
在使用merge()函数进行合并时,默认会使用重叠的列索引做为合并键,并采用内连接方式合并数据,即取行索引重叠的部分。import pandas as pdleft=pd.dataframe({'key':['k0','k1','k2'], 'a':['a0','a1','a2'], 'b':['b0','b1','b2']})left
right=pd.dataframe({'key':['k0','k1','k2','k3'], 'c':['c0','c1','c2','c3'], 'd':['d0','d1','d2','d3']})right
pd.merge(left,right,on='key')
2)merge()函数还支持对含有多个重叠列的dataframe对象进行合并。
import pandas as pddata1=pd.dataframe({'key':['k0','k1','k2'], 'a':['a0','a1','a2'], 'b':['b0','b1','b2']})data1
data2=pd.dataframe({'key':['k0','k5','k2','k4'], 'b':['b0','b1','b2','b5'], 'c':['c0','c1','c2','c3'], 'd':['d0','d1','d2','d3']})data2
pd.merge(data1,data2,on=['key','b'])
1)根据行索引合并数据join()方法能够通过索引或指定列来连接多个dataframe对象join(other,on = none,how =‘left’,lsuffix =‘’,rsuffix =‘’,sort = false )参数作用
on 名称,用于连接列名
how 可以从{‘‘left’’ ,‘‘right’’, ‘‘outer’’, ‘‘inner’’}中任选一个,默认使用左连接的方式。
sort 根据连接键对合并的数据进行排序,默认为false
import pandas as pddata3=pd.dataframe({'a':['a0','a1','a2'], 'b':['b0','b1','b2']})data3
data4=pd.dataframe({'c': ['c0', 'c1', 'c2'], 'd': ['d0', 'd1', 'd2']}, index=['a','b','c'])data3.join(data4,how='outer') # 外连接
data3.join(data4,how='left') #左连接
data3.join(data4,how='right') #右连接
data3.join(data4,how='inner') #内连接
import pandas as pdleft = pd.dataframe({'a': ['a0', 'a1', 'a2'], 'b': ['b0', 'b1', 'b2'], 'key': ['k0', 'k1', 'k2']})left
right = pd.dataframe({'c': ['c0', 'c1','c2'], 'd': ['d0', 'd1','d2']}, index=['k0', 'k1','k2'])right
on参数指定连接的列名
left.join(right,how='left',on='key') #on参数指定连接的列名
2)合并重叠数据当dataframe对象中出现了缺失数据,而我们希望使用其他dataframe对象中的数据填充缺失数据,则可以通过combine_first()方法为缺失数据填充。
import pandas as pdimport numpy as npfrom numpy import nanleft = pd.dataframe({'a': [np.nan, 'a1', 'a2', 'a3'], 'b': [np.nan, 'b1', np.nan, 'b3'], 'key': ['k0', 'k1', 'k2', 'k3']})left
right = pd.dataframe({'a': ['c0', 'c1','c2'], 'b': ['d0', 'd1','d2']}, index=[1,0,2])right
用right的数据填充left缺失的部分
left.combine_first(right) # 用right的数据填充left缺失的部分
推荐学习:python视频教程
以上就是python数据分析之concat与merge函数(实例详解)的详细内容。