关于数据挖掘:PandasDataFrame对象的基础操作

DataFrame 对象的创立，批改，合并

import pandas as pd
import numpy as np

创立 DataFrame 对象

# 创立 DataFrame 对象
df = pd.DataFrame([1, 2, 3, 4, 5], columns=['cols'], index=['a','b','c','d','e'])
print df

   cols
a     1
b     2
c     3
d     4
e     5

df2 = pd.DataFrame([[1, 2, 3],[4, 5, 6]], columns=['col1','col2','col3'], index=['a','b'])
print df2

   col1  col2  col3
a     1     2     3
b     4     5     6

df3 = pd.DataFrame(np.array([[1,2],[3,4]]), columns=['col1','col2'], index=['a','b'])
print df3

   col1  col2
a     1     2
b     3     4

df4 = pd.DataFrame({'col1':[1,3],'col2':[2,4]},index=['a','b'])
print df4

   col1  col2
a     1     2
b     3     4

 创立 DataFrame 对象的数据能够为列表，数组和字典，列名和索引为列表对象 

基本操作

# DataFrame 对象的基本操作
df2.index

Index([u'a', u'b'], dtype='object')

df2.columns

Index([u'col1', u'col2', u'col3'], dtype='object')

# 依据索引查看数据
df2.loc['a']   
# 索引为a这一行的数据
# df2.iloc[0] 跟下面的操作等价，一个是依据索引名，一个是依据数字索引拜访数据 

col1    1
col2    2
col3    3
Name: a, dtype: int64

print df2.loc[['a','b']]    # 拜访多行数据，索引参数为一个列表对象 

   col1  col2  col3
a     1     2     3
b     4     5     6

print df.loc[df.index[1:3]]

   cols
b     2
c     3

# 拜访列数据
print df2[['col1','col3']]

   col1  col3
a     1     3
b     4     6

计算

# DataFrame 元素求和
# 默认是对每列元素求和
print df2.sum()

col1    5
col2    7
col3    9
dtype: int64

# 行求和
print df2.sum(1)

a     6
b    15
dtype: int64

# 对每个元素乘以2
print df2.apply(lambda x:x*2)

   col1  col2  col3
a     2     4     6
b     8    10    12

# 对每个元素求平方 (反对 ndarray 一样的向量化操作)
print df2**2

   col1  col2  col3
a     1     4     9
b    16    25    36

列裁减

# 对 DataFrame 对象进行列裁减
df2['col4'] = ['cnn','rnn']
print df2

   col1  col2  col3 col4
a     1     2     3  cnn
b     4     5     6  rnn

# 也能够通过一个新的 DataFrame 对象来定义一个新列, 索引主动对应
df2['col5'] = pd.DataFrame(['MachineLearning','DeepLearning'],index=['a','b'])
print df2

   col1  col2  col3 col4             col5
a     1     2     3  cnn  MachineLearning
b     4     5     6  rnn     DeepLearning

行裁减

# 行进行裁减
print df2.append(pd.DataFrame({'col1':7,'col2':8,'col3':9,'col4':'rcnn','col5':'ReinforcementLearning'},index=['c']))

   col1  col2  col3  col4                   col5
a     1     2     3   cnn        MachineLearning
b     4     5     6   rnn           DeepLearning
c     7     8     9  rcnn  ReinforcementLearning

留神！

# 如果在进行 行裁减时候没有，指定index的参数，索引会被数字取代
print df2.append({'col1':10,'col2':11,'col3':12,'col4':'frnn','col5':'DRL'},ignore_index=True)

   col1  col2  col3  col4             col5
0     1     2     3   cnn  MachineLearning
1     4     5     6   rnn     DeepLearning
2    10    11    12  frnn              DRL

# 以上的行裁减，并没有真正批改，df2 这个 DataFrame 对象，除非
df2 = df2.append(pd.DataFrame({'col1':7,'col2':8,'col3':9,'col4':'rcnn','col5':'ReinforcementLearning'},index=['c']))
print df2

   col1  col2  col3  col4                   col5
a     1     2     3   cnn        MachineLearning
b     4     5     6   rnn           DeepLearning
c     7     8     9  rcnn  ReinforcementLearning
c     7     8     9  rcnn  ReinforcementLearning

print df2.loc['c']

   col1  col2  col3  col4                   col5
c     7     8     9  rcnn  ReinforcementLearning
c     7     8     9  rcnn  ReinforcementLearning

DataFrame 对象的合并

# DataFrame 对象的合并
df_a = pd.DataFrame(['wang','jing','hui','is','a','master'],columns=['col6'],index=['a','b','c','d','e','f'])
print df_a

     col6
a    wang
b    jing
c     hui
d      is
e       a
f  master

# 默认合并, 只保留 dfb 中的全副索引
dfb = pd.DataFrame([1,2,4,5,6,7],columns=['col1'],index=['a','b','c','d','f','g'])
print dfb.join(df_a)

   col1    col6
a     1    wang
b     2    jing
c     4     hui
d     5      is
f     6  master
g     7     NaN

# 默认合并之承受索引曾经存在的值
# 通过指定参数 how，指定合并的形式
print dfb.join(df_a,how='inner')   # 合并两个 DataFrame 对象的交加 

   col1    col6
a     1    wang
b     2    jing
c     4     hui
d     5      is
f     6  master

# 合并两个 DataFrame 对象的并集
print dfb.join(df_a,how='outer')

   col1    col6
a   1.0    wang
b   2.0    jing
c   4.0     hui
d   5.0      is
e   NaN       a
f   6.0  master
g   7.0     NaN