python-如何将列和行的pandas DataFrame子集转换为numpy数组?

我想知道是否有一种更简单,内存效率更高的方法从pandas DataFrame中选择行和列的子集。

例如,给定此数据框:

df = DataFrame(np.random.rand(4,5), columns = list('abcde'))
print df

          a         b         c         d         e
0  0.945686  0.000710  0.909158  0.892892  0.326670
1  0.919359  0.667057  0.462478  0.008204  0.473096
2  0.976163  0.621712  0.208423  0.980471  0.048334
3  0.459039  0.788318  0.309892  0.100539  0.753992

我只希望其中列'c'的值大于0.5的那些行,但是对于那些行,我只需要列'b'和'e'。

这是我想出的方法-也许有更好的“熊猫”方式?

locs = [df.columns.get_loc(_) for _ in ['a', 'd']]
print df[df.c > 0.5][locs]

          a         d
0  0.945686  0.892892

我的最终目标是将结果转换为numpy数组,然后传递给sklearn回归算法,因此我将使用上面的代码,如下所示:

training_set = array(df[df.c > 0.5][locs])

...这让我很烦,因为我最终在内存中存储了一个巨大的数组副本。 也许还有更好的方法吗?

John Prior asked 2020-08-09T01:24:17Z
3个解决方案
70 votes

直接使用其值:

In [79]: df[df.c > 0.5][['b', 'e']].values
Out[79]: 
array([[ 0.98836259,  0.82403141],
       [ 0.337358  ,  0.02054435],
       [ 0.29271728,  0.37813099],
       [ 0.70033513,  0.69919695]])
waitingkuo answered 2020-08-09T01:24:48Z
16 votes

也许第一个问题是这样的,您只需按其名称访问列即可:

>>> df = pd.DataFrame(np.random.rand(4,5), columns = list('abcde'))
>>> df[df['c']>.5][['b','e']]
          b         e
1  0.071146  0.132145
2  0.495152  0.420219

对于第二个问题:

>>> df[df['c']>.5][['b','e']].values
array([[ 0.07114556,  0.13214495],
       [ 0.49515157,  0.42021946]])
Daniel answered 2020-08-09T01:25:12Z
9 votes

.loc同时接受行和列选择器(就像.ix/.iloc FYI一样)这也可以通过一次完成。

In [1]: df = DataFrame(np.random.rand(4,5), columns = list('abcde'))

In [2]: df
Out[2]: 
          a         b         c         d         e
0  0.669701  0.780497  0.955690  0.451573  0.232194
1  0.952762  0.585579  0.890801  0.643251  0.556220
2  0.900713  0.790938  0.952628  0.505775  0.582365
3  0.994205  0.330560  0.286694  0.125061  0.575153

In [5]: df.loc[df['c']>0.5,['a','d']]
Out[5]: 
          a         d
0  0.669701  0.451573
1  0.952762  0.643251
2  0.900713  0.505775

并且,如果您需要这些值(尽管它应该直接传递给sklearn); 框架支持阵列接口

In [6]: df.loc[df['c']>0.5,['a','d']].values
Out[6]: 
array([[ 0.66970138,  0.45157274],
       [ 0.95276167,  0.64325143],
       [ 0.90071271,  0.50577509]])
Jeff answered 2020-08-09T01:24:27Z
translate from https://stackoverflow.com:/questions/17682613/how-to-convert-a-pandas-dataframe-subset-of-columns-and-rows-into-a-numpy-array