python-如何在熊猫中实现具有多个列的布尔搜索

我有一个pandas df,并希望按照以下原则(以SQL术语)完成一些工作:

SELECT * FROM df WHERE column1 = 'a' OR column2 = 'b' OR column3 = 'c' etc.

现在,这适用于一个列/值对:

foo = df.loc[df['column']==value]

但是,我不确定如何将其扩展为多个列/值对。

  • 为了清楚起见,每一列都匹配一个不同的值。
Tyler Wood asked 2020-01-23T19:40:30Z
4个解决方案
91 votes

由于运算符的优先级,您需要将多个条件括在括号中,并使用按位运算符(and)和或(or)运算符:

foo = df.ix[(df['column1']==value) | (df['columns2'] == 'b') | (df['column3'] == 'c')]

如果您使用andor,则熊猫可能会抱怨这是模棱两可的。 在那种情况下,我们是否要比较条件中一系列的每个值还不清楚,如果只有1个或除1外的所有条件都匹配,这意味着什么。 这就是为什么您应该使用按位运算符或numpy np.allnp.any指定匹配条件的原因。

还有查询方法:[http://pandas.pydata.org/pandas-docs/dev/genic/pandas.DataFrame.query.html]

但是存在一些限制,主要与列名和索引值之间可能存在歧义的问题有关。

EdChum answered 2020-01-23T19:40:58Z
20 votes

一种更简洁但不一定更快的方法是使用DataFrame.isin()DataFrame.any()

In [27]: n = 10

In [28]: df = DataFrame(randint(4, size=(n, 2)), columns=list('ab'))

In [29]: df
Out[29]:
   a  b
0  0  0
1  1  1
2  1  1
3  2  3
4  2  3
5  0  2
6  1  2
7  3  0
8  1  1
9  2  2

[10 rows x 2 columns]

In [30]: df.isin([1, 2])
Out[30]:
       a      b
0  False  False
1   True   True
2   True   True
3   True  False
4   True  False
5  False   True
6   True   True
7  False  False
8   True   True
9   True   True

[10 rows x 2 columns]

In [31]: df.isin([1, 2]).any(1)
Out[31]:
0    False
1     True
2     True
3     True
4     True
5     True
6     True
7    False
8     True
9     True
dtype: bool

In [32]: df.loc[df.isin([1, 2]).any(1)]
Out[32]:
   a  b
1  1  1
2  1  1
3  2  3
4  2  3
5  0  2
6  1  2
8  1  1
9  2  2

[8 rows x 2 columns]
Phillip Cloud answered 2020-01-23T19:41:18Z
2 votes

@EdChum在2014年所做的所有考虑仍然有效,但从0.0.20版本的熊猫不赞成使用pandas.Dataframe.ix方法。 直接从文档中:

警告:从0.20.0开始,不建议使用.ix索引器   更严格的.iloc和.loc索引器。

在后续版本的pandas中,此方法已被新的索引方法pandas.Dataframe.loc和pandas.Dataframe.iloc取代。

如果您想了解更多信息,可以在本文中找到上述方法之间的比较。

最终,到目前为止(从这个角度来看,即将发布的熊猫版本似乎没有任何变化),对此问题的答案如下:

foo = df.loc[(df['column1']==value) | (df['columns2'] == 'b') | (df['column3'] == 'c')]
Massifox answered 2020-01-23T19:41:56Z
1 votes

最简单的方法

students = [ ('jack1', 'Apples1' , 341) ,
             ('Riti1', 'Mangos1'  , 311) ,
             ('Aadi1', 'Grapes1' , 301) ,
             ('Sonia1', 'Apples1', 321) ,
             ('Lucy1', 'Mangos1'  , 331) ,
             ('Mike1', 'Apples1' , 351),
              ('Mik', 'Apples1' , np.nan)
              ]
#Create a DataFrame object
df = pd.DataFrame(students, columns = ['Name1' , 'Product1', 'Sale1']) 
print(df)


    Name1 Product1  Sale1
0   jack1  Apples1    341
1   Riti1  Mangos1    311
2   Aadi1  Grapes1    301
3  Sonia1  Apples1    321
4   Lucy1  Mangos1    331
5   Mike1  Apples1    351
6     Mik  Apples1    NaN

# Select rows in above DataFrame for which ‘Product’ column contains the value ‘Apples’,
subset = df[df['Product1'] == 'Apples1']
print(subset)

 Name1 Product1  Sale1
0   jack1  Apples1    341
3  Sonia1  Apples1    321
5   Mike1  Apples1    351
6     Mik  Apples1    NA

# Select rows in above DataFrame for which ‘Product’ column contains the value ‘Apples’, AND notnull value in Sale

subsetx= df[(df['Product1'] == "Apples1")  & (df['Sale1'].notnull())]
print(subsetx)
    Name1   Product1    Sale1
0   jack1   Apples1      341
3   Sonia1  Apples1      321
5   Mike1   Apples1      351

# Select rows in above DataFrame for which ‘Product’ column contains the value ‘Apples’, AND Sale = 351

subsetx= df[(df['Product1'] == "Apples1")  & (df['Sale1'] == 351)]
print(subsetx)

   Name1 Product1  Sale1
5  Mike1  Apples1    351

# Another example
subsetData = df[df['Product1'].isin(['Mangos1', 'Grapes1']) ]
print(subsetData)

Name1 Product1  Sale1
1  Riti1  Mangos1    311
2  Aadi1  Grapes1    301
4  Lucy1  Mangos1    331

这是我发现的原始链接。 我对其进行了一些编辑-[https://thispointer.com/python-pandas-select-rows-in-dataframe-by-conditions-on-multiple-columns/]

rra answered 2020-01-23T19:42:20Z
translate from https://stackoverflow.com:/questions/22546425/how-to-implement-a-boolean-search-with-multiple-columns-in-pandas