Python:Pandas根据字符串长度过滤字符串数据

我喜欢过滤掉字符串长度不等于10的数据。

如果我尝试过滤掉列A或B的字符串长度不等于10的任何行,则尝试这样做。

df=pd.read_csv('filex.csv')
df.A=df.A.apply(lambda x: x if len(x)== 10 else np.nan)
df.B=df.B.apply(lambda x: x if len(x)== 10 else np.nan)
df=df.dropna(subset=['A','B'], how='any')

这工作缓慢,但正在工作。

但是,当A中的数据不是字符串而是数字(在read_csv读取输入文件时解释为数字)时,有时会产生错误。

  File "<stdin>", line 1, in <lambda>
TypeError: object of type 'float' has no len()

我相信应该有更高效,更优雅的代码来代替。


根据下面的答案和评论,我找到的最简单的解决方案是:

df=df[df.A.apply(lambda x: len(str(x))==10]
df=df[df.B.apply(lambda x: len(str(x))==10]

要么

df=df[(df.A.apply(lambda x: len(str(x))==10) & (df.B.apply(lambda x: len(str(x))==10)]

or

df=df[(df.A.astype(str).str.len()==10) & (df.B.astype(str).str.len()==10)]
notilas asked 2020-08-09T12:58:42Z
4个解决方案
74 votes
import pandas as pd

df = pd.read_csv('filex.csv')
df['A'] = df['A'].astype('str')
df['B'] = df['B'].astype('str')
mask = (df['A'].str.len() == 10) & (df['B'].str.len() == 10)
df = df.loc[mask]
print(df)

应用于filex.csv:

A,B
123,abc
1234,abcd
1234567890,abcdefghij

上面的代码打印

            A           B
2  1234567890  abcdefghij
unutbu answered 2020-08-09T12:58:53Z
12 votes

一种基于Python的,基于其他列的给定条件及其值过滤出行的更Python方式:

假设df为:

data={"names":["Alice","Zac","Anna","O"],"cars":["Civic","BMW","Mitsubishi","Benz"],
     "age":["1","4","2","0"]}

df=pd.DataFrame(data)
df:
  age        cars  names
0   1       Civic  Alice
1   4         BMW    Zac
2   2  Mitsubishi   Anna
3   0        Benz      O

然后:

df[
df['names'].apply(lambda x: len(x)>1) &
df['cars'].apply(lambda x: "i" in x) &
df['age'].apply(lambda x: int(x)<2)
  ]

我们将有 :

  age   cars  names
0   1  Civic  Alice

在上述条件下,我们首先查看字符串的长度,然后检查字符串中是否存在字母(“ i”),最后检查第一列中的整数值。

Mahdi Ghelichi answered 2020-08-09T12:59:30Z
1 votes

如果行中有数字,则它们将转换为浮点数。

从cvs导入后,将所有行转换为字符串。 为了获得更好的性能,请将lambda拆分为多个线程。

przemo_li answered 2020-08-09T12:59:55Z
-1 votes

您可以使用df.apply(len)。 它会给你结果

Vishal Suryavanshi answered 2020-08-09T13:00:15Z
translate from https://stackoverflow.com:/questions/19937362/python-pandas-filter-string-data-based-on-its-string-length