python-Pandas DataFrame concat与附加

我有一个4个熊猫数据框的列表,其中包含我希望合并为一个数据框的一天的滴答数据。 我无法理解concat在时间戳上的行为。 请参阅以下详细信息:

data

[<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 35228 entries, 2013-03-28 00:00:07.089000+02:00 to 2013-03-28 18:59:20.357000+02:00
Data columns:
Price       4040  non-null values
Volume      4040  non-null values
BidQty      35228  non-null values
BidPrice    35228  non-null values
AskPrice    35228  non-null values
AskQty      35228  non-null values
dtypes: float64(6),
<class 'pandas.core.frame.DataFrame'>

DatetimeIndex: 33088 entries, 2013-04-01 00:03:17.047000+02:00 to 2013-04-01 18:59:58.175000+02:00
Data columns:
Price       3969  non-null values
Volume      3969  non-null values
BidQty      33088  non-null values
BidPrice    33088  non-null values
AskPrice    33088  non-null values
AskQty      33088  non-null values
dtypes: float64(6),
<class 'pandas.core.frame.DataFrame'>

DatetimeIndex: 50740 entries, 2013-04-02 00:03:27.470000+02:00 to 2013-04-02 18:59:58.172000+02:00
Data columns:
Price       7326  non-null values
Volume      7326  non-null values
BidQty      50740  non-null values
BidPrice    50740  non-null values
AskPrice    50740  non-null values
AskQty      50740  non-null values
dtypes: float64(6),
<class 'pandas.core.frame.DataFrame'>

DatetimeIndex: 60799 entries, 2013-04-03 00:03:06.994000+02:00 to 2013-04-03 18:59:58.180000+02:00
Data columns:
Price       8258  non-null values
Volume      8258  non-null values
BidQty      60799  non-null values
BidPrice    60799  non-null values
AskPrice    60799  non-null values
AskQty      60799  non-null values
dtypes: float64(6)]

使用concat我得到:

pd.DataFrame().append(data)

<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 179855 entries, 2013-03-28 00:00:07.089000+02:00 to 2013-04-03 18:59:58.180000+02:00
Data columns:
AskPrice    179855  non-null values
AskQty      179855  non-null values
BidPrice    179855  non-null values
BidQty      179855  non-null values
Price       23593  non-null values
Volume      23593  non-null values
dtypes: float64(6)

Using concat I get:

pd.concat(data)

<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 179855 entries, 2013-03-27 22:00:07.089000+02:00 to 2013-04-03 16:59:58.180000+02:00
Data columns:
Price       23593  non-null values
Volume      23593  non-null values
BidQty      179855  non-null values
BidPrice    179855  non-null values
AskPrice    179855  non-null values
AskQty      179855  non-null values
dtypes: float64(6)

请注意使用concat时索引如何变化。为什么会发生这种情况?如何使用concat重现使用append获得的结果? (因为concat似乎快得多;每个循环24.6毫秒,而每个循环3.02 s)

JPBelanger asked 2020-02-13T23:56:19Z
4个解决方案
44 votes

熊猫concat Vs追加Vs加入Vs合并

  • Concat提供了基于轴(所有行或所有列)的连接灵活性

  • 追加是concat的具体情况(axis = 0,join ='outer')

  • 连接基于变量= ['left','right','inner','couter']的索引(由set_index设置)

  • 合并基于两个数据帧中每一个的任何特定列,此列是变量,如“ left_on”,“ right_on”,“ on”

Mohsin Mahmood answered 2020-02-13T23:57:16Z
42 votes

因此,您正在执行的操作是append和concat几乎相等。 区别在于空的DataFrame。 由于某种原因,这会导致严重的减速,不确定确切的原因,必须要考虑一下。 以下是对您所做工作的基本介绍。

我几乎总是使用concat(尽管在这种情况下,它们是等效的,除了空白框);如果您不使用空框,则它们的速度相同。

In [17]: df1 = pd.DataFrame(dict(A = range(10000)),index=pd.date_range('20130101',periods=10000,freq='s'))

In [18]: df1
Out[18]: 
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 10000 entries, 2013-01-01 00:00:00 to 2013-01-01 02:46:39
Freq: S
Data columns (total 1 columns):
A    10000  non-null values
dtypes: int64(1)

In [19]: df4 = pd.DataFrame()

The concat

In [20]: %timeit pd.concat([df1,df2,df3])
1000 loops, best of 3: 270 us per loop

This is equavalent of your append

In [21]: %timeit pd.concat([df4,df1,df2,df3])
10 loops, best of 

 3: 56.8 ms per loop
Jeff answered 2020-02-13T23:56:38Z
24 votes

我已经实现了一个微小的基准(请在Gist上找到代码)来评估大熊猫的concatconcat。我在concat发表评论后更新了代码段和结果-非常感谢!

基准测试在Mac OS X 10.13系统上运行,该系统具有Python 3.6.2和pandas 0.20.3。

+--------+---------------------------------+---------------------------------+
|        | ignore_index=False              | ignore_index=True               |
+--------+---------------------------------+---------------------------------+
| size   | append | concat | append/concat | append | concat | append/concat |
+--------+--------+--------+---------------+--------+--------+---------------+
| small  | 0.4635 | 0.4891 | 94.77 %       | 0.4056 | 0.3314 | 122.39 %      |
+--------+--------+--------+---------------+--------+--------+---------------+
| medium | 0.5532 | 0.6617 | 83.60 %       | 0.3605 | 0.3521 | 102.37 %      |
+--------+--------+--------+---------------+--------+--------+---------------+
| large  | 0.9558 | 0.9442 | 101.22 %      | 0.6670 | 0.6749 | 98.84 %       |
+--------+--------+--------+---------------+--------+--------+---------------+

使用concat append速度稍快,而使用ignore_index=True concat速度稍快。

tl; drconcatappend之间无显着差异。

Michael Dorner answered 2020-02-13T23:57:50Z
0 votes

您还需要记住一件事,Pandas中的APPEND()方法不会修改原始对象。 相反,它将创建一个包含合并数据的新数据。 由于涉及创建和数据缓冲区,因此其性能不佳。 在执行多APPEND操作时,最好使用CONCAT()函数。

nhanhoangle answered 2020-02-13T23:58:11Z
translate from https://stackoverflow.com:/questions/15819050/pandas-dataframe-concat-vs-append