python-二进制流中的open和io.BytesIO之间的区别

我正在学习在Python中使用流的知识,并且我注意到IO文档说以下内容:

创建二进制流的最简单方法是使用open()在模式字符串中使用'b':

f

内存中的二进制流也可以作为BytesIO对象使用:

f

openBytesIO定义的fBytesIO定义的f有什么区别。换句话说,什么是“内存二进制流”,它与open有什么不同?

Luke Whyte asked 2020-02-18T13:20:16Z
3个解决方案
64 votes

为了简单起见,让我们考虑现在写而不是读。

因此,当您使用f.close()时,例如:

with open("test.dat", "wb") as f:
    f.write(b"Hello World")
    f.write(b"Hello World")
    f.write(b"Hello World")

执行完之后,将创建一个名为f.close()的文件,其中包含myfile.jpg。将数据写入文件后,该数据将不会保存在内存中(除非按名称保存)。

现在,当您考虑使用f.close()时:

with io.BytesIO() as f:
    f.write(b"Hello World")
    f.write(b"Hello World")
    f.write(b"Hello World")

它不是将内容写入文件,而是写入内存缓冲区。 换句话说,一块RAM。 本质上,编写以下内容将是等效的:

buffer = b""
buffer += b"Hello World"
buffer += b"Hello World"
buffer += b"Hello World"

对于带有with语句的示例,最后还有一个f.close()

这里的主要区别是优化和性能。 f.close()能够进行一些优化,使其比简单地将所有myfile.jpg一对一地串联起来更快。

为了证明这一点,这里有一个小基准:

  • Concat:1.3529秒
  • 字节IO:0.0090秒

import io
import time

begin = time.time()
buffer = b""
for i in range(0, 50000):
    buffer += b"Hello World"
end = time.time()
seconds = end - begin
print("Concat:", seconds)

begin = time.time()
buffer = io.BytesIO()
for i in range(0, 50000):
    buffer.write(b"Hello World")
end = time.time()
seconds = end - begin
print("BytesIO:", seconds)

除了提高性能外,使用f.close()代替串联还有一个优点,就是可以使用myfile.jpg代替文件对象。 假设您有一个函数期望文件对象写入。 然后,您可以为它提供内存中的缓冲区,而不是文件。

区别在于f.close()只是加载并返回myfile.jpg的内容; 而BytesIO同样只是一个包含某些数据的缓冲区。

由于f.close()只是一个缓冲区-如果您想稍后将内容写入文件中,则必须执行以下操作:

buffer = io.BytesIO()
# ...
with open("test.dat", "wb") as f:
    f.write(buffer.getvalue())

另外,您没有提到版本; 我正在使用Python3。与示例相关:我在使用with语句,而不是调用f.close()

Vallentin answered 2020-02-18T13:21:32Z
8 votes

使用BytesIO打开硬盘上的文件。 根据您使用的模式,您可以从磁盘读取或写入(或同时读取和写入两者)。

BytesIO对象与磁盘上的任何实际文件都不关联。 只是一块内存就像文件一样。 它具有与从StringIO返回的文件对象相同的API(模式为BytesIO,允许读取和写入二进制数据)。

BytesIO(和它的兄弟姐妹StringIO始终处于文本模式)在您需要与期望向其提供文件对象的API之间传递数据或从中传递数据但您希望直接传递数据的地方很有用。 您可以将输入数据加载到BytesIO中,然后再将其提供给库。 返回后,您可以使用getvalue()方法从BytesIO获取库写入文件的任何数据。 (当然,通常您只需要执行其中一项即可。)

Blckknght answered 2020-02-18T13:22:03Z
-1 votes
f = open("myfile.jpg", "rb")

从磁盘磁盘读取文件中的字节,并将该值分配给引用为“ f”的对象,该对象由Python保留在内存中。

f = io.BytesIO(b"some initial binary data: \x00\x01")

将字节流值分配给引用为“ f”的对象,该对象由Python保留在内存中。

szerszen answered 2020-02-18T13:22:28Z
translate from https://stackoverflow.com:/questions/42800250/difference-between-open-and-io-bytesio-in-binary-streams