javascript

java

python

c#

android

c++

node.js

php

html

jquery

ios

reactjs

css

.net

git

ruby-on-rails

sql

c

ruby

string

Excel CSV。 d行超过1,048,576行的文件

我已经得到了一个CSV文件,它具有MAX Excel所不能提供的更多功能,我确实需要能够查看所有数据。 我了解并尝试过“拆分”它的方法,但是它不起作用。

背景知识:CSV文件是Excel CSV文件,提供文件的人说大约有2m行数据。

当我将其导入Excel时,我得到的数据一直到行1,048,576,然后将其重新导入到新选项卡中,该标签从数据的行1,048,577开始,但是它只给我一行,而且我知道应该有一个行 更多(不仅因为“那个人”说有200万以上的事实,还因为最后几行中的信息)

我以为发生这种情况的原因可能是因为我已经将CSV文件作为Excel CSV文件提供了,所以所有经过1,048,576的信息都丢失了(?)。

我是否需要SQL数据库格式的文件?

trans by 2020-08-12T01:00:11Z

c#-在.n中写入CSV文件

我需要将数据集导出为CSV文件。

我花了一段时间寻找一组规则,并意识到编写CSV文件时有很多规则和例外。

[http://knab.ws/blog/index.php?/archives/3-CSV-file-parser-and-writer-in-C-Part-1.html][http://bytes.com/topic/c-sharp/answers/236875-problems-streamwriter-output-csv][http://social.msdn.microsoft.com/forums/en-US/csharpgeneral/thread/0073fcbb-adab-40f0-b768-4bba803d3ccd]

因此,现在这不是一个用逗号分隔字符串的简单过程,我已经搜索了第三方或.net框架中包含的现有CSV编写器(希望如此!)。

编辑:新链接:[http://www.thinqlinq.com/Post.aspx/Title/LINQ-to-CSV-using-DynamicObject-and-TextFieldParser]

TextFieldParser是一个VB对象(可以从C#引用),它将自动解析CSV文件。 :)

我想知道是否有人知道任何方便的.Net(2.0-> 3.5和4.0)库可用于生成格式正确的CSV文件。

另外,是否存在用于生成CSV文件的规则集。

CSV阅读器和解析CSV文件有很多详细信息,但是关于编写的信息并不多(好吧,我知道这与:P相反)。

[HTTP://呜呜呜.co的project.com/KB/database/CSV reader.aspx]

任何帮助将非常感激 :)

我发现了另一篇文章,其中包含一些更详细的CSV规则:[http://www.creativyst.com/Doc/Articles/CSV/CSV01.htm]

精巧的第三方库是Linq-to-CSV(不是框架库):[http://www.codeproject.com/KB/linq/LINQtoCSV.aspx]

谢谢大家的帮助。我决定最好的解决方案是创建一个简单的静态类,该类将进行特殊字符替换(克里斯提到)。

如果需要Linq查询我的CSV文件,请查看Linq-to-CSV的CodeProjects实现。

再次感谢 :)

trans by 2020-08-11T00:07:43Z

python-Python3:编写csv文件

我正在尝试在Windows计算机上使用Python 3.2编写一个简单的CSV文件,但是我没有运气。 从Python 3.2的csv模块文档中:

>>> import csv
>>> spamWriter = csv.writer(open('eggs.csv', 'w'), delimiter=' ',
...                         quotechar='|', quoting=csv.QUOTE_MINIMAL)
>>> spamWriter.writerow(['Spam'] * 5 + ['Baked Beans'])
>>> spamWriter.writerow(['Spam', 'Lovely Spam', 'Wonderful Spam'])

生成的文件的每一行都以字节序列3005735759606449159152结尾,因此当您使用例如MS Excel打开文件时,每行看起来都有一个多余的空行。 这不是“ CSV文件”。

请注意,如果我在Python 3.2中尝试使用相同的Python 2.7示例(文件模式的最大区别是'w'和3005735759606449159153),则在尝试spamWriter.writerow时会出现错误:

追溯(最近一次呼叫最近):TypeError中的文件“”,第1行:“ str”不支持缓冲区接口

如何在Windows计算机上从Python 3.2编写一个简单的CSV文件?

trans by 2020-08-10T21:05:35Z

Ruby / Rails CSV解析,UTF-8中无效的字节序列

我正在尝试解析从Excel电子表格生成的CSV文件。

这是我的代码

require 'csv'
file = File.open("input_file")
csv = CSV.parse(file)

但是我得到这个错误

ArgumentError: invalid byte sequence in UTF-8

我认为错误是因为Excel将文件编码为ISO 8859-1 (Latin-1),而不是UTF-8

有人可以帮我解决此问题的方法吗

提前致谢。

trans by 2020-08-10T15:53:35Z

Elasticsearch中有什么方法可以在curl API中以CSV文件的形式获取结果?

我正在使用弹性搜索。我需要弹性搜索的结果作为CSV文件。任何curl URL或任何插件来实现这一目标?

trans by 2020-08-10T06:49:03Z

Python:Pandas根据字符串长度过滤字符串数据

我喜欢过滤掉字符串长度不等于10的数据。

如果我尝试过滤掉列A或B的字符串长度不等于10的任何行,则尝试这样做。

df=pd.read_csv('filex.csv')
df.A=df.A.apply(lambda x: x if len(x)== 10 else np.nan)
df.B=df.B.apply(lambda x: x if len(x)== 10 else np.nan)
df=df.dropna(subset=['A','B'], how='any')

这工作缓慢,但正在工作。

但是,当A中的数据不是字符串而是数字(在read_csv读取输入文件时解释为数字)时,有时会产生错误。

  File "<stdin>", line 1, in <lambda>
TypeError: object of type 'float' has no len()

我相信应该有更高效,更优雅的代码来代替。


根据下面的答案和评论,我找到的最简单的解决方案是:

df=df[df.A.apply(lambda x: len(str(x))==10]
df=df[df.B.apply(lambda x: len(str(x))==10]

要么

df=df[(df.A.apply(lambda x: len(str(x))==10) & (df.B.apply(lambda x: len(str(x))==10)]

or

df=df[(df.A.astype(str).str.len()==10) & (df.B.astype(str).str.len()==10)]
trans by 2020-08-09T12:58:42Z

python-如何使用熊猫从数据框中删除列?

我读了我的数据

import pandas as pd
df = pd.read_csv('/path/file.tsv', header=0, delimiter='\t')
print df

并获得:

          id    text
0    361.273    text1...
1    374.350    text2...
2    374.350    text3...

如何从上述数据框中删除id列? 我尝试了以下方法:

import pandas as pd
df = pd.read_csv('/path/file.tsv', header=0, delimiter='\t')
print df.drop('id', 1)

但这引发了这个异常:

ValueError: labels ['id'] not contained in axis
trans by 2020-08-08T17:24:12Z

ruby on rails-如何将ActiveRecord模型数组转换为CSV?

我有一组ActiveRecord模型,希望将其转换为CSV。 我曾尝试研究FasterCSV之类的gem,但它们似乎只适用于字符串和数组,而不适用于ActiveRecord模型。

简而言之,我要转换:

user1 = User.first
user2 = User.last
a = [user1, user2]

至:

   id,username,bio,email
    1,user1,user 1 bio,user1 email
    1,user2,user 2 bio,user2 email

有一种简便的Rails方法可以做到这一点吗?

trans by 2020-08-07T09:09:16Z

如何将HTML表转换为CSV?

如何将HTML表(<table>)的内容转换为CSV格式? 是否有执行此操作的库或Linux程序? 这类似于在Internet Explorer中复制表并将它们粘贴到Excel中。

trans by 2020-08-06T15:06:46Z

我可以导入CSV文件并自动推断定界符吗?

我想导入两种CSV文件,有些使用“;” 对于定界符,其他使用“,”。 到目前为止,我一直在接下来的两行之间切换:

reader=csv.reader(f,delimiter=';')

要么

reader=csv.reader(f,delimiter=',')

是否可以不指定分隔符,而让程序检查正确的分隔符?

下面的解决方案(Blender和sharth)对于用逗号分隔的文件(由Libroffice生成)似乎效果很好,但对于以分号分隔的文件(由MS Office生成)则不起作用。 这是一个用分号分隔的文件的第一行:

ReleveAnnee;ReleveMois;NoOrdre;TitreRMC;AdopCSRegleVote;AdopCSAbs;AdoptCSContre;NoCELEX;ProposAnnee;ProposChrono;ProposOrigine;NoUniqueAnnee;NoUniqueType;NoUniqueChrono;PropoSplittee;Suite2LecturePE;Council PATH;Notes
1999;1;1;1999/83/EC: Council Decision of 18 January 1999 authorising the Kingdom of Denmark to apply or to continue to apply reductions in, or exemptions from, excise duties on certain mineral oils used for specific purposes, in accordance with the procedure provided for in Article 8(4) of Directive 92/81/EEC;U;;;31999D0083;1998;577;COM;NULL;CS;NULL;;;;Propos* are missing on Celex document
1999;1;2;1999/81/EC: Council Decision of 18 January 1999 authorising the Kingdom of Spain to apply a measure derogating from Articles 2 and 28a(1) of the Sixth Directive (77/388/EEC) on the harmonisation of the laws of the Member States relating to turnover taxes;U;;;31999D0081;1998;184;COM;NULL;CS;NULL;;;;Propos* are missing on Celex document
trans by 2020-08-05T18:24:07Z

用PHP创建CSV文件

我想创建一个csv文件,但是当我运行代码时,它返回一个空白页,没有csv文件。 我使用PHP 5。我使用以下代码:

<?php
    $data = array ('aaa,bbb,ccc,dddd',
                   '123,456,789',
                   '"aaa","bbb"');

    $fp = fopen('data.csv', 'w');
    foreach($data as $line){
             $val = explode(",",$line);
             fputcsv($fp, $val);
    }
    fclose($fp);
?>

谢谢!

trans by 2020-08-03T20:15:25Z

excel-使用批处理将xlsx文件转换为csv

如何使用批处理脚本将多个xlsx文件转换为csv文件?

trans by 2020-08-03T13:04:40Z

JavaScript数组转换为CSV

我已经关注了这篇文章如何将JavaScript数组信息导出到csv(在客户端)? 以将嵌套的js数组编写为csv文件。

该数组如下所示:

var test_array = [["name1", 2, 3], ["name2", 4, 5], ["name3", 6, 7], ["name4", 8, 9], ["name5", 10, 11]];

链接中给出的代码效果很好,只不过在csv文件的第三行之后,所有其余值都在同一行例如

名字1,2,3
名字2,4,5
娜娜,我,h
名称4,8,9名称5,10,11等

任何人都可以阐明为什么会这样吗? 同样使用Chrome或FF。

谢谢

编辑

jsfiddle [http://jsfiddle.net/iaingallagher/dJKz6/]

伊恩

trans by 2020-08-02T12:25:58Z

linux-如何用逗号分割列表而不是sp

我想用,分隔文本,而不是for foo in list中的。假设我有一个CSV文件CSV_File,其中包含以下文本:

Hello,World,Questions,Answers,bash shell,script
...

我使用以下代码将其拆分为几个词:

for word in $(cat CSV_File | sed -n 1'p' | tr ',' '\n')
do echo $word
done

它打印:

Hello
World
Questions
Answers
bash
shell
script

但我希望它用逗号而不是空格分隔文本:

Hello
World
Questions
Answers
bash shell
script

我如何在bash中实现这一目标?

trans by 2020-07-29T02:47:06Z

Emacs:将CSV导入org-mod

Emacs以org-mode的名称进行了很好的扩展。

我希望能够轻松将CSV文件加载到组织模式,而不会造成很大的麻烦。 我所能找到的只是表导入或表捕获,简而言之,它们甚至不能很好地工作。

请注意,我问题的一部分是文本字符串,其中包含逗号。 1,2,3,4与1,2,“ 3,4”不同。

有没有可以运行的功能或perl脚本,可以将csv文件转换为组织模式格式?

谢谢!

trans by 2020-07-27T05:17:19Z

Python 2.6中对csv文件的常规Unicode / UTF-8支持

当涉及UTF-8 / Unicode时,Python中的csv模块无法正常工作。 我在Python文档和其他网页中发现了适用于特定情况的代码段,但您必须清楚地了解要处理的编码并使用适当的代码段。

如何在Python 2.6中“正常工作”的.csv文件中读写字符串和Unicode字符串? 还是这是没有简单解决方案的Python 2.6的局限性?

trans by 2020-07-26T19:45:18Z

sql-列中包含逗号分隔值的值

我希望为SQL Server 2008编写一条SQL语句,该语句选择一个列包含值的条目,现在该列中的值是一个以逗号分隔的列表(通常-只能有一个条目(没有前导逗号)),所以 在检查中是否“此值是否包含在列表中?”,例如:

COLUMN = Cat, Dog, Sparrow, Trout, Cow, Seahorse
Does COLUMN contain Cat? YES
Does COLUMN contain horse? NO
Does COLUMN contain Sheep? NO

要么

COLUMN = Mouse
Does COLUMN contain Hare? NO
Does COLUMN contain Mouse? YES

等等

我当时以为可以这样使用'IN'关键字

SELECT id_column FROM table_name WHERE 'Cat' IN COLUMN

但这是行不通的,因为您似乎只能使用它来检查列是否包含一系列用逗号分隔的值之一。

我也不能使用CONTAINS()或'LIKE'这样,在上面的示例中将返回'horse'的值,因为整个字符串在'Seahorse'中都包含马,并且我无法搜索加针和逗号(如果 我正在寻找“马”,搜索将是“马”,如果条目位于列表的末尾呢? 而且我无法搜索逗号加针(如果我要查找“马”,则搜索为“,马”)如果条目是列表中的第一条怎么办? 而且,如果该条目是唯一(单个)条目,我将不能同时使用两者?

trans by 2020-07-25T08:38:10Z

mysql-导入CSV以仅更新选项卡中的一列

我有一个看起来像这样的表:

products
--------
id, product, sku, department, quantity

该表中大约有800,000个条目。 我收到了一个新的CSV文件,该文件更新了每种产品的所有数量,例如:

productA, 12
productB, 71
productC, 92

因此,大约有750,000个更新(50,000个产品的数量没有变化)。

我的问题是,如何导入该CSV文件以仅基于product(唯一)更新数量,而不考虑skudepartment和其他字段? 我知道如何通过遍历CSV并为每一行执行更新来在PHP中执行此操作,但这似乎效率很低。

trans by 2020-07-24T20:15:30Z

Python 2 CSV编写器在Windows上产生错误的行终止符

根据其文档,csv.writer默认应使用'\ r \ n'作为换行符。

import csv

with open("test.csv", "w") as f:
    writer = csv.writer(f)

    rows = [(0,1,2,3,4),
           (-0,-1,-2,-3,-4),
           ("a","b","c","d","e"),
           ("A","B","C","D","E")]           

    print writer.dialect.lineterminator.replace("\r", "\\r").replace("\n", "\\n")
    writer.writerows(rows)
    print writer.dialect.lineterminator.replace("\r", "\\r").replace("\n", "\\n")

此打印

\r\n
\r\n

如预期的那样。 但是,创建的csv文件使用换行符'\ r \ r \ n'

0,1,2,3,4

0,-1,-2,-3,-4

a,b,c,d,e

A,B,C,D,E

这是错误还是在我使用csv.writer时出现问题?

Python版本:

ActivePython 2.6.2.2(ActiveState 基于Python 2.6.2的Software Inc.) (r262:71600,2009年4月21日,15:05:37) [Win32上的MSC v.1500 32位(Intel)]

在Windows Vista上

trans by 2020-07-24T03:35:35Z

python-csv.writer在单独的列中写入单词的每个字符/

目标:在models中从所有行内的定位标记中提取文本,并将其放入csv中。

我正在尝试以下代码:

with open('Sprint_data.csv', 'ab') as csvfile:
  spamwriter = csv.writer(csvfile)
  models = soup.find_all('li' , {"class" : "phoneListing"})

  for model in models:

      model_name = unicode(u' '.join(model.a.stripped_strings)).encode('utf8').strip()
      spamwriter.writerow(unicode(u' '.join(model.a.stripped_strings)).encode('utf8').strip())

它工作正常,但csv中的每个单元格仅包含一个字符。

像这样:

|  S  |  A  |   M  |   S  |   U   |  N  |   G   |

代替:

|SAMSUNG|

我当然想念什么。 但是呢

trans by 2020-07-20T21:07:21Z

1 2 3 4 5 6 7 8 9 10 11 下一页 共11页