我有两个服务器，生产和开发。 在生产服务器上，有两个应用程序和多个（6）数据库（MySQL），我需要将这些数据库分发给开发人员进行测试。 所有源代码都存储在开发服务器上的GitLab中，开发人员仅与此服务器一起使用，无权访问生产服务器。 当我们发布应用程序时，master会登录生产并从Git中提取新版本。 数据库很大（每个数据库都超过500M，并且还在增加），我需要将它们尽可能容易地分发给开发人员进行测试。
在将每个数据库都转储到单个文件的备份脚本执行之后，执行一个脚本，将每个数据库推入其自己的分支。 如果开发人员想要更新其本地副本，则拉其中一个分支。
发现这一项无效。
生产服务器上的Cron每天保存二进制日志，并将它们推送到该数据库的分支中。 因此，在分支中，存在每日更改的文件，而开发人员会提取他没有的文件。 当前的SQL转储将以另一种方式发送给开发人员。 当存储库的大小太大时，我们会将完整的转储发送给开发人员，并刷新存储库中的所有数据，然后从头开始。
我正在尝试实施Git来管理创意资产（Photoshop，Illustrator，Maya等），我想根据文件大小而不是扩展名，位置等从Git中排除文件。
例如，我不想排除所有.avi文件，但是在随机目录中有一些我不想提交的大量+ 1GB avi文件。
有什么建议？
我正在尝试将DMOZ内容/结构XML文件解析为MySQL，但是所有现有的脚本都已经很老了并且不能很好地工作。 如何在PHP中打开大型（+ 1GB）XML文件进行解析？
我有一些500MB的json文件。如果我使用“平凡”的json.load一次加载所有内容，它将消耗大量内存。
有没有办法部分读取文件？ 如果它是文本行分隔文件，则可以在行上进行迭代。 我正在寻找一个比喻。
有什么建议么？谢谢
使用python从gz压缩的文本文件中读取一行很容易，而无需完全提取该文件？ 我有一个大约200mb的text.gz文件。 当我提取它时，它变为7.4gb。 这不是我必须阅读的唯一文件。 对于整个过程，我必须读取10个文件。 尽管这将是一个顺序的工作，但我认为在不影响全部信息的情况下做到这一点将是明智之举。 我什至不知道有可能。 如何使用python完成？ 我需要逐行阅读文本文件。
我有一个很大的服务器日志文件（〜750 MB），无法用Notepad或Notepad ++打开（它们都说文件太大）。
谁能建议一个程序（对于Windows）一次只能将文件的一小部分读到内存中的程序？
还是我需要编写自己的应用来解析此文件？
我有一个很好的任务，就是如何处理大型文件被加载到我们应用程序的脚本编辑器中（就像我们用于快速宏的内部产品的VBA一样）。 大多数文件大约300-400 KB，这是很好的加载。 但是当它们超过100 MB时，这个过程很难（正如你所期望的那样）。
发生的事情是将文件读取并推入RichTextBox然后导航 - 不要过于担心这部分。
编写初始代码的开发人员只是使用StreamReader并且正在执行
[Reader].ReadToEnd()
这可能需要很长时间才能完成。
我的任务是打破这段代码，将其以块的形式读入缓冲区并显示一个带有取消选项的进度条。
一些假设：
现在提问：
这些（在您的专业意见中）是好主意吗？ 我过去曾经有一些问题从Streams读取内容，因为它总会错过最后几个字节或者其他东西，但如果是这样的话，我会问另一个问题。
我们刚刚开始一个UNIX类，正在学习各种Bash命令。 我们的任务涉及在一个目录下执行各种命令，该目录下面还有许多文件夹。
我知道如何使用以下方法列出和计算根文件夹中的所有常规文件：
find . -type l | wc -l
但是我想知道从那里去哪里以找到整个目录中最大的文件。 我已经看到了关于du命令的事情，但是我们还没有学到这一点，所以在我们已经学到的所有内容中我假设我们需要以某种方式将它连接到ls -t命令。
请原谅我，如果我的＆＃39; lingo＆＃39; 不正确，我还是习惯了！
我尝试在VIM中打开一个巨大的（~2GB）文件但是它很窒息。 我实际上不需要编辑文件，只是有效地跳转。
如何在VIM中处理非常大的文件？
我正在尝试设置一个非常基本的html5页面来加载一个20MB的.mp4视频。 看起来浏览器需要下载整个内容，而不仅仅是播放视频的第一部分和其他内容的流媒体。
这篇文章是我在搜索时发现的最接近的东西......我尝试过Hand Brake和Data Go Round，但两者似乎没有什么区别：
关于如何做到这一点或有可能的任何想法？
这是我正在使用的代码：
<video controls="controls">
<source src="/video.mp4" type="video/mp4" />
Your browser does not support the video tag.
</video>
我已经花了两天时间对代码样本等进行“最好的”工作，尝试将一个非常大的JSON文件读入c＃中的数组中，以便稍后将其拆分为二维数组进行处理。
我遇到的问题是我找不到任何人做我想做的事情的例子。 这意味着我只是想编写一些希望最好的代码。
我已经成功地完成了一些工作：
这是通过下面的代码完成的，但是在输入几行到数组后它会崩溃程序。 这可能与文件大小有关。
// If the file extension was a jave file the following
// load method will be use else it will move on to the
// next else if statement
if (fileExtension == ".json")
{
int count = 0;
int count2 = 0;
int inOrOut = 0;
int nRecords=1;
JsonTextReader reader = new JsonTextReader(new StreamReader(txtLoaction.Text));
string[] rawData = new string[5];
while (reader.Read())
{
if (reader.Value != null)
if (inOrOut == 1)
{
if (count == 6)
{
nRecords++;
Array.Resize(ref rawData, nRecords);
//textBox1.Text += "\r\n";
count = 0;
}
rawData[count2] += reader.Value + ","; //+"\r\n"
inOrOut = 0;
count++;
if (count2 == 500)
{
MessageBox.Show(rawData[499]);
}
}
else
{
inOrOut = 1;
}
}
}
我正在使用的JSON片段是：
[
{ "millis": "1000",
"stamp": "1273010254",
"datetime": "2010/5/4 21:57:34",
"light": "333",
"temp": "78.32",
"vcc": "3.54" },
]
我需要这个JSON的值。 例如，我需要“3.54”，但我不希望它打印“vcc”。
我希望有人可以告诉我如何读取JSON文件并仅提取我需要的数据并将其放入数组或我可以用来以后放入数组的东西。
我有一个大的服务器日志文件（~750 MB）我无法使用记事本或Notepad ++打开（他们都说文件太大）。
任何人都可以建议一个程序（对于Windows），一次只能将文件的一小部分读入内存吗？
或者我是否需要编写自己的应用来解析此文件？
我正在寻找如何处理我的源代码（Web应用程序）所依赖的大型二进制文件的意见。 我们目前正在讨论几种选择：
您对此有何体验/想法？
另外：有没有人有多个Git存储库的经验并在一个项目中管理它们？
这些文件是程序的图像，该程序生成包含这些文件的PDF。 文件不会经常更改（如年份），但它们与程序非常相关。 没有文件，程序将无法运行。
我使用大量数据文件，有时我只需要知道这些文件中的行数，通常我打开它们并逐行读取它们直到我到达文件末尾
我想知道是否有更聪明的方法来做到这一点
我的意思是100多MB大; 这样的文本文件可以推动编辑的信封。
我需要查看一个大型XML文件，但如果编辑器有错误则无法查看。
有什么建议？