javascript

git

python

java

git-remote

github

django

c#

reactjs

c++

scrum

kubernetes

ruby-on-rails

.net

.net-framework-version

operators

git-fetch

typescript

user-experience

chmod

大文件Git

情况

我有两个服务器,生产和开发。 在生产服务器上,有两个应用程序和多个(6)数据库(MySQL),我需要将这些数据库分发给开发人员进行测试。 所有源代码都存储在开发服务器上的GitLab中,开发人员仅与此服务器一起使用,无权访问生产服务器。 当我们发布应用程序时,master会登录生产并从Git中提取新版本。 数据库很大(每个数据库都超过500M,并且还在增加),我需要将它们尽可能容易地分发给开发人员进行测试。

可能的解决方案

  • 在将每个数据库都转储到单个文件的备份脚本执行之后,执行一个脚本,将每个数据库推入其自己的分支。 如果开发人员想要更新其本地副本,则拉其中一个分支。

    发现这一项无效。

  • 生产服务器上的Cron每天保存二进制日志,并将它们推送到该数据库的分支中。 因此,在分支中,存在每日更改的文件,而开发人员会提取他没有的文件。 当前的SQL转储将以另一种方式发送给开发人员。 当存储库的大小太大时,我们会将完整的转储发送给开发人员,并刷新存储库中的所有数据,然后从头开始。

问题

  • 解决方案可行吗?
  • 如果git从存储库中推入/拉入,它是上传/下载整个文件,还是只是对其进行更改(即添加新行或编辑当前行)?
  • Git可以管理这么大的文件吗? 没有。
  • 如何设置在存储库中保留多少修订? 新解决方案无关紧要。
  • 有没有更好的解决方案? 我不想强迫开发人员通过FTP或类似方式下载如此大的文件。
trans by 2020-08-12T09:56:34Z

git-gitignore按文件大小?

我正在尝试实施Git来管理创意资产(Photoshop,Illustrator,Maya等),我想根据文件大小而不是扩展名,位置等从Git中排除文件。

例如,我不想排除所有.avi文件,但是在随机目录中有一些我不想提交的大量+ 1GB avi文件。

有什么建议?

trans by 2020-07-13T07:40:11Z

用PHP解析巨大的XML文件

我正在尝试将DMOZ内容/结构XML文件解析为MySQL,但是所有现有的脚本都已经很老了并且不能很好地工作。 如何在PHP中打开大型(+ 1GB)XML文件进行解析?

trans by 2020-01-13T20:35:06Z

有没有一种内存高效且快速的方法来在python中加载大json文件?

我有一些500MB的json文件。如果我使用“平凡”的json.load一次加载所有内容,它将消耗大量内存。

有没有办法部分读取文件? 如果它是文本行分隔文件,则可以在行上进行迭代。 我正在寻找一个比喻。

有什么建议么?谢谢

trans by 2019-11-14T08:12:56Z

python:从压缩的文本文件中读取行

使用python从gz压缩的文本文件中读取一行很容易,而无需完全提取该文件? 我有一个大约200mb的text.gz文件。 当我提取它时,它变为7.4gb。 这不是我必须阅读的唯一文件。 对于整个过程,我必须读取10个文件。 尽管这将是一个顺序的工作,但我认为在不影响全部信息的情况下做到这一点将是明智之举。 我什至不知道有可能。 如何使用python完成? 我需要逐行阅读文本文件。

trans by 2019-10-25T13:29:47Z

如何在Windows上阅读大文本文件?

我有一个很大的服务器日志文件(〜750 MB),无法用Notepad或Notepad ++打开(它们都说文件太大)。

谁能建议一个程序(对于Windows)一次只能将文件的一小部分读到内存中的程序?

还是我需要编写自己的应用来解析此文件?

trans by 2019-09-21T03:11:25Z

.net - 使用C#中的流读取大型文本文件

我有一个很好的任务,就是如何处理大型文件被加载到我们应用程序的脚本编辑器中(就像我们用于快速宏的内部产品的VBA一样)。 大多数文件大约300-400 KB,这是很好的加载。 但是当它们超过100 MB时,这个过程很难(正如你所期望的那样)。

发生的事情是将文件读取并推入RichTextBox然后导航 - 不要过于担心这部分。

编写初始代码的开发人员只是使用StreamReader并且正在执行

[Reader].ReadToEnd()

这可能需要很长时间才能完成。

我的任务是打破这段代码,将其以块的形式读入缓冲区并显示一个带有取消选项的进度条。

一些假设:

  • 大多数文件将是30-40 MB
  • 文件的内容是文本(不是二进制),有些是Unix格式,有些是DOS。
  • 一旦检索到内容,我们就可以找出使用的终结符。
  • 一旦加载了在richtextbox中渲染所需的时间,没有人会担心。 这只是文本的初始加载。

现在提问:

  • 我可以简单地使用StreamReader,然后检查Length属性(so ProgressMax)并为set缓冲区大小发出Read并在后台worker中的while循环WHILST中迭代,这样它就不会阻塞主UI线程? 然后在完成后将stringbuilder返回到主线程。
  • 内容将转到StringBuilder。 如果长度可用,我可以用流的大小初始化StringBuilder吗?

这些(在您的专业意见中)是好主意吗? 我过去曾经有一些问题从Streams读取内容,因为它总会错过最后几个字节或者其他东西,但如果是这样的话,我会问另一个问题。

trans by 2019-09-15T19:38:23Z

Bash - 如何在目录及其子目录中找到最大的文件?

我们刚刚开始一个UNIX类,正在学习各种Bash命令。 我们的任务涉及在一个目录下执行各种命令,该目录下面还有许多文件夹。

我知道如何使用以下方法列出和计算根文件夹中的所有常规文件:

find . -type l | wc -l

但是我想知道从那里去哪里以找到整个目录中最大的文件。 我已经看到了关于du命令的事情,但是我们还没有学到这一点,所以在我们已经学到的所有内容中我假设我们需要以某种方式将它连接到ls -t命令。

请原谅我,如果我的' lingo' 不正确,我还是习惯了!

trans by 2019-08-07T23:26:14Z

使用VIM中的大文件

我尝试在VIM中打开一个巨大的(~2GB)文件但是它很窒息。 我实际上不需要编辑文件,只是有效地跳转。

如何在VIM中处理非常大的文件?

trans by 2019-07-24T03:05:43Z

视频 - HTML5 - 如何流式传输大型.mp4文件?

我正在尝试设置一个非常基本的html5页面来加载一个20MB的.mp4视频。 看起来浏览器需要下载整个内容,而不仅仅是播放视频的第一部分和其他内容的流媒体。

这篇文章是我在搜索时发现的最接近的东西......我尝试过Hand Brake和Data Go Round,但两者似乎没有什么区别:

关于如何做到这一点或有可能的任何想法?

这是我正在使用的代码:

<video controls="controls">
    <source src="/video.mp4" type="video/mp4" />
    Your browser does not support the video tag.
</video>
trans by 2019-06-12T13:43:12Z

在C#中读取和解析Json文件

我已经花了两天时间对代码样本等进行“最好的”工作,尝试将一个非常大的JSON文件读入c#中的数组中,以便稍后将其拆分为二维数组进行处理。

我遇到的问题是我找不到任何人做我想做的事情的例子。 这意味着我只是想编写一些希望最好的代码。

我已经成功地完成了一些工作:

  • 读取文件Miss out headers并仅将值读入数组。
  • 在数组的每一行上放置一定数量的值。 (所以我以后可以把它分成2d阵列)

这是通过下面的代码完成的,但是在输入几行到数组后它会崩溃程序。 这可能与文件大小有关。

// If the file extension was a jave file the following 
// load method will be use else it will move on to the 
// next else if statement
if (fileExtension == ".json") 
{
    int count = 0;
    int count2 = 0;
    int inOrOut = 0;
    int nRecords=1; 
    JsonTextReader reader = new JsonTextReader(new StreamReader(txtLoaction.Text));
    string[] rawData = new string[5];
    while (reader.Read())
    {
        if (reader.Value != null)
            if (inOrOut == 1)
            {
                if (count == 6)
                {
                    nRecords++;
                    Array.Resize(ref rawData, nRecords);
                    //textBox1.Text += "\r\n";
                    count = 0;
                }
                rawData[count2] += reader.Value + ","; //+"\r\n"
                inOrOut = 0;
                count++;
                if (count2 == 500)
                {
                    MessageBox.Show(rawData[499]);
                }
            }
            else
            {
                inOrOut = 1;
            }
    } 
}

我正在使用的JSON片段是:

[ 
    { "millis": "1000", 
      "stamp": "1273010254", 
      "datetime": "2010/5/4 21:57:34", 
      "light": "333", 
      "temp": "78.32", 
      "vcc": "3.54" }, 
] 

我需要这个JSON的值。 例如,我需要“3.54”,但我不希望它打印“vcc”。

我希望有人可以告诉我如何读取JSON文件并仅提取我需要的数据并将其放入数组或我可以用来以后放入数组的东西。

trans by 2019-05-15T10:57:55Z

如何在Windows上阅读大文本文件?

我有一个大的服务器日志文件(~750 MB)我无法使用记事本或Notepad ++打开(他们都说文件太大)。

任何人都可以建议一个程序(对于Windows),一次只能将文件的一小部分读入内存吗?

或者我是否需要编写自己的应用来解析此文件?

trans by 2019-05-12T17:04:28Z

版本控制 - 使用Gi管理大型二进制文件

我正在寻找如何处理我的源代码(Web应用程序)所依赖的大型二进制文件的意见。 我们目前正在讨论几种选择:

  1. 手动复制二进制文件。
    • 亲:不确定。
    • Contra:我强烈反对这一点,因为它增加了在设置新站点/迁移旧站点时出错的可能性。 建立另一个障碍。
  2. 用Git管理所有这些。
    • 专业:删除'忘记'复制重要文件的可能性
    • 反对:膨胀存储库并降低管理代码库和检出,克隆等的灵活性将需要相当长的时间。
  3. 单独的存储库。
    • Pro:检查/克隆源代码的速度很快,图像可以在自己的存储库中正确存档。
    • Contra:删除了在项目中拥有唯一的Git存储库的简单性。 它肯定会介绍一些我没有想过的其他事情。

您对此有何体验/想法?

另外:有没有人有多个Git存储库的经验并在一个项目中管理它们?

这些文件是程序的图像,该程序生成包含这些文件的PDF。 文件不会经常更改(如年份),但它们与程序非常相关。 没有文件,程序将无法运行。

trans by 2019-03-28T09:27:46Z

J中文件中的行数

我使用大量数据文件,有时我只需要知道这些文件中的行数,通常我打开它们并逐行读取它们直到我到达文件末尾

我想知道是否有更聪明的方法来做到这一点

trans by 2019-03-14T15:14:30Z

windows - 用于打开大(巨大,巨大,大)文本文件的文本编辑器

我的意思是100多MB大; 这样的文本文件可以推动编辑的信封。

我需要查看一个大型XML文件,但如果编辑器有错误则无法查看。

有什么建议?

trans by 2018-12-17T04:54:40Z

1 共1页