Git 突破 文件尺寸限制

2024-02-27 18:36
文章标签 git 限制 突破 文件尺寸

本文主要是介绍Git 突破 文件尺寸限制,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

当Git本地存储里右超过50MB,却又确实需要上传的时候,就需要用到了不是

解决

本代码就是把大文件进行拆解成小文件,然后上传。

等到拉取下来的时候,可以直接再进行合并,合并成原文件

代码如下,仅供参考:

'''
-*- coding: utf-8 -*-
@File  : 文件分割与合并.py
@Author: Shanmh
@Time  : 2024/02/26 下午2:37
@Function: 突破git上传限制,把大文件分割成小文件再上传
'''import os
import shutilfrom natsort import natsortedimport osdef get_file_size(path):return os.path.getsize(path)/(1024*1024)def list_files_and_sizes(directory,max_size):big_list=[]for root, dirs, files in os.walk(directory):for file in files:file_path = os.path.join(root, file)file_size = get_file_size(file_path)if file_size>=max_size:print(f"{file_path}: {file_size:.2f} MB")big_list.append(file_path)return big_listdef list_parts(directory):print("Find all parts , willing combine the parts:")parts_list = []for root, dirs, files in os.walk(directory):for dir in dirs:dir_path = os.path.join(root, dir)if dir_path.endswith(".parts"):parts_list.append(dir_path)print(parts_list)return parts_list
def split_file(input_file, chunk_size):# 读取输入文件的内容os.makedirs(f"{input_file}.parts")with open(input_file, 'rb') as f:data = f.read()# 计算分割的文件数量num_chunks = len(data) // chunk_sizeif len(data) % chunk_size != 0:num_chunks += 1# 分割文件并保存为多个分块文件chunks = [data[i * chunk_size:(i + 1) * chunk_size] for i in range(num_chunks)]for i, chunk in enumerate(chunks):output_file = f'{input_file}.parts/tmp.part{str(i+1).zfill(4)}'with open(output_file, 'wb') as f:f.write(chunk)print(f'Split file: {output_file}')os.remove(input_file)return num_chunksdef merge_files(output_file):# 合并分块文件并保存为输出文件with open(output_file.split(".parts")[0], 'wb') as f:for file in natsorted(os.listdir(output_file)):input_file = f'{output_file}/{file}'with open(input_file, 'rb') as chunk_file:f.write(chunk_file.read())os.remove(input_file)shutil.rmtree(output_file)print(f'Merged file: {output_file}')if __name__ == '__main__':method=1  #如果设置为 1 进行分割大文件, 2 则是进行合并currect_path=os.getcwd() #默认当前目录,可自行更改max_size=50 #MB  大于等于 50 MB 文件split_size=40 * 1024 * 1024  # 分割大小为40MBif method==1:files_list=list_files_and_sizes(currect_path,max_size)for fi in files_list:split_file(fi, split_size)elif method==2:parts_list=list_parts(currect_path)for fi in parts_list:merge_files(fi)

注意:此代码中有删除命令,请确保本程序正常运行后,在运行

这篇关于Git 突破 文件尺寸限制的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/753258

相关文章

IDEA中新建/切换Git分支的实现步骤

《IDEA中新建/切换Git分支的实现步骤》本文主要介绍了IDEA中新建/切换Git分支的实现步骤,通过菜单创建新分支并选择是否切换,创建后在Git详情或右键Checkout中切换分支,感兴趣的可以了... 前提:项目已被Git托管1、点击上方栏Git->NewBrancjsh...2、输入新的分支的

一文详解Git中分支本地和远程删除的方法

《一文详解Git中分支本地和远程删除的方法》在使用Git进行版本控制的过程中,我们会创建多个分支来进行不同功能的开发,这就容易涉及到如何正确地删除本地分支和远程分支,下面我们就来看看相关的实现方法吧... 目录技术背景实现步骤删除本地分支删除远程www.chinasem.cn分支同步删除信息到其他机器示例步骤

全面解析MySQL索引长度限制问题与解决方案

《全面解析MySQL索引长度限制问题与解决方案》MySQL对索引长度设限是为了保持高效的数据检索性能,这个限制不是MySQL的缺陷,而是数据库设计中的权衡结果,下面我们就来看看如何解决这一问题吧... 目录引言:为什么会有索引键长度问题?一、问题根源深度解析mysql索引长度限制原理实际场景示例二、五大解决

git stash命令基本用法详解

《gitstash命令基本用法详解》gitstash是Git中一个非常有用的命令,它可以临时保存当前工作区的修改,让你可以切换到其他分支或者处理其他任务,而不需要提交这些还未完成的修改,这篇文章主要... 目录一、基本用法1. 保存当前修改(包括暂存区和工作区的内容)2. 查看保存了哪些 stash3. 恢

IDEA实现回退提交的git代码(四种常见场景)

《IDEA实现回退提交的git代码(四种常见场景)》:本文主要介绍IDEA实现回退提交的git代码(四种常见场景),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.已提交commit,还未push到远端(Undo Commit)2.已提交commit并push到

Nginx 413修改上传文件大小限制的方法详解

《Nginx413修改上传文件大小限制的方法详解》在使用Nginx作为Web服务器时,有时会遇到客户端尝试上传大文件时返回​​413RequestEntityTooLarge​​... 目录1. 理解 ​​413 Request Entity Too Large​​ 错误2. 修改 Nginx 配置2.1

Git可视化管理工具(SourceTree)使用操作大全经典

《Git可视化管理工具(SourceTree)使用操作大全经典》本文详细介绍了SourceTree作为Git可视化管理工具的常用操作,包括连接远程仓库、添加SSH密钥、克隆仓库、设置默认项目目录、代码... 目录前言:连接Gitee or github,获取代码:在SourceTree中添加SSH密钥:Cl

Windows系统宽带限制如何解除?

《Windows系统宽带限制如何解除?》有不少用户反映电脑网速慢得情况,可能是宽带速度被限制的原因,只需解除限制即可,具体该如何操作呢?本文就跟大家一起来看看Windows系统解除网络限制的操作方法吧... 有不少用户反映电脑网速慢得情况,可能是宽带速度被限制的原因,只需解除限制即可,具体该如何操作呢?本文

浅谈mysql的sql_mode可能会限制你的查询

《浅谈mysql的sql_mode可能会限制你的查询》本文主要介绍了浅谈mysql的sql_mode可能会限制你的查询,这个问题主要说明的是,我们写的sql查询语句违背了聚合函数groupby的规则... 目录场景:问题描述原因分析:解决方案:第一种:修改后,只有当前生效,若是mysql服务重启,就会失效;

IDEA中Git版本回退的两种实现方案

《IDEA中Git版本回退的两种实现方案》作为开发者,代码版本回退是日常高频操作,IntelliJIDEA集成了强大的Git工具链,但面对reset和revert两种核心回退方案,许多开发者仍存在选择... 目录一、版本回退前置知识二、Reset方案:整体改写历史1、IDEA图形化操作(推荐)1.1、查看提