2024年3月调研学习文档资料汇总

2024-04-03 12:44

本文主要是介绍2024年3月调研学习文档资料汇总,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

近期学习文档

1、chatGLM实践:https://zhuanlan.zhihu.com/p/622686205?utm_id=0
chatGLM模型结构与核心代码解读:
https://blog.csdn.net/weixin_42878111/article/details/134017313
2、图文分类:https://huggingface.co/docs/transformers/model_doc/chinese_clip
(图像相似检测、零样本分类、图文特征抽取见git代码)
ChineseClip代码,预训练、图文特征抽取、零样本图像分类(支持文到图、图到文检索的top-k召回结果,详见readme):
https://github.com/OFA-Sys/Chinese-CLIP/tree/master?tab=readme-ov-file#API%E5%BF%AB%E9%80%9F%E4%B8%8A%E6%89%8B

3、多卡训练:https://blog.csdn.net/qq_51392112/article/details/129737803
4、图像质量打分模型(图像质量打分模型,训练语料只质量由高到低写到train.txt中):
https://github.com/zheng-yuwei/RankIQA.PyTorch/?tab=readme-ov-file
5、图文相似匹配:https://huggingface.co/OFA-Sys/chinese-clip-rn50
6、句子文本向量表示:https://huggingface.co/shibing624/text2vec-base-chinese
bert4vec:一个基于预训练的句向量生成工具:
https://github.com/zejunwang1/bert4vec/tree/main?tab=readme-ov-file

7、中文文本摘要:
https://huggingface.co/IDEA-CCNL/Randeng-Pegasus-523M-Summary-Chinese
rouge安装:pip install rouge

8、bert系列人物集成(分类+阅读理解):
https://github.com/CLUEbenchmark/CLUE/tree/master
9、fasttext模型训练代码:(意图打标服务用的这个脚本)
https://github.com/649453932/Chinese-Text-Classification-Pytorch
fasttext模型训练脚本:(游戏信息分类服务在用)
https://github.com/Tencent/NeuralNLP-NeuralClassifier?tab=readme-ov-file

10、bert和lert模型区别:https://zhuanlan.zhihu.com/p/664200148?utm_id=0
11、大模型图生文,模型太大,每个模型需要28G,下载耗时严重;运行需要28G及以上的显存资源,并且只能在V100及以上的机器上才能运行:
https://huggingface.co/THUDM/CogVLM/tree/main
12、ChatGLM3-6B中文纠错LoRA模型:
https://huggingface.co/shibing624/chatglm3-6b-csc-chinese-lora
13、中文拼写纠错和中文语法纠错:
https://github.com/shibing624/pycorrector/tree/master

调研评价:字粒度纠错还凑合,词粒度纠错效果差,在难样本面前就是个傻子,Macbert整体文本纠错base效果要强于其他模型

MacBert4csc模型介绍:
https://github.com/shibing624/pycorrector/blob/master/examples/macbert/README.md

14、最新的中文大模型chatGLM3:https://huggingface.co/THUDM/chatglm3-6b
15、天池数据集,需要登陆下载:https://tianchi.aliyun.com/dataset/138195
16、头条,中文文本分类数据集:https://huggingface.co/datasets/fourteenBDr/toutiao
17、数据可视化:https://www.gradio.app/guides/quickstart
gradio官方文档:https://www.gradio.app/docs/image
18、腾讯预训练平台:https://github.com/Tencent/TencentPretrain/tree/main

这篇关于2024年3月调研学习文档资料汇总的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/872957

相关文章

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

Linux实现线程同步的多种方式汇总

《Linux实现线程同步的多种方式汇总》本文详细介绍了Linux下线程同步的多种方法,包括互斥锁、自旋锁、信号量以及它们的使用示例,通过这些同步机制,可以解决线程安全问题,防止资源竞争导致的错误,示例... 目录什么是线程同步?一、互斥锁(单人洗手间规则)适用场景:特点:二、条件变量(咖啡厅取餐系统)工作流

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

8种快速易用的Python Matplotlib数据可视化方法汇总(附源码)

《8种快速易用的PythonMatplotlib数据可视化方法汇总(附源码)》你是否曾经面对一堆复杂的数据,却不知道如何让它们变得直观易懂?别慌,Python的Matplotlib库是你数据可视化的... 目录引言1. 折线图(Line Plot)——趋势分析2. 柱状图(Bar Chart)——对比分析3

JAVA数组中五种常见排序方法整理汇总

《JAVA数组中五种常见排序方法整理汇总》本文给大家分享五种常用的Java数组排序方法整理,每种方法结合示例代码给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧... 目录前言:法一:Arrays.sort()法二:冒泡排序法三:选择排序法四:反转排序法五:直接插入排序前言:几种常用的Java数组排序

重新对Java的类加载器的学习方式

《重新对Java的类加载器的学习方式》:本文主要介绍重新对Java的类加载器的学习方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍1.1、简介1.2、符号引用和直接引用1、符号引用2、直接引用3、符号转直接的过程2、加载流程3、类加载的分类3.1、显示

防止SpringBoot程序崩溃的几种方式汇总

《防止SpringBoot程序崩溃的几种方式汇总》本文总结了8种防止SpringBoot程序崩溃的方法,包括全局异常处理、try-catch、断路器、资源限制、监控、优雅停机、健康检查和数据库连接池配... 目录1. 全局异常处理2. 使用 try-catch 捕获异常3. 使用断路器4. 设置最大内存和线

Android实现定时任务的几种方式汇总(附源码)

《Android实现定时任务的几种方式汇总(附源码)》在Android应用中,定时任务(ScheduledTask)的需求几乎无处不在:从定时刷新数据、定时备份、定时推送通知,到夜间静默下载、循环执行... 目录一、项目介绍1. 背景与意义二、相关基础知识与系统约束三、方案一:Handler.postDel

Pandas中统计汇总可视化函数plot()的使用

《Pandas中统计汇总可视化函数plot()的使用》Pandas提供了许多强大的数据处理和分析功能,其中plot()函数就是其可视化功能的一个重要组成部分,本文主要介绍了Pandas中统计汇总可视化... 目录一、plot()函数简介二、plot()函数的基本用法三、plot()函数的参数详解四、使用pl

python获取网页表格的多种方法汇总

《python获取网页表格的多种方法汇总》我们在网页上看到很多的表格,如果要获取里面的数据或者转化成其他格式,就需要将表格获取下来并进行整理,在Python中,获取网页表格的方法有多种,下面就跟随小编... 目录1. 使用Pandas的read_html2. 使用BeautifulSoup和pandas3.