2014深圳杯B题--基因组组装之分析总结

2024-05-10 18:58

本文主要是介绍2014深圳杯B题--基因组组装之分析总结,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前几天去深圳参加了深圳杯数学建模夏令营,跟其他高校的同学交流了一下(B题),收获颇多,对题目及背景的理解也加深了不少。整理如下(原题在【2014年深圳杯数学建模夏令营题目】可以下载)


解题关键:

1,正确理解测序过程。这个要求详细阅读Hiseq2000(题目指定的测序仪)的测序策略。通过这个测序策略,可以得知:

  • read1和read2来自同一条DNA双链的不同单链,是等价的,没有read1全部来自于正链,read2全部来自于反链之说;
  • 500的长度是大约的值,实际read1与read2之间的距离应该是500左右,而不是确切的500,也就是在程序中只能利用read1和read2的相互关系(有一组称之为共轭互补),但不能利用500这个具体的数。
华大基因的刘心博士一针见血地将测序过程概括为DNA的可放回抽样过程,个人觉得很精辟,为毛刚学过概率论的我没想到-_-||。

2,正确理解质量值。既然题目给出了质量值,并且提到要解决测序过程中出现的个别碱基识别错误的问题,就应该利用质量值做出一定的模型解决错误碱基问题(筛选、剔除),这是一个思路。

3,容错问题。即在组装DNA的时候每两条相邻的read之间允许存在的错误。由于测序的问题,错误是客观存在的,这些错误也将DNA组装问题区别于字符串匹配问题(零容错)。这个需要统计出错期望,设置每条链允许出错的阈值。另外在de Bruijn图中,k-mer的正确选取也可以减少每条单链的出错率。

4,正确理解测试深度。结合可放回抽样的概念,测试深度70*即平均(期望)每个碱基被测得70次。

5,解决基因重复的问题。所谓基因重复问题就是由于生物进化的原因,基因中可能存在某一片段重复多次出现的现象。如果重复片段很短(比如三五十个碱基),则基本可以忽略(因为重复片段短于测序片段88);而如果重复片段很长,比如几百上千个碱基,则必须通过算法加以解决。这是本题的一大考点。当然目前来说还没有很好地方法解决这个问题,只能说仁者见仁智者见智吧。

6,模拟测试。本题只给出了一组数据,而且没有答案(即题目给出的数据是实际测量得到的,并不知道实际的DNA链),所以需要额外的数据对程序进行测试。最简单的办法是利用现有的模拟软件生成相关数据。而我们的失误在于直接自己生成数据,没有想到利用前人的成果。而自己生成数据就免不了理想化处理,这些理想化处理广为诟病。不过这个思路值得提倡。

7,评价标准。这个主要是题目中提到的连续性完整性准确性,具体的评价指标则需要参考文献了。比如contig数目,contig大小,N50,N90,错误碱基数,覆盖度,最长长度等等。另外如果能用自己的程序跑出来的数据跟现有软件跑出来的数据对比评价,嗯,味道更佳。

8,关于查阅资料:广泛查阅,重点参考。例如本题中,要查阅相关生物知识(比如生物DNA特性),测序仪原理,数据格式,测序拼接算法、拼接软件等的资料。在具体解题的时候,不可能广泛参考过多的文献(特别是国赛,时间不够),只能选取其中一些方向参考文献来建模。而我们解题的时候集中查阅了拼接算法的相关资料,却未能更好的利用拼接软件,导致未能站在巨人的肩膀上。

9,创新。由于现有算法很多,现成的软件效果也很好,所以能出彩的地方就是创新。比如自己提出算法,或基于已有算法的改进。说不上那一种创新好,只要自圆其说,别树一帜就能出彩。

10,在几次讨论之后,个人比较倾向于使用de Bruijn图来解决这个问题。毕竟题目给出的数据是用第二代测序技术测得的,read短,深度深,且DNA总长不是很长。但是具体实现的时候又有很多小技巧,比如在节省时间、空间上需要一定的优化。

 

几个思路:

1,预处理。这一步可以利用统计学知识对数据进行第一步筛选,比如剔除出错率较高的异常数据,删除(或者合并)重复数据等。

2,OLC vs de Bruijn。这其实是适用于不同测序策略的拼接算法。OLC适用于长read(第一代测序技术),优点是空间占用小,缺点是速度慢;而de Bruijn则针对第二代测序技术提出,适用于短read,速度快,占内存也大。本题给出的数据是第二代测序技术测得的,也就是理论上说,de Bruijn要好一些。具体算法的实现可以参考相关论文,本文不再展开。

3,还是要利用read1与read2的共轭互补的条件。如果应用得当应该算得上是一大亮点。当然鉴于read1与read2的距离的不确定性,能用上这一点还是有点难度的。

4,有人提到使用动态k值(de Bruijn图的)效果更好,未考证。。

5,慎用概率论建模。个人认为马尔科夫链在本题并不适用。但由于本题的测试深度非常深,可以利用统计学知识剔除出现概率比较小的一些连接,这些数据可以视为异常。当然实际中有很多队伍采用了马尔科夫链,说的也头头是道。保留个人意见。

 

可参考的拼接软件

velvet,SOAPdenovo2

 

涉及到的算法、概念

基因组组装抽象为数学问题即为字符串匹配问题,当然中间还涉及很多统计学、图论的知识。比较有价值的数学概念(问题)有

1,最短超序列

2,编辑距离

3,马尔科夫链,哈希表,压缩编码

4,KMP算法(需要考虑容错),可以参考从头到尾彻底理解KMP

5,N-gram语言模型

6,欧拉图,哈密顿图,深度优先搜索等

 

最后多说一句,获奖队伍的论文将在2015年8月发行(光盘)。且不论结果如何(说得好像你拿奖了一样安静),这次去深圳还是很有收获的。在此也感谢其他参赛队伍的分享!

 

这篇关于2014深圳杯B题--基因组组装之分析总结的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/977278

相关文章

MySQL 内存使用率常用分析语句

《MySQL内存使用率常用分析语句》用户整理了MySQL内存占用过高的分析方法,涵盖操作系统层确认及数据库层bufferpool、内存模块差值、线程状态、performance_schema性能数据... 目录一、 OS层二、 DB层1. 全局情况2. 内存占js用详情最近连续遇到mysql内存占用过高导致

深度解析Nginx日志分析与499状态码问题解决

《深度解析Nginx日志分析与499状态码问题解决》在Web服务器运维和性能优化过程中,Nginx日志是排查问题的重要依据,本文将围绕Nginx日志分析、499状态码的成因、排查方法及解决方案展开讨论... 目录前言1. Nginx日志基础1.1 Nginx日志存放位置1.2 Nginx日志格式2. 499

Olingo分析和实践之EDM 辅助序列化器详解(最佳实践)

《Olingo分析和实践之EDM辅助序列化器详解(最佳实践)》EDM辅助序列化器是ApacheOlingoOData框架中无需完整EDM模型的智能序列化工具,通过运行时类型推断实现灵活数据转换,适用... 目录概念与定义什么是 EDM 辅助序列化器?核心概念设计目标核心特点1. EDM 信息可选2. 智能类

Olingo分析和实践之OData框架核心组件初始化(关键步骤)

《Olingo分析和实践之OData框架核心组件初始化(关键步骤)》ODataSpringBootService通过初始化OData实例和服务元数据,构建框架核心能力与数据模型结构,实现序列化、URI... 目录概述第一步:OData实例创建1.1 OData.newInstance() 详细分析1.1.1

Spring Boot 与微服务入门实战详细总结

《SpringBoot与微服务入门实战详细总结》本文讲解SpringBoot框架的核心特性如快速构建、自动配置、零XML与微服务架构的定义、演进及优缺点,涵盖开发环境准备和HelloWorld实战... 目录一、Spring Boot 核心概述二、微服务架构详解1. 微服务的定义与演进2. 微服务的优缺点三

Olingo分析和实践之ODataImpl详细分析(重要方法详解)

《Olingo分析和实践之ODataImpl详细分析(重要方法详解)》ODataImpl.java是ApacheOlingoOData框架的核心工厂类,负责创建序列化器、反序列化器和处理器等组件,... 目录概述主要职责类结构与继承关系核心功能分析1. 序列化器管理2. 反序列化器管理3. 处理器管理重要方

SpringBoot中六种批量更新Mysql的方式效率对比分析

《SpringBoot中六种批量更新Mysql的方式效率对比分析》文章比较了MySQL大数据量批量更新的多种方法,指出REPLACEINTO和ONDUPLICATEKEY效率最高但存在数据风险,MyB... 目录效率比较测试结构数据库初始化测试数据批量修改方案第一种 for第二种 case when第三种

解决1093 - You can‘t specify target table报错问题及原因分析

《解决1093-Youcan‘tspecifytargettable报错问题及原因分析》MySQL1093错误因UPDATE/DELETE语句的FROM子句直接引用目标表或嵌套子查询导致,... 目录报js错原因分析具体原因解决办法方法一:使用临时表方法二:使用JOIN方法三:使用EXISTS示例总结报错原

MySQL中的LENGTH()函数用法详解与实例分析

《MySQL中的LENGTH()函数用法详解与实例分析》MySQLLENGTH()函数用于计算字符串的字节长度,区别于CHAR_LENGTH()的字符长度,适用于多字节字符集(如UTF-8)的数据验证... 目录1. LENGTH()函数的基本语法2. LENGTH()函数的返回值2.1 示例1:计算字符串

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期