2014深圳杯B题--基因组组装之分析总结

2024-05-10 18:58

本文主要是介绍2014深圳杯B题--基因组组装之分析总结,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前几天去深圳参加了深圳杯数学建模夏令营,跟其他高校的同学交流了一下(B题),收获颇多,对题目及背景的理解也加深了不少。整理如下(原题在【2014年深圳杯数学建模夏令营题目】可以下载)


解题关键:

1,正确理解测序过程。这个要求详细阅读Hiseq2000(题目指定的测序仪)的测序策略。通过这个测序策略,可以得知:

  • read1和read2来自同一条DNA双链的不同单链,是等价的,没有read1全部来自于正链,read2全部来自于反链之说;
  • 500的长度是大约的值,实际read1与read2之间的距离应该是500左右,而不是确切的500,也就是在程序中只能利用read1和read2的相互关系(有一组称之为共轭互补),但不能利用500这个具体的数。
华大基因的刘心博士一针见血地将测序过程概括为DNA的可放回抽样过程,个人觉得很精辟,为毛刚学过概率论的我没想到-_-||。

2,正确理解质量值。既然题目给出了质量值,并且提到要解决测序过程中出现的个别碱基识别错误的问题,就应该利用质量值做出一定的模型解决错误碱基问题(筛选、剔除),这是一个思路。

3,容错问题。即在组装DNA的时候每两条相邻的read之间允许存在的错误。由于测序的问题,错误是客观存在的,这些错误也将DNA组装问题区别于字符串匹配问题(零容错)。这个需要统计出错期望,设置每条链允许出错的阈值。另外在de Bruijn图中,k-mer的正确选取也可以减少每条单链的出错率。

4,正确理解测试深度。结合可放回抽样的概念,测试深度70*即平均(期望)每个碱基被测得70次。

5,解决基因重复的问题。所谓基因重复问题就是由于生物进化的原因,基因中可能存在某一片段重复多次出现的现象。如果重复片段很短(比如三五十个碱基),则基本可以忽略(因为重复片段短于测序片段88);而如果重复片段很长,比如几百上千个碱基,则必须通过算法加以解决。这是本题的一大考点。当然目前来说还没有很好地方法解决这个问题,只能说仁者见仁智者见智吧。

6,模拟测试。本题只给出了一组数据,而且没有答案(即题目给出的数据是实际测量得到的,并不知道实际的DNA链),所以需要额外的数据对程序进行测试。最简单的办法是利用现有的模拟软件生成相关数据。而我们的失误在于直接自己生成数据,没有想到利用前人的成果。而自己生成数据就免不了理想化处理,这些理想化处理广为诟病。不过这个思路值得提倡。

7,评价标准。这个主要是题目中提到的连续性完整性准确性,具体的评价指标则需要参考文献了。比如contig数目,contig大小,N50,N90,错误碱基数,覆盖度,最长长度等等。另外如果能用自己的程序跑出来的数据跟现有软件跑出来的数据对比评价,嗯,味道更佳。

8,关于查阅资料:广泛查阅,重点参考。例如本题中,要查阅相关生物知识(比如生物DNA特性),测序仪原理,数据格式,测序拼接算法、拼接软件等的资料。在具体解题的时候,不可能广泛参考过多的文献(特别是国赛,时间不够),只能选取其中一些方向参考文献来建模。而我们解题的时候集中查阅了拼接算法的相关资料,却未能更好的利用拼接软件,导致未能站在巨人的肩膀上。

9,创新。由于现有算法很多,现成的软件效果也很好,所以能出彩的地方就是创新。比如自己提出算法,或基于已有算法的改进。说不上那一种创新好,只要自圆其说,别树一帜就能出彩。

10,在几次讨论之后,个人比较倾向于使用de Bruijn图来解决这个问题。毕竟题目给出的数据是用第二代测序技术测得的,read短,深度深,且DNA总长不是很长。但是具体实现的时候又有很多小技巧,比如在节省时间、空间上需要一定的优化。

 

几个思路:

1,预处理。这一步可以利用统计学知识对数据进行第一步筛选,比如剔除出错率较高的异常数据,删除(或者合并)重复数据等。

2,OLC vs de Bruijn。这其实是适用于不同测序策略的拼接算法。OLC适用于长read(第一代测序技术),优点是空间占用小,缺点是速度慢;而de Bruijn则针对第二代测序技术提出,适用于短read,速度快,占内存也大。本题给出的数据是第二代测序技术测得的,也就是理论上说,de Bruijn要好一些。具体算法的实现可以参考相关论文,本文不再展开。

3,还是要利用read1与read2的共轭互补的条件。如果应用得当应该算得上是一大亮点。当然鉴于read1与read2的距离的不确定性,能用上这一点还是有点难度的。

4,有人提到使用动态k值(de Bruijn图的)效果更好,未考证。。

5,慎用概率论建模。个人认为马尔科夫链在本题并不适用。但由于本题的测试深度非常深,可以利用统计学知识剔除出现概率比较小的一些连接,这些数据可以视为异常。当然实际中有很多队伍采用了马尔科夫链,说的也头头是道。保留个人意见。

 

可参考的拼接软件

velvet,SOAPdenovo2

 

涉及到的算法、概念

基因组组装抽象为数学问题即为字符串匹配问题,当然中间还涉及很多统计学、图论的知识。比较有价值的数学概念(问题)有

1,最短超序列

2,编辑距离

3,马尔科夫链,哈希表,压缩编码

4,KMP算法(需要考虑容错),可以参考从头到尾彻底理解KMP

5,N-gram语言模型

6,欧拉图,哈密顿图,深度优先搜索等

 

最后多说一句,获奖队伍的论文将在2015年8月发行(光盘)。且不论结果如何(说得好像你拿奖了一样安静),这次去深圳还是很有收获的。在此也感谢其他参赛队伍的分享!

 

这篇关于2014深圳杯B题--基因组组装之分析总结的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/977278

相关文章

SQL中JOIN操作的条件使用总结与实践

《SQL中JOIN操作的条件使用总结与实践》在SQL查询中,JOIN操作是多表关联的核心工具,本文将从原理,场景和最佳实践三个方面总结JOIN条件的使用规则,希望可以帮助开发者精准控制查询逻辑... 目录一、ON与WHERE的本质区别二、场景化条件使用规则三、最佳实践建议1.优先使用ON条件2.WHERE用

MyBatis Plus 中 update_time 字段自动填充失效的原因分析及解决方案(最新整理)

《MyBatisPlus中update_time字段自动填充失效的原因分析及解决方案(最新整理)》在使用MyBatisPlus时,通常我们会在数据库表中设置create_time和update... 目录前言一、问题现象二、原因分析三、总结:常见原因与解决方法对照表四、推荐写法前言在使用 MyBATis

Python主动抛出异常的各种用法和场景分析

《Python主动抛出异常的各种用法和场景分析》在Python中,我们不仅可以捕获和处理异常,还可以主动抛出异常,也就是以类的方式自定义错误的类型和提示信息,这在编程中非常有用,下面我将详细解释主动抛... 目录一、为什么要主动抛出异常?二、基本语法:raise关键字基本示例三、raise的多种用法1. 抛

github打不开的问题分析及解决

《github打不开的问题分析及解决》:本文主要介绍github打不开的问题分析及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、找到github.com域名解析的ip地址二、找到github.global.ssl.fastly.net网址解析的ip地址三

Mysql的主从同步/复制的原理分析

《Mysql的主从同步/复制的原理分析》:本文主要介绍Mysql的主从同步/复制的原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录为什么要主从同步?mysql主从同步架构有哪些?Mysql主从复制的原理/整体流程级联复制架构为什么好?Mysql主从复制注意

Nginx Location映射规则总结归纳与最佳实践

《NginxLocation映射规则总结归纳与最佳实践》Nginx的location指令是配置请求路由的核心机制,其匹配规则直接影响请求的处理流程,下面给大家介绍NginxLocation映射规则... 目录一、Location匹配规则与优先级1. 匹配模式2. 优先级顺序3. 匹配示例二、Proxy_pa

java -jar命令运行 jar包时运行外部依赖jar包的场景分析

《java-jar命令运行jar包时运行外部依赖jar包的场景分析》:本文主要介绍java-jar命令运行jar包时运行外部依赖jar包的场景分析,本文给大家介绍的非常详细,对大家的学习或工作... 目录Java -jar命令运行 jar包时如何运行外部依赖jar包场景:解决:方法一、启动参数添加: -Xb

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

Apache 高级配置实战之从连接保持到日志分析的完整指南

《Apache高级配置实战之从连接保持到日志分析的完整指南》本文带你从连接保持优化开始,一路走到访问控制和日志管理,最后用AWStats来分析网站数据,对Apache配置日志分析相关知识感兴趣的朋友... 目录Apache 高级配置实战:从连接保持到日志分析的完整指南前言 一、Apache 连接保持 - 性

Linux中的more 和 less区别对比分析

《Linux中的more和less区别对比分析》在Linux/Unix系统中,more和less都是用于分页查看文本文件的命令,但less是more的增强版,功能更强大,:本文主要介绍Linu... 目录1. 基础功能对比2. 常用操作对比less 的操作3. 实际使用示例4. 为什么推荐 less?5.