AICon全球人工智能与机器学习技术大会8折倒计时最后一周,即将涨价>> 了解详情
写点什么

一条“老咸鱼”与生物学家的 Battle 之旅

2021 年 3 月 17 日

一条“老咸鱼”与生物学家的 Battle 之旅

从上帝捏土为人,到女娲造人,东西方似乎达成了神奇的共识:人是泥土做的。经历过十余年综合教育的“五好青年”知道,人是从大海里来的。


然而,陆生迁徙说一直没得到确切的理论支持。


直到人们发现了一种既长着鳃又长着肺的鱼——“肺鱼”,并将其带进实验室测序。


一测吓一跳。以澳洲肺鱼为例,其基因组居然包含约 430 亿个 DNA 碱基对,是人类 14 倍,身体 1 亿多年没变化!


作为可能的“脊椎动物登陆”见证者,这条“老咸鱼”仿佛在对生物学家炫耀地摇着尾巴。



基因测序没那么简单


肺鱼没想到的是,基因测序技术的进步竟然如此之快。肺鱼基因秘密很快就被大量揭开。

2021 年 1 月 18 日,Axel Meyer 等人在 《Nature》 发表了论文,确定了最大的染色体质量的动物基因组。十多天后,著名刊物 《Cell》 发表了两篇论文,分别解析了原始辐鳍鱼类,以及非洲肺鱼共五个物种的基因组。

二者背后都有一个“神秘”的中国公司在提供基因测序技术支持:三代测序企业——武汉希望组

一个有机体 DNA 的完整序列称为一个基因组,以人为例,对基因组测序,解读遗传物质,能大大降低遗传疾病发生率,实现对疾病预防以及个体化诊疗。好莱坞女星安吉丽娜·朱莉发现自己带有家族遗传癌症基因,于是预防性地切除了乳腺。

基因测序并不简单。人体有 23 对染色体,31.6 亿个碱基对,一次 30 倍的全基因组测序的数据量约 90Gb,质控、拼接、比对、注释等流程,用一台高性能服务器需要运行 30 多个小时才能完成。

这对存储、算力、网络以及数据安全性都提出了极高的要求:


1、数据容量巨大。数十 TB 的原始数据,要求测序公司提供超大容量的数据存储以及大容量单文件存储的支持。且原始数据通常来自于珍贵样本,数据安全性要求极高。


2、高并发读写能力要求高。原始数据导入到系统之后,需要通过各种类型生物信息学 Pipeline 分析,海量数据的传输需求对用户数据交付是极大的挑战。


3、对数据挖掘和机器学习的需求高。基因比对、组装、变异分析需要使用深度学习或机器学习,通过数据挖掘发现更多成果。


4、对计算存储的连续性要求高。一次测序耗时长,需要存储系统满足 7*24h 连续无故障作业的要求。


比起给人类测序,肺鱼测序明显更难,它的基因组是迄今为止报道的最大的动物基因组(约 40Gb),基因组中>60%的重复序列进一步增加了组装难度。



针对以上的需求,希望组首席生信技术官、联合创始人胡江带领团队历时 2 年自主研发了 NextDenovo/NextPolish 系列三代测序组装软件。这套软件集比对、矫正、组装功能于一体,不但解决了现有三代测序数据组装工具资源占用大、运行时间长、组装质量不稳定的瓶颈,还实现了单 Contig 一条染色体和超大型基因组组装的突破,为利用三代数据组装基因组扫清了组装算法的障碍。


目前该系列软件已在 GitHub 上开源。其中 NextDenovo 一开源就引起国内外广泛使用和报道,截止 2021 年 3 月,下载次数超过 4000 次。


自主研发软件的背后


如今的生命科学研究竞赛,已经变成了一场“算力”的比拼。


基因测序行业动辄 PB 级别的数据,需要极高的带宽需求,及快速扩缩容能力。同时,对 PB 级别数据存储还包含规划、分配、回收、归档等过程。安全、运维和成本都面临巨大的挑战。目前基因测序行业普遍采用定制化的云计算服务,华为云鲲鹏云服务,满足了希望组对多元算力需求,助力测序软件与方案落地。


此外,华为云联创营提供的技术共创服务。对于创新业务,成果不等于简单的技术服务累加,深度共创往往更能解决问题。


例如,在技术层面,希望组采用了华为云基因容器服务 GCS,将基因测序和容器技术结合在一起,通过综合运用华为云提供的 Docker、ARM 等技术,将部分应用性能提升 5-10 倍,同时大大降低了运维压力,整体运维成本下降 30%。另外还基于华为云鲲鹏云的 HPC 解决方案 ,将内存带宽使用率提升了 40%,算力提升了 25%。



数字背后,是双方力出一孔的合作。单是基因测序流程在华为云鲲鹏云上的国产化适配,希望组核心技术骨干李净净、秦建虎等就与华为云的技术专家召开了 12 次会议。双方团队紧密协作两个多月,保障了整个项目提前顺利上线。


现在,NextDenovo 即将上架华为云严选商城,面向全球基因测序行业从业者以及学术研究机构开放,以期推动整个基因行业的进步。


作为华为云联创营会员,希望组还会深度参与后续的合作。双方将在基因测序场景下,继续孵化改变行业的解决方案。


2021,华为云联创营还在继续,与智者同行,共创美好新未来。




2021 年 3 月 17 日 17:12841

评论

发布
暂无评论
发现更多内容

怎样在自己的 Web 中加入强大的日志系统?slf4j 的日志插件必须要知道!

老王说编程

slf4j java 日志 日志管理 日志框架

Semaphore实战

叫练

CountDownLatch CyclicBarrier Semaphore 线程协作

15 分钟部署一个 CAS 服务并对接 Shibboleth-IdP 3.4.6

冯骐

CAS 认证 Shibboleth 统一身份认证

Promise原理及常用操作

花明

世界经济论坛:四大区块链趋势将在今年绽放异彩

CECBC区块链专委会

区块链

神经网络攻防: 02.攻击模型的输出层

P小二

AIPwn AI安全 P小二 神经网络攻防

四面阿里成功斩获offer,在此分享我的复盘经验总结!

Java架构之路

Java 程序员 架构 面试 编程语言

程序员之禅(二)

每天读本书

读书笔记 每天读本书

GitHub上获赞10万star的高并发神级进阶资料,面试官再问高并发问题请你把这篇文章发给他!

Java架构之路

Java 程序员 架构 面试 编程语言

APICloud Avm.js前端框架的优势

APICloud

小程序 前端框架 移动开发· 跨端开发 多端开发

一场关于代码注释的争执,引发的三点思考

架构精进之路

编码 经验分享 七日更 3月日更

git 教程 --git cherry-pick 命令

生之欢愉,时间同行

git 程序员 git cherry-pick

Shibboleth-IdP 的 OAuth2 对接方案详解

冯骐

OAuth2 SAML Shibboleth CARSI

一桶食用油的数字化

吴俊宇

数字化转型 鲁花

beego + nginx 实现反向代理统一认证

冯骐

golang nginx 开发 ldap auth_request

Python学习心得

张鹤羽粑粑

28天写作 3月日更

区块链产业革命:解决融资租赁之谜

旺链科技

区块链应用 融资租赁

2021年最新京东技术岗现场三面:jvm调优+高并发+算法+网络+数据库+设计模式

Java架构之路

Java 程序员 架构 面试 编程语言

Docker的三言两语-基础篇

一个大红包

Docker 28天挑战 3月日更

白话Go内存模型&Happen-Before

Gopher指北

go

科学的互联网思想 指引我国网络强国建设稳步前行

CECBC区块链专委会

网络安全

牛掰,阿里P8这份笔记不就相当于金三银四中的原子弹吗?已经帮助13位同行拿到了一线大厂的offer!

Java架构师迁哥

5 分钟部署一个 OAuth2 服务并对接 Shibboleth-IdP 3.4.6

冯骐

golang 运维 开发 OAuth2 Shibboleth

【科创人】Testin云测总裁徐琨:创业必须要创造出肉眼可见的价值

科创人

区块链电子合同--电子合同区块链签约平台

13530558032

区块链产业革命:解决融资租赁之谜

CECBC区块链专委会

区块链

手把手教学,如何使用低代码快速构建应用程序步骤详解!

优秀

低代码

史上最全整合第三方登录的开源库

happlyfox

OAuth 2.0 28天写作 3月日更

神经网络攻防:03.使用API修改神经网络参数

P小二

AIPwn AI安全 P小二 神经网络攻防

园区网中 IPv6 地址的终端 mac 地址追溯

冯骐

Python 运维 日志 网络 ipv6

智慧党建平台解决方案--高效开展党建工作

13530558032

MySQL 核心特性与优化

MySQL 核心特性与优化

一条“老咸鱼”与生物学家的 Battle 之旅-InfoQ