CD-HIT序列聚类工具3个实战场景6个高频参数新手5分钟跑通【免费下载链接】cdhitAutomatically exported from code.google.com/p/cdhit项目地址: https://gitcode.com/gh_mirrors/cd/cdhit你是否遇到过这种场景手里有几十万条蛋白质序列想做去冗余但两两比对跑了一整天还只算到一半CD-HIT 正是为这种序列太多、算力不够的痛点而生。它通过启发式策略快速完成序列聚类将海量序列压缩为非冗余集合让你的分析流程不再被计算瓶颈卡住。 序列聚类到底在帮你解决什么问题想象你收集了一万张名片其中张三可能留了三个不同号码李四换了两次公司。你要做的不是逐张比对而是先按人归堆再在堆里挑最完整的那张留下。序列聚类就是这件事的分子生物学版本。你的数据库里可能有上千条序列来自同一个蛋白家族只是变异了少数几个氨基酸。CD-HIT 去冗余的核心价值在于用远小于两两比对的计算量找到够像的序列组每组只留一条代表。说白了它把 O(N²) 的暴力比对降到了接近 O(N log N)百万级序列从跑一天变成跑几分钟。你不需要理解内部 k-mer 筛选和窗口比对的全部细节只需知道输入一堆序列输出一堆最精简但不丢信息的簇剩下的交给下游分析。⏱️ 五分钟上手从下载到第一次跑通CD-HIT安装教程三步完成编译整个过程不需要安装任何第三方依赖GCC 和 Make 就够。第一步把源码拉下来git clone https://gitcode.com/gh_mirrors/cd/cdhit第二步进入目录编译主程序cd cdhit make第三步用你手头任意一个 FASTA 文件试跑./cd-hit -i your_seq.fasta -o test_clstr -c 0.9 -n 5系统要求最低配置操作系统Linux / UnixmacOS 可用 Homebrew 装 g内存4 GB序列超 100 万条建议 16 GB处理器双核即可多核加-T可线性加速编译器GCC 4.8 或兼容 g如何确认装好了运行./cd-hit -h如果打印出参数帮助列表能看到-i、-o、-c等选项说明编译成功可以直接用了。 只记这 6 个参数就够CD-HIT 完整参数有几十个但你日常 90% 的场景只用到下面这几个。记住它们其他的遇到再查手册。参数人话解释推荐取值什么时候会用到-i输入文件路径必填每次都用-o输出文件前缀必填每次都用-c相似度阈值0~1蛋白 0.9 / 核酸 0.95控制多像才算同族-nk-mer 长度蛋白 5 / 核酸 10决定筛选灵敏度一般不改-T线程数等于 CPU 核数多核机器加速-M内存上限MB8000~32000大文件防 OOM核酸 vs 蛋白的小差异处理蛋白质时默认-n 5处理 EST 或基因组片段时改用cdhit-est默认-n 10。阈值-c的舒适区也不同蛋白常用 0.9核酸常用 0.95 起步。其他参数如-s最短序列占比、-aL比对段占长序列比例属于微调项初学时保持默认即可。 三个典型去冗余任务跟着命令做一遍场景 A蛋白质序列聚类——给数据库去冗余假设你拿到 20 万条 UniProt 序列想构建一个非冗余参考集用于后续 BLAST 比对或功能注释。./cd-hit -i uniprot.fasta -o sprot_nr -c 0.9 -n 5 -T 8 -M 16000 -d 0跑完后sprot_nr.clstr文件记录了每条序列归入哪个簇、簇代表是谁。用clstr_rep.pl提取代表序列即可得到精简库。20 万条在 8 核机器上大约 2~4 分钟完成-d 0保证输出里保留完整的原始序列标识符。场景 B转录组异构体聚类RNA-seq 组装出的转录本里同一基因常有多个剪接变体长度和 exon 结构略有差异。用cdhit-est做核酸级聚类阈值要比蛋白高一些./cdhit-est -i transcripts.fasta -o est_clstr -c 0.95 -n 10 -T 4 -M 8000 -aS 0.9-aS 0.9意味着短序列至少要覆盖长序列的 90% 才判定为匹配。结果里每个簇就是一个转录本家族簇大小直接反映该基因的异构体丰富度——大簇往往对应高表达基因的多变体。场景 C宏基因组OTU聚类——16S rRNA 分析Miseq 平台的 16S 双端 reads 需要先拼接、去嵌合体再用 CD-HIT 与参考库比对来划分 OTU。项目里提供了现成 Perl 脚本省去了手动拼接步骤perl usecases/Miseq-16S/cd-hit-otu-miseq-PE.pl -i sample_PE.fa -r ref_16s.fasta -o otu -c 0.97输出是一张 OTU 表每行一个 OTU列出参考序列命中数和样本 reads 分配。阈值 0.97 是 16S 分种的经典切点对应约 3% 序列差异。 数据量大、内存吃紧试试这些调优思路内存总是不够用本质是 CD-HIT 需要把序列哈希表整块放进内存。一招加-M限制上限 加-l过滤掉过短序列如-l 30短序列既占内存又信息量低提前砍掉最划算。序列超过 500 万条别硬塞一次。分阶段聚类先用低阈值-c 0.85粗聚一轮压缩规模再用高阈值-c 0.95细聚。或者把文件切成几块块内聚完再用cd-hit-2d做跨块比对适合没有单台大内存机器的情况。速度上不去先检查你是不是跑在默认单线程。加-T到实际核数通常能线性加速。如果核数已经拉满还是慢适当增大-n蛋白从 5 改到 6可以显著减少候选对数量代价是灵敏度略降对去冗余场景影响很小。磁盘空间紧张聚类过程会生成临时哈希文件确保工作目录有 2~3 倍输入文件大小的空闲空间别把临时文件写到系统盘。 踩坑速查三个高频问题的快速修复| | 内容 | |--|------| |症状| 程序直接退出日志报 memory allocation failed 或被系统 OOM Killer 杀掉 | |原因|-M设得比实际可用内存还大或输入序列量远超预期 | |修复| 把-M降到物理内存的 70%16 GB 机器设-M 12000同时加-l 30过滤短序列 || | 内容 | |--|------| |症状| 簇数量异常——要么几乎全是单条序列没聚到一起要么少数巨簇吞了所有序列 | |原因|-c阈值不合适或-aL/-aS的覆盖长度要求太严/太松 | |修复| 蛋白先试 0.9、核酸试 0.95簇太散就降阈值到 0.85巨簇过多就加-aL 0.8要求比对段占长序列 80% 以上 || | 内容 | |--|------| |症状| 百万级序列跑了几小时还没完CPU 利用率却只有 20% | |原因| 单线程模式或-n太小导致候选对数量爆炸 | |修复| 加-T 8或实际核数蛋白场景把-n从 5 调到 6预处理时去掉低复杂度序列 | 延伸工具与进一步阅读clstr_rep.pl从.clstr文件提取每个簇的代表序列 →perl clstr_rep.pl result.clstr reps.fastaclstr_size_stat.pl统计簇大小分布快速判断聚类是否合理 →perl clstr_size_stat.pl result.clstr stats.txtclstr2tree.pl把聚类层次关系转成 Newick 树格式 →perl clstr2tree.pl result.clstr tree.nwkcd-hit-2d两个数据库间的序列比对适合增量更新场景 →./cd-hit-2d -i new.fasta -d existing.clstr -c 0.9官方文档与案例用户手册 PDF宏基因组 16S 案例说明更新日志✍️ 写在最后CD-HIT 做的事情很朴素把长得像的序列归为一堆每堆只留一个代表。但它朴素得可靠——从 UniProt 级别的蛋白去冗余到 Miseq 16S 的 OTU 划分底层逻辑没变过只是参数微调。如果你是做蛋白质组学数据库构建、转录组异构体分析或者宏基因组 OTU 聚类的研究生或生信工程师CD-HIT 值得放进你的工具箱而且大概率会成为你跑得最频繁的那几个命令之一。引用Li W, Godzik A. CD-HIT: a fast program for clustering and comparing large sets of protein or nucleotide sequences. Bioinformatics. 2006; 22(16):1759-1760.【免费下载链接】cdhitAutomatically exported from code.google.com/p/cdhit项目地址: https://gitcode.com/gh_mirrors/cd/cdhit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考