snakemake进阶 - 扩展自定义参数进行流程控制 发表于 2020-05-02 | 分类于 pipeline , framework , 编程拾慧 , 任务调度 , python 分支的实现在进行snakemake分析时,所有的参数都是通过 -C 进行传递的,例如 -C S=”string” 则在smk中可以通过使用 config[‘S’] 调用相关参数完成参数传递。 -C 传递的值统一保存在字典 “config” 中。 1234567-C \# 指定一些分支 ... 阅读全文 »
snakemake进阶 - 2.调用容器 - singularity 发表于 2020-05-02 | 分类于 pipeline , framework , 编程拾慧 , 任务调度 , python 业务需求,目前docker方案在所使用的集群中不可行,所以使用的是singularity 解决方案。首先我们看一个没有使用镜像的rule 123456789101112131415161718rule VEP_anno: input: vcf = ... 阅读全文 »
SGE任务调度系统相关命令记录 发表于 2019-02-23 | 分类于 任务调度 , Linux http://gridscheduler.sourceforge.net/htmlman/http://gridscheduler.sourceforge.net/htmlman/htmlman1/qstat.html?pathrev=V62u5_TAG sge系统管理命令队列信息查询 命令 ... 阅读全文 »
天河二号作业调度系统简单使用 发表于 2018-12-07 | 分类于 任务调度 天河用户手册天河用户手册现将天河2号的作业调度系统的简单使用方法记录于此: MPI天河2号默认使用mpich-3.2.1(使用icc-14.0.2 编译),是天河2号自主实现的mpi版本,具有较高的效率。 module 模块管理1234module avail # 查看 ... 阅读全文 »
爬虫学习记录-相关软件&包记录 发表于 2018-11-22 | 分类于 编程拾慧 , python 爬虫学习过程涉及的软件: 软件1. Python3.5.5整体爬虫代码的框架语言,所有Python程序及包均基于本版本。 2. chromeDriver模拟登陆chrome浏览器,驱动浏览器完成相关操作。 3.PhantomJS - 官方文档一个无界面的,可脚本编程的WebKit浏览器引擎,原生支持 ... 阅读全文 »
下机数据(fastq)质控软件汇总 发表于 2018-11-19 | 分类于 NGS , 肿瘤检测 , software 下机数据质控,是NGS数据分析中的第一步,因此也是接触二代测序所必须学习的一部分,今天主要在这里记录下一些主流的数据质控软件,后续有时间,也可以考虑对这些数据进行一个系统的评估。 阅读全文 »