当我们需要一些NGS数据时,一般会想到去NCBI或者EBI的数据库中下载。但是当我们用wget下载时,如果网络不给力的话,那只能是龟速的下载,对于那些几十G或者上百G的数据,那就实在无能为力了。这时我们可以使用Aspera来下载NGS数据 Aspera有浏览器插件Aspera Connect,跟迅雷之类的类似,但我没用过,因为我需要下载到自己的服务器上,不然只是下载到自己的PC记的话,还需要在传输到服务器,这样比较麻烦也耗时,所以下面主要的讲的是在服务器上的操作
安装
根据电脑版本下载对应aspera connect server,下载地址:http://downloads.asperasoft.com/en/downloads/4
下载获得的是shell脚本,直接安装
sh aspera-connect-3.7.1.139846-linux-64.sh #bash aspera-connect-3.7.1.139846-linux-64.sh
如果安装报错,提示openssl版本过旧,那么我们还需要重新安装一个最近的openssl,这个情况在我在使用Ubuntu 14.04的时候遇到过,安装过程参考http://blog.csdn.net/skymanwww/article/details/69498794?locationNum=3&fps=1
#卸载旧版本的openssl sudo apt-get remove openssl libssl-dev #下载最近版本的openssl-1.0.2l.tar.gz #安装openssl ./config make make install #建立软连接 ln -s /usr/local/ssl/bin/openssl /usr/bin/openssl ln -s /usr/local/ssl/include/openssl /usr/include/openssl #刷新动态配置 vim /etc/ld.so.conf #末尾插入一行 /usr/local/ssl/lib #执行命令 ldconfig -v #测试是否安装成功,查看版本号是否是1.0.2 openssl version -a
安装好后,找到home目录下的会有一个.aspera目录,里面有可执行文件ascp以及秘钥文件asperaweb_id_dsa.putty,一般建议将秘钥复制到home目录下使用比较方便
cp ~/.aspera/connect/etc/asperaweb_id_dsa.putty ~/
使用
从NCBI上下载SRA文件
ascp -i /home/anlan/.aspera/connect/etc/asperaweb_id_dsa.putty anonftp@ftp-private.ncbi.nlm.nih.gov:sra/sra-instant/reads/ByStudy/sra/SRP/SRP018/SRP018998/SRR799575/SRR799575.sra ./
注意点:
最好要使用秘钥的绝对路径,如:
/home/anlan/.aspera/connect/etc/asperaweb_id_dsa.putty
有时putty可能不能使用,这时可选用asperaweb_id_dsa.openssh
/home/anlan/.aspera/connect/etc/asperaweb_id_dsa.openssh
如果报错:Error: Server aborted session: Client requests stronger encryption than server allows,那么可以参考https://support.asperasoft.com/hc/en-us/articles/216126788-Error-Client-requests-stronger-encryption-than-server-allows的处理方法,也就是加个-T命令
ascp -T -i /home/anlan/.aspera/connect/etc/asperaweb_id_dsa.openssh anonftp@ftp-private.ncbi.nlm.nih.gov:sra/sra-instant/reads/ByStudy/sra/SRP/SRP018/SRP018998/SRR799575/SRR799575.sra ./
从EBI上下载也类似,给个例子:
ascp -i ~/asperaweb_id_dsa.putty era-fasp@fasp.sra.ebi.ac.uk:/vol1/ERA012/ERA012008/sff/library08_GJ6U61T06.sff
使用后会发现,从NCBI上下载SRA速度,一般的宽带的话,也可以达到100M/s,大大节约了下载的时间,非常给力
本文出自于http://www.bioinfo-scrounger.com转载请注明出处