software-ossutil-阿里云数据传输

数据上传

阿里云对象存储文档

配置

1
2
3
4
5
/jdfstj1/B2C_COM_P1/Research_and_Development/Software/ossutil64   
-i LTAI5tCC7sn** # 对象存储账号
-k bEawRWhj9dY**
-e oss-cn-shenzhen.aliyuncs.com
cp -r /share/nastj8/B2C_RD_P1/Liubo/WGS-菁良 oss://canseq-3/Pancancer688_LDT/jingliang-A_GW-WES/

上述明文会导致整个账号存在潜在的风险,同时每次的重复输入也会导致更高的工作成本,可以使用 ossutil64 生成配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
$ /jdfstj1/B2C_COM_P1/Research_and_Development/Software/ossutil64  config
后通过交互作业分别输入下列相关信息生成config

# 输入配置文件存储目录
Please enter the config file name,the file name can include path(default /home/liubo4/.ossutilconfig, carriage return will use the default file. If you specified this option to other file, you should specify --config-file option to the file when you use other commands): */path/liubo/.aliClodu.config
Please enter language(CH/EN, default is:EN, the configuration will go into effect after the command successfully executed):
Please enter endpoint: oss-cn-shenzhen-internal.aliyuncs.com
Please enter accessKeyID:LTAI5*
Please enter accessKeySecret:bEawRW*
Please enter stsToken: # 可不填写

# 非交互生成配置文件
./ossutil64 config -e oss-cn-beijing.aliyuncs.com -i LTAIbZcdVCmQ**** -k D26oqKBudxDRBg8Wuh2EWDBrM0**** -L CH -c /myconfig

# 使用配置文件
/jdfstj1/B2C_COM_P1/Research_and_Development/Software/ossutil64 \
-c ~/.aliCloud.config -u --maxupspeed=100000 \
cp -r LocalPath oss://canseq-3/CloudPath

cp

参数

必须参数
选项名称 描述
-c,–config-file ossutil工具的配置文件路径,ossutil启动时将从配置文件读取配置。当您需要管理多个账号下的Bucket时,可以生成多个配置文件,并将其中一个指定为默认配置文件。
当您需要管理其他账户下的Bucket时,请通过-c指定正确的配置文件。
-e,–endpoint 指定Bucket对应的Endpoint,当您需要管理多个地域的Bucket时,可以通过此选项指定多个Endpoint。各地域Endpoint详情请参见访问域名和数据中心。
-i,–access-key-id 指定访问OSS使用的AccessKey ID,当您需要管理多个账号下的Bucket时,可通过此选项指定对应的AccessKey ID。
-k,–access-key-secret 指定访问OSS使用的AccessKey Secret,当您需要管理多个账号下的Bucket时,可通过此选项指定对应的AccessKey Secret。
-p, –password 指定访问OSS使用的AccessKey Secret,输入该选项时会提示用户从键盘输入AccessKey Secret,ossutil工具以从键盘读取的AccessKey Secret为准,并忽略通过其他方式配置的AccessKey Secret。
–loglevel 在当前工作目录下输出ossutil日志文件ossutil.log。该选项默认为空,表示不输出日志文件。
重要参数
选项名称 描述
–start-time 值为Linux或Unix系统下面的时间戳,如果输入这个选项,最后更新时间早于该时间的Object会被忽略。
–maxupspeed 最大上传速度,单位为KB/s,默认值为0(不受限制)。
–maxdownspeed 最大下载速度,单位为KB/s,默认值为0(不受限制)。
–bigfile-threshold 开启大文件断点续传的文件大小阈值,单位为Byte,默认值为100 MByte,取值范围为0~9223372036854775807。
–type 数据校验的方式。取值如下:
crc64(默认值):数据CRC64校验。
md5:数据MD5校验。
-u, –update 更新操作。
-j, –jobs 多文件操作时的并发任务数,默认值为3,取值范围为1~10000。
–output-dir 指定输出文件所在的目录,输出文件目前包含cp命令批量拷贝文件出错时所产生的report文件。
默认值:当前目录下的ossutil_output目录。
–meta 设置Object的meta,格式为[header:value#header:value…],
如:Cache-Control:no-cache#Content-Encoding:gzip。
–end-time Linux或Unix系统下的时间戳。如果使用该选项,则最后更新时间晚于通过此选项指定时间的Object会被忽略。
–start-time 值为Linux或Unix系统下面的时间戳,如果输入这个选项,最后更新时间早于该时间的Object会被忽略。
–storage-class 设置Object的存储方式。取值如下:
Standard(默认值):适用于频繁的数据访问。
IA:适用于较低访问频率(平均每月访问频率1到2次)的业务场景,有最低存储时间(30天)和最小计量单位(64 KB)要求。支持数据实时访问,访问数据时会产生数据取回费用。
Archive:适用于数据长期保存的业务场景,有最低存储时间(60天)和最小计量单位(64 KB)要求。数据需解冻(约1分钟)后访问,解冻会产生数据取回费用。
ColdArchive:适用于需要超长时间存放的极冷数据,有最低存储时间(180天)和最小计量单位(64 KB)要求。数据需解冻后访问,解冻时间根据数据大小和选择的解冻模式决定,解冻会产生数据取回费用。
–disable-all-symlink 上传时忽略所有的符号链接子文件以及符号链接子目录。
–tagging 上传或复制文件时设置文件的对象标签,格式为”abc=1&bcd=2&……”。

rsync

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
./ossutil64 sync file_url cloud_url
[-f --force]
[-u --update]
[--delete]
[--enable-symlink-dir]
[--disable-all-symlink]
[--disable-ignore-error]
[--only-current-dir]
[--output-dir <value>]
[--bigfile-threshold <value>]
[--part-size <value>]
[--checkpoint-dir <value>]
[--encoding-type <value>]
[--snapshot-path <value>]
[--include <value>]
[--exclude <value>]
[--meta <value>]
[--acl <value>]
[--maxupspeed <value>]
[--disable-crc64]
[--payer <value>]
[-j, --job <value>]
[--parallel <value>]
[--retry-times <value>]
[--tagging <value>]

重要参数

配置项 说明
file_url 待同步的本地文件夹路径。例如Linux系统文件路径/localfolder/,Windows系统文件路径D:\localfolder\。
cloud_url OSS文件夹路径。格式为oss://bucketname/path/。例如oss://examplebucket/exampledir/。如果输入的cloud_url没有以正斜线(/)结尾,ossutil会自动在结尾处添加一个正斜线(/)。
-u,–update 只有当目标文件不存在,或源文件的最后修改时间晚于目标文件时,ossutil才会执行同步操作。
-f –force 强制操作,不进行询问提示。
–only-current-dir 仅同步当前目录下的文件,忽略子目录及子目录下的文件。

Reference

官方参数说明

-------------本文结束感谢您的阅读-------------