存储类型

发表于 | 分类于
阿里云ACP 备考阶段视频课中涉及的相关概念及内容笔记。

存储分类

阿里云存储服务
|存储类型|简介|
|-|-|
|块存储 |块存储是阿里云为云服务器ECS提供的块设备，高性能、低时延、随机读写。您可以像使用物理硬盘一样格式化并建立文件系统来使用块存储。|
|文件存储NAS |阿里云文件存储NAS（Network Attached Storage）是一款面向阿里云ECS实例、E-HPC和容器服务等计算节点的高可靠、高性能的分布式文件系统，可共享访问、弹性扩展。NAS基于POSIX文件接口，天然适配原生操作系统。|
|对象存储OSS |对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，其容量和处理能力弹性扩展，提供多种存储类型供选择，覆盖从热到冷的各种数据存储场景，帮助您全面优化存储成本。|
|文件存储CPFS |文件存储CPFS（Cloud Paralleled File System）是一款并行文件系统，其数据存储在集群中的多个数据节点，多个客户端可以同时访问，满足大型高性能计算机集群的高IOPS、高吞吐、低时延的数据存储需求。|
|文件存储HDFS版 |文件存储HDFS版（Apsara File Storage for HDFS）是一款面向阿里云ECS实例及容器服务等计算资源的文件存储服务，满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。|
|表格存储 |表格存储（Tablestore）是阿里云自研的结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务，具备PB级存储、千万TPS以及毫秒级延迟的服务能力。|
|云存储网关 |云存储网关（Cloud Storage Gateway）是一款可以部署在用户IDC和阿里云上的网关产品，以阿里云对象存储OSS为后端存储，为云上和云下应用提供业界标准的文件服务（NFS和SMB）和块存储服务（iSCSI）。|

对象存储OSS

OSS使用基于纠删码、多副本的数据冗余存储机制，将每个对象的不同冗余存储在同一个区域内的多个设施的多个设备上。

基本概念

单一账号存储空间不能超过30个，存储空间一旦成功，其名称、地域、存储类型不能修改，单个存储空间的容量无限制。存储空间Bucket权限包括：私有、公共读、公共读写 。

对象（Object） ：在IMG中，用户操作图片的基本数据单元是Object，也称为对象或文件。单个Object（每张图片）允许的大小最大不超过20 MB。
频道（Channel） ：Channel是IMG上的命名空间，也是计费、权限控制、日志记录等高级功能的管理实体。IMG名称在整个图片处理服务中具有全局唯一性，且不能修改。每个用户最多可创建10个Channel，但每个Channel中存放的object的数量没有限制。
样式（Style） : 图片处理服务支持您将图片的处理操作和参数保存为一个别名，即样式。您可以在一个样式中包含多个图片处理参数，快速实现复杂的图片处理操作。

Bucket命名规则

同一阿里云账号在同一地域内创建的Bucket总数不能超过100个。Bucket创建后，其名称无法修改。Bucket命名规则如下：

  • Bucket名称在OSS范围内必须全局唯一。
  • 只能包括小写字母、数字和短划线（-）。
  • 必须以小写字母或者数字开头和结尾。
  • 长度为3~63个字符。

存储类型

  • 标准存储类型
    高持久、高可用、高性能的对象存储服务，支持频繁的数据访问。是各种社交、分享类的图片、音视频应用、大型网站、大数据分析的合适选择。

  • 低频访问存储类型
    适合长期保存不经常访问的数据（平均每月访问频率1到2次）。存储单价低于标准类型，适合各类移动应用、智能设备、企业数据的长期备份，支持实时数据访问。（最少30天）

  • 归档存储类型
    适合需要长期保存（建议半年以上）的归档数据，在存储周期内极少被访问，数据进入到可读取状态需要1分钟的解冻时间。适合需要长期保存的档案数据、医疗影像、科学资料、影视素材。（最少60天，使用前需要进行解冻；读取前需要一分钟的解冻时间，读取收费）

  • 冷归档存储类型
    适合需要超长时间存放的极冷数据。例如因合规要求需要长期留存的数据、大数据及人工智能领域长期积累的原始数据、影视行业长期留存的媒体资源、在线教育行业的归档视频等。

日志记录

服务器端加密

当您在设置了服务器端加密的存储空间（Bucket）中上传文件（Object）时，OSS对收到的文件进行加密，再将得到的加密文件持久化保存。当您通过GetObject请求下载文件时，OSS自动将加密文件解密后返回给用户，并在响应头中返回x-oss-server-side-encryption，用于声明该文件进行了服务器端加密。

使用KMS托管密钥进行加解密（SSE-KMS）

使用KMS托管的默认CMK（Customer Master Key）或指定CMK进行加解密操作。数据无需通过网络发送到KMS服务端进行加解密。需要使用自管理、可指定的密钥

使用OSS完全托管密钥进行加解密（SSE-OSS）

使用OSS完全托管的密钥加密每个Object。为了提升安全性，OSS还会使用定期轮转的主密钥对加密密钥本身进行加密。

延展概念

存储单元

对象是对象存储的基本单元，也被称为OSS文件。对象由元信息（Object Meta）、用户数据（Data）、和文件名（key）组成，对象由存储空间内部唯一的key标识，元信息是一组键值对，记录了对象的一些属性（如修改时间、大小等信息，也可以进行自定义）。

每个文件有一个Object Key（文件名），作为该文件在该存储空间中的唯一标识。OSS没有文件夹的概念，所有元素都是以文件来存储，但是您可以通过创建以正斜线（/）结尾的文件名（如folder1/folder2/file）来模拟文件夹。

图片处理功能

OSS除了存储外，还提供部分图片处理功能包括：

  • 图片缩放、添加水印 ；
  • 图片格式转换(例如：由jpg转换成png) ；
  • 图片360度范围内旋转。

存储挂载

OSS存储可以通过使用ossfs挂载到本地系统

传输加速

  • 传输加速开启及关闭操作会在30分钟内全网生效。
  • 开启传输加速后必须使用OSS的传输加速域名才会提升访问速度。
  • 开启传输加速功能后，OSS提供的其他Endpoint仍可正常使用。在不需要传输加速的场景中，您可以使用默认Endpoint以减少传输加速的费用。
  • 传输加速Endpoint仅支持HTTP/HTTPS协议的API接入，不支持RTMP协议等非HTTP/HTTPS协议的API接入。
  • 开启传输加速后，Bucket会在保留默认Endpoint的基础上，新增以下两种传输加速Endpoint。
    • 全球加速Endpoint：地址为oss-accelerate.aliyuncs.com。传输加速接入点分布在全球各地，全球各地的Bucket均可以使用该域名进行传输加速。
    • 非中国内地加速Endpoint：地址为oss-accelerate-overseas.aliyuncs.com。传输加速接入点分布在除中国内地以外的各地域，仅在中国香港及海外各地域Bucket绑定未备案的域名做CNAME指向时使用。

文件存储CPFS

文件存储CPFS（Cloud Parallel File Storage）是阿里云推出的全托管、可扩展并行文件系统，满足高性能计算场景的需求。
通过标准的POSIX文件协议挂载即可以使用。阿里云CPFS特有的数据流动功能可以实现将对象存储OSS中的数据合并入CPFS，进行统一命名空间的元数据管理。

文件存储HDFS版

文件存储 HDFS 版（Apsara File Storage for HDFS）是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户，进行海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。

NAS 存储类型

NFS v3.0 ：在NFS v2版本进行了一些bug修复。
NFS v4.0 ：支持文件锁
NFS v4.1 ：支持并行存储

ACP考试相关外延知识点

  • 除了通过PUT Object接口上传文件到OSS以外，OSS还提供了另外一种上传模式——Multipart Upload。以下情况（不仅限于此）建议使用 Multipart Upload

    • 需要支持断点上传。
    • 上传超过100MB大小的文件。
    • 网络条件较差，和OSS的服务器之间的链接经常断开。
    • 上传文件之前，无法确定上传文件的大小。

  • OSS收费包含三个部分，存储空间费用、流量费用和OSS API的费用，

    • OSS API请求付费，目前仅支持按量付费。
    • 存储费用支持包年包月 和 按量付费。
    • 仅公网下行收费，公网上传/内网上下行不好收费。

  • OSS免费支持 DDos攻击、自动流量清洗和黑洞功能。

  • OSS 提供多种鉴权和授权机制及白名单、防盗链、主子账号功能。
-------------本文结束感谢您的阅读-------------