跳到主要内容

云存储

云存储是云计算的核心服务之一，它通过网络提供数据存储能力，用户无需了解底层硬件细节，只需按需使用和付费。本章将深入探讨云存储的类型、技术和应用场景。

云存储概述​

云存储将数据存储在云端，用户通过网络访问。与传统存储相比，云存储具有弹性扩展、按需付费、高可用性等优势。

云存储的核心优势​

弹性扩展：存储容量可以随时扩展，无需提前规划容量。当数据增长时，存储空间自动扩展，不用担心存储不足。

高可用性：主流云存储服务都提供多副本存储，数据自动复制到多个设备或多个数据中心，确保数据安全。

按需付费：只为实际使用的存储空间付费，没有前期投入。这降低了存储成本，特别适合数据量波动大的场景。

便捷访问：通过网络随时随地访问数据，支持多种访问协议和API。

云存储类型​

云存储根据数据访问方式和存储架构，主要分为三种类型：对象存储、块存储和文件存储。

对象存储​

对象存储（Object Storage）将数据作为对象进行存储，每个对象包含数据本身、元数据和唯一标识符。

核心特点​

扁平化结构：对象存储没有传统文件系统的目录层级结构，所有对象都在同一个扁平的命名空间中。通过对象ID（通常是键名）直接访问对象。

丰富的元数据：每个对象可以附加自定义元数据，便于分类和检索。例如，可以存储图片的拍摄时间、地点、作者等信息。

无限扩展：对象存储可以存储海量数据，理论上没有容量上限。单个对象可以达到TB级别，单个存储桶可以存储无限数量的对象。

RESTful API访问：通过HTTP/HTTPS协议访问，使用标准的RESTful API。这使得对象存储可以从任何有网络的地方访问。

适用场景​

  • 图片、视频、文档等非结构化数据存储
  • 网站静态资源托管
  • 数据备份和归档
  • 大数据分析的数据湖
  • 移动应用和Web应用的文件存储

主流产品​

云服务商产品名称特点
AWSS3最成熟的对象存储服务，功能丰富
AzureBlob Storage与Azure生态深度集成
GCPCloud Storage统一的存储服务，多种存储层级
阿里云OSS国内最流行的对象存储服务

使用示例​

以AWS S3为例，展示对象存储的基本操作：

# 创建存储桶
aws s3 mb s3://my-bucket

# 上传文件
aws s3 cp myfile.txt s3://my-bucket/

# 下载文件
aws s3 cp s3://my-bucket/myfile.txt ./

# 列出存储桶中的对象
aws s3 ls s3://my-bucket/

# 删除对象
aws s3 rm s3://my-bucket/myfile.txt

# 同步本地目录到S3
aws s3 sync ./local-dir s3://my-bucket/remote-dir

存储层级​

对象存储通常提供多种存储层级，根据访问频率和成本选择：

存储层级访问频率存储成本访问成本适用场景
标准高高低热数据、频繁访问
低频访问中中中不频繁访问
归档低低高长期归档、合规存储
冷归档极低极低极高极少访问的冷数据

块存储​

块存储（Block Storage）将数据分割成固定大小的块进行存储，每个块有唯一的地址。块存储提供类似传统硬盘的访问方式。

核心特点​

低延迟：块存储直接访问数据块，延迟低，性能高。适合对I/O性能要求高的应用。

随机读写：支持随机读写操作，可以修改数据的任意部分而不需要重写整个文件。

挂载使用：块存储设备可以挂载到虚拟机，像本地硬盘一样使用。支持格式化为各种文件系统。

独立生命周期：块存储的生命周期独立于虚拟机，可以在不同虚拟机之间挂载和卸载。

适用场景​

  • 虚拟机系统盘和数据盘
  • 数据库存储
  • 高性能计算
  • 需要低延迟和高IOPS的应用

主流产品​

云服务商产品名称特点
AWSEBS支持多种卷类型，性能可配置
AzureDisk Storage与Azure VM深度集成
GCPPersistent Disk支持快照、加密
阿里云云盘高性能、高可靠

使用示例​

以AWS EBS为例，展示块存储的基本操作：

# 创建卷
aws ec2 create-volume \
    --size 100 \
    --volume-type gp3 \
    --availability-zone us-east-1a

# 将卷挂载到实例
aws ec2 attach-volume \
    --volume-id vol-12345678 \
    --instance-id i-12345678 \
    --device /dev/sdf

# 从实例卸载卷
aws ec2 detach-volume --volume-id vol-12345678

# 创建快照
aws ec2 create-snapshot --volume-id vol-12345678

# 删除卷
aws ec2 delete-volume --volume-id vol-12345678

性能类型​

块存储通常提供多种性能类型：

类型特点适用场景
通用型SSD平衡性能和成本大多数应用场景
高性能SSD最高IOPS和吞吐量数据库、高性能计算
吞吐优化HDD高吞吐量大数据、日志处理
冷存储HDD低成本低频访问数据

文件存储​

文件存储（File Storage）提供共享文件系统，多个客户端可以同时访问同一个文件系统。

核心特点​

共享访问：多个虚拟机可以同时挂载和访问同一个文件系统，实现文件共享。

标准协议：支持NFS、SMB等标准文件访问协议，应用无需修改即可使用。

自动扩展：文件系统容量可以自动扩展，无需手动调整。

层级结构：保持传统的目录层级结构，便于组织和管理文件。

适用场景​

  • 企业文件共享
  • 高性能计算（HPC）
  • 内容管理系统
  • 开发环境共享存储
  • 容器持久化存储

主流产品​

云服务商产品名称特点
AWSEFS弹性扩展，支持NFS
AzureFiles支持SMB和NFS
GCPFilestore高性能文件存储
阿里云NAS支持NFS和SMB

使用示例​

以AWS EFS为例，展示文件存储的使用：

# 创建文件系统
aws efs create-file-system \
    --creation-token my-file-system

# 创建挂载目标
aws efs create-mount-target \
    --file-system-id fs-12345678 \
    --subnet-id subnet-12345678 \
    --security-groups sg-12345678

# 在Linux实例上挂载
sudo mount -t efs fs-12345678:/ /mnt/efs

# 自动挂载（添加到/etc/fstab）
fs-12345678:/ /mnt/efs efs defaults,_netdev 0 0

三种存储类型对比​

特性对象存储块存储文件存储
访问方式RESTful API块设备文件系统协议
延迟较高最低中等
吞吐量高中等高
共享访问支持不支持支持
扩展性最高有限高
成本最低最高中等
典型场景静态资源、备份数据库、系统盘文件共享、HPC

云存储高级特性​

数据冗余与可靠性​

云存储通过多种方式保证数据可靠性：

多副本存储：数据自动复制到多个存储设备，防止单点故障。通常采用3副本策略，可靠性达到99.999999999%（11个9）。

纠删码：将数据分片并计算校验码，分散存储。在保证可靠性的同时节省存储空间。

跨区域复制：数据自动复制到其他区域，实现异地灾备。

数据安全​

静态加密：数据在存储时自动加密，支持使用云服务商管理的密钥或用户自己的密钥（BYOK）。

传输加密：数据传输过程中使用SSL/TLS加密，防止中间人攻击。

访问控制：通过IAM策略、ACL、存储桶策略等控制数据访问权限。

版本控制：保留对象的多个版本，防止意外删除或覆盖。

生命周期管理​

生命周期管理可以自动转换对象的存储层级或删除过期对象：

{
  "Rules": [
    {
      "ID": "MoveToIA",
      "Status": "Enabled",
      "Filter": {},
      "Transitions": [
        {
          "Days": 30,
          "StorageClass": "STANDARD_IA"
        },
        {
          "Days": 90,
          "StorageClass": "GLACIER"
        }
      ],
      "Expiration": {
        "Days": 365
      }
    }
  ]
}

这个规则表示：对象创建30天后自动转为低频访问存储，90天后转为归档存储，365天后自动删除。

云存储最佳实践​

选择合适的存储类型​

根据应用特点选择存储类型：

  • 需要低延迟和高IOPS：选择块存储
  • 需要共享文件系统：选择文件存储
  • 存储非结构化数据：选择对象存储
  • 需要归档和备份：选择对象存储的归档层级

成本优化​

选择合适的存储层级：根据访问频率选择存储层级，冷数据使用低成本的归档存储。

设置生命周期策略：自动将不常访问的数据转移到低成本层级。

清理未使用的资源：定期检查和删除不再需要的存储卷、快照和对象。

使用存储压缩和去重：减少实际存储的数据量。

性能优化​

选择合适的性能类型：根据应用的IOPS和吞吐量需求选择合适的存储类型。

使用缓存：在应用层使用缓存减少对存储的访问。

并行访问：对象存储支持并行上传和下载，充分利用带宽。

就近访问：选择离用户最近的区域部署存储，降低延迟。

小结​

本章介绍了云存储的三种主要类型：对象存储适合非结构化数据和海量存储场景；块存储适合需要低延迟和高性能的应用；文件存储适合需要共享文件系统的场景。选择合适的存储类型、优化成本和性能是使用云存储的关键。

下一章我们将探讨云网络技术，了解云计算中网络架构的设计和实现。