01 存储前沿技术和发展趋势
狭义的存储定义
CD、DVD、ZIP、磁带、硬盘等
广义的存储定义
存储硬件系统(磁盘阵列,控制器,磁盘柜,磁带库等)
存储软件(备份软件;管理软件,快照,复制等增值软件)
存储网络(HBA卡,光纤交换机,FC/SAS线缆等)
存储解决方案(集中存储,归档,备份,容灾等)
文章来源地址https://uudwc.com/A/8dnyB
文章来源:https://uudwc.com/A/8dnyB
存储发展史
存储系统的组网方式有以下几种:
1. **直接附加存储(Direct Attached Storage, DAS)**:直接将存储设备连接到单个主机或服务器。这种方式适合小型环境,但不利于共享存储和数据管理。
2. **网络附加存储(Network Attached Storage, NAS)**:使用专用设备连接到网络,允许多个客户端通过标准网络协议(如NFS、CIFS/SMB)访问共享存储。NAS提供简单的文件级共享。
3. **光纤通道存储区域网络(Fibre Channel Storage Area Network, FC SAN)**:使用光纤通道技术将存储设备连接到主机或服务器,构建高速、高可靠性的存储网络。它提供块级访问,通常用于关键应用和大规模存储。
4. **基于IP的存储区域网络(IP SAN)**:利用TCP/IP网络协议通过专用硬件或软件将存储设备连接到主机或服务器。IP SAN可以使用iSCSI或FCoE等协议,提 供块级访问,类似于FC SAN,但使用通用IP网络。
DAS架构
NAS架构
常用存储协议详细说明(SCSI、SAS、FC、PCle、IB、CIFS、FTP、HTTP)【5】_磁盘阵列数据传输接口 scsi sas pice_҉人间无事人的博客-CSDN博客
FC SAN架构
IP SAN架构
存储架构趋势:融合存储
云存储:分布式存储
云存储:软件定义存储
存储技术演进
低端存储系统关键技术演进
S2200/2600 V3:中小企业的最佳选择
中端存储系统架构技术演进
融合存储:智能多业务承载
高端存储系统架构技术演进
高端存储技术当前特点
OceanStor高端存储系统
存储前沿技术和发展趋势
Sever SAN逐步成为企业主流存储形态
新业务催生新资源供给模式
软件定义的全融合云存储
华为存储解决方案
STaaS:存储即服务解决方案
OceanStor DJ:简单,智能,开放
OceanStor Dorado V3:快如闪电,稳如磐石
OceanStor V3:融合存储让业务更敏捷
FusionStorage:全融合云存储
Berreleye:面向云打造的新一代硬件架构
STaaS:混合云方案
答案都是ABCD
02 AI、大数据和云计算的存储应用技术
ICT技术发展趋势
ICT正在成为传统产业转型升级的引擎
重构世界的IT四大趋势
云数据中心无处不在
云计算存储应用技术
ICT产业布局中云计算的位置和作用
IT架构云化 :由“分离”走向“融合”
传统业务向云平台迁移
什么是云计算?
云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。 ——美国国家标准与技术研究院
云计算是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机和其他设备。云计算依赖资源的共享以达成规模经济,类似基础设施(如电力网)。 ——维基百科
云计算是商业模式和技术理念的统一
云计算关键技术
云计算业务模式
云计算的本质就是服务
云计算的关键实现技术 - 虚拟化
存储资源化
基于异构融合和应用模板的存储服务化
华为云计算产品全景
AI、大数据存储应用技术
大数据时代已经来临
一个大规模生产、分享和应用数据的时代正在开启…... ——肯尼思·库克耶(《大数据时代》作者)
大数据从哪里来?
什么是大数据 (Big Data)?
大数据技术架构
大数据处理需要多方面的技术支撑
存储技术的变革
大数据与云计算深度融合
大数据与AI深度融合 - 认知计算
03 ICT架构体系
数据与信息管理
数据与信息 数据=信息+数据冗余
信息数据的生命周期管理
新ICT时代的来临
新产业革命需要创新的ICT
ICT系统从支撑系统向生产系统迁移
什么是ICT
ICT基础架构
业务驱动的ICT基础架构
华为聚焦横贯云、管、端的融合ICT架构
ICT基础设施组件
常用组件
组件示例
ICT基础实施组件前视图
ICT基础实施组件后视图
04 存储系统结构
中低端SAN/NAS融合存储架构:双控制器
双控存储结构图
高端SAN阵列架构:多控制器
高端SAN阵列架构:网格存储
集群NAS存储架构
分布式存储架构:无中心节点
分布式存储架构:有中心节点
分布式对象存储架构
存储组件
常见阵列组成形式
盘控分离式控制框
2U 2.5”硬盘框
4U 3.5”硬盘框
4U 3.5”高密硬盘框
硬盘类型
磁盘组件
硬盘属性
SAS盘
NL-SAS硬盘
固态硬盘概述
由于价格逐渐下降,容量越来越大,固态硬盘(SSD)变得越来越流行。
SSD原理:
使用flash技术存储信息
内部没有机械结构因此耗电量更小、散热小、噪音小
但是,基于SSD的使用频率,SSD盘使用寿命有限。
SSD的3种主要的类型:
SLC (Single Level Cell),单层式存储单元
MLC (Multi Level Cell),多层式存储单元
TLC (Triple Level Cell),三层式存储单元
SLC-MLC-TLC
在SLC中,每个存储单元(cell)只存1bit数据:0或1
在MLC中,每个存储单元(cell)可存2bit数据:00,01,10,11
在TLC中,每个存储单元(cell)可存3bit数据: 000, 001, 010, 011, 100, 101, 110 和111
固态硬盘结构
无高速旋转部件,性能高、功耗低
多通道并发,通道内Flash颗粒复用时序
支持TCQ/NCQ,一次响应多个IO请求
典型响应时间低于0.1ms
SSD性能优势
硬盘关键指标
硬盘容量 (Volume):容量的单位为兆字节(MB)或千兆字节(GB)。影响硬盘容量的因素有碟容量和碟片数量。
转速 (Rotational speed): 硬盘的转速指硬盘盘片每分钟转过的圈数,单位为RPM(Rotation Per Minute)。一般硬盘的转速都达到5400RPM/7200RPM。SCSI接口硬盘转速可达10000-15000RPM。
平均访问时间*(Average Access Time)=平均寻道时间+平均等待时间。
数据传输率 (Date Transfer Rate): 硬盘的数据传输率是指硬盘读写数据的速度,单位为兆字节每秒(MB/s)。硬盘数据传输率包括内部传输率和外部传输率两个指标。
IOPS (Input/Output Per Second): 即每秒的输入输出量(或读写次数),是衡量磁盘性能的主要指标之一。
FC I/O模块
FCoE I/O模块
以太网I/O模块
56Gb IB模块
SmartIO模块
智能加速模块
12Gb SAS级联模块
PCIe模块
FC Switch
HBA卡
设备线缆
华为存储产品介绍
融合存储产品
SSD硬盘的类型有以下哪些 ( ) ?
SLC。
MLC。
TLC。
NLC。
SSD硬盘(固态硬盘)的类型主要包括以下几种:
1. **SLC(Single-Level Cell)**: 单层单元,每个存储单元只存储一个比特(0或1),因此具有最高的耐用性和最快的写入速度,但成本较高。
2. **MLC(Multi-Level Cell)**: 多层单元,每个存储单元可以存储多个比特,通常为2比特(00、01、10、11),相比SLC成本较低,但写入速度和耐用性相对较低。
3. **TLC(Triple-Level Cell)**: 三层单元,每个存储单元可以存储更多比特,通常为3比特,即8种状态(000、001、010、011、100、101、110、111),比MLC更便宜,但写入速度、耐用性进一步降低。
4. **QLC(Quad-Level Cell)**:四层单元,每个存储单元可以存储4比特,即16种状态,比TLC存储更多信息,但写入速度、耐用性更低。
"NLC" 不是通用的 SSD 类型术语,可能是一种新的或特定厂商的命名,但一般来说,SSD 类型主要涵盖了SLC、MLC、TLC和QLC这四种常见类型。
衡量机械硬盘性能的参数有哪些 ( )。
硬盘容量。
硬盘转速。
数据传输率。
平均访问时间。
05 常用存储协议介绍
SCSI/ISCSI SAS FC/FCOE PCIe IB CIFS/NFS FTP/HTTP
存储中的SCSI和iSCSI
什么是SCSI
SCSI的历史
SCSI逻辑拓扑
SCSI启动器模型
目标器模型
SCSI协议和存储系统
SCSI协议是主机与存储磁盘通信的基本协议。
DAS使用SCSI协议实现主机服务器与存储设备的互联
SCSI 协议寻址
iSCSI的诞生
什么是iSCSI?
iSCSI 启动器 - 目标器模型
iSCSI体系结构
iSCSI节点将SCSI指令和数据封装成iSCSI包,然后该数据封装被传送给TCP/IP层,再由TCP/IP协议将iSCSI包封装成IP协议数据以适合在网络中传输。
iSCSI和SCSI、TCP和IP的关系
SAS
存储中的SAS
在企业级存储系统中,SAS(Serial Attached SCSI )接口已经取代并行连接SCSI和SATA接口。
SAS采用点对点架构,性能可高达300MB/s、600MB/s、或更高 。
为什么要发展SAS?
什么是SAS?
SAS:Serial Attached SCSI,是SCSI总线协议的串行标准,即串行连接SCSI
SAS采用串行技术以获得更高的传输速率和更好的扩充性,并兼容SATA硬盘
SAS目前的传输速率高达3Gbps、 6Gbps、 12Gbps 或更高,支持全双工模式
SAS协议层次结构
SAS特点
SAS的串行通信方式允许多个数据通路全速与各个设备通信。
SAS支持多个窄端口捆绑形成宽端口。
SAS结构采用扩展器(expander)进行接口扩展,具有非常好的扩展能力。
SAS采用全双工模式。
SAS的可扩展性
SAS结构采用扩展器(expander)进行接口扩展,具有非常好的扩展能力,1个SAS域最多可以连接16384个磁盘设备。
SAS连线的原则
SAS线缆一般有四个通道,每个通道现在常用的是12 Gb/s。
SAS设备以环路(也称为链)的形式连接在一起。
线缆的带宽为4X12Gb/s,限制了环路中的硬盘数。
当前一个环路中的最大硬盘数的最佳实践是168块盘,也就是说最多7个24个硬盘槽位的硬盘框组成一个环路。
SAS与其他传输技术的比较
存储中的FC
什么是FC?
FC协议的演进趋势
FC协议结构
FC交换机端口类型
D_Port:诊断端口,可通过D_Port隔离ISL以诊断链路级故障,只做诊断测试,不承担任何Fabric流量。
E_Port:级联端口,用于级联(ISL)其他交换机实现Fabric扩展。
EX_Port:E_Port的一种,用于连接FC路由器和边缘Fabric。EX_Port的连接终止于路由器,不能像E_Port连接的交换机那样可以融合Fabric。
F_Port:节点端口,即Fabric设备的端口。例如连接存储设备时,交换机端口类型显示为F_Port。
FL_Port:用于连接Loop中的设备。 G_Port:通用端口,作为非环路Fabric设备的过度端口。
M_Port:镜像端口,用于复制指定源端口和目的端口之间的流量。
U_Port(或GL_Port):通用FC端口,最基本的FC端口类型。所有未识别的和未初始化的端口都属于U_Port(或GL_Port)。
FC Zone
FCoE协议
直接在增强型无损以太网基础设施上传输光纤信道信号功能的协议。
FCoE把FC帧封装在以太网帧中,允许LAN和SAN的业务流量在同一个以太网中传送。
FC与FCoE的区别
FC连接器
什么是PCIe?
PCI Express(又称PCIe)是一种高性能、高带宽串行通讯互连标准,最早由英特尔提出,后由外设组件互连特别兴趣组(PCI-SIG)制定,以取代基于总线的通信架构,如:PCI、PCI Extended (PCI-X) 以及加速图形端口(AGP)。
为什么用PCIe?
PCIe协议结构
PCIe链路的带宽
IB
存储中的IB
什么是IB?
IB(InfiniBand):
InfiniBand技术不是用于一般网络连接的,它的主要设计目的针对服务器端的连接问题。 InfiniBand技术被应用于服务器与服务器(比如复制、分布式工作等)、服务器和存储设备(比如SAN和直接存储附件)以及服务器和网络之间(比如LAN、 WANs和the Internet)的通信。
InfiniBand的特点:
基于标准协议
高带宽,低时延
远程直接内存存取功能
传输卸载
InfiniBand结构的关键在于通过采用点到点的交换结构解决了共享总线的瓶颈问题,这种交换结构专门用于解决容错性和可扩展性问题。通过向InfiniBand系统添加交换机可以很容易地实现I/O系统的扩展,进而允许更多的终端设备接入到I/O系统。
IB分层结构
IB架构
IBA(InfiniBand Architecture)组件(Component):
Node:主机通道适配器(HCA),目标通道适配器(CA)
Network:交换器(Switch),路由器(Router)
Physical:Link(光纤firbic或者电缆cable),中继器(Repeater)
IB接口
IB信令模式
SDR : Single Data Rate
DDR : Double Data Rate
QDR : Quad Data Rate
FDR : Fourteen Data Rate
EDR : Enhanced Data Rate
HDR : High Data Rate
NDR : Next Data Rate
IB性能快在哪里?
基于通道的端到端交换互联结构,不共享总线,没有相关的电子限制、仲裁冲突和内存一致性问题。
协议简单高效,开销小,协议硬件卸载
QoS:16级的VL和16级的SL,实现了高效服务质量管理和基于信用度的双层流控机制
RDMA + 数据零拷贝
支持多并发链接:理论上并发越多速度越快,如QDR:X1 10Gbps,X4 40Gbps,X8 80Gbps,X12 120Gbps
CIFS/NFS
存储中的CIFS/NFS
NAS最常用的两个网络共享协议:CIFS和NFS。
CIFS (Common Internet File System) :CIFS指SMB(Server Message Block)的统称, 在windows主机之间进行网络文件共享是通过使用微软公司自己的CIFS服务实现的。
NFS( Network File System )是网络文件系统,云计算和数据库大量使用NFS。在Linux/UNIX/AIX/HP-UX/Mac OS X等类UNIX的操作系统提供网络文件系统存储服务。
CIFS工作原理
NFS 工作原理
CIFS典型应用案例:文件共享服务
文件共享服务场景适用于企业文件服务器、媒资等应用场景。
NFS典型应用案例:云计算共享存储
云计算使用NFS服务器作为内部共享存储:
FTP/HTTP
什么是FTP?
FTP(File Transfer Protocol,文件传输协议)用于在远端服务器和本地主机之间传输文件,是IP网络上传输文件的通用协议。
FTP协议在TCP/IP协议族中属于应用层协议,用于在远端服务器和本地客户端之间传输文件,使用TCP端口20和21进行传输。端口20用于传输数据,端口21用于传输控制消息。FTP协议基本操作在RFC959中进行了描述。
FTP有两种工作方式:
主动方式(PORT):建立数据连接时由FTP服务器发起连接请求,当FTP客户端处于防火墙内时不适用(如FTP客户端处于私网内)。
被动方式(PASV):建立数据连接时由FTP客户端发起连接请求,当FTP服务器限制客户端连接其高位端口(一般情况下大于1024)时不适用。
什么是HTTP?
超文本传输协议HTTP(Hypertext transfer protocol )是一种详细规定了浏览器和万维网服务器之间互相通信的规则,通过因特网传送万维网文档的数据传送协议。
FTP典型应用场景:文件上传和下载
HTTP典型应用场景:Web访问
文件共享协议有以下哪些?( )
HTTP
iSCSI
NFS
CIFS
文件共享协议主要有以下几种:
1. **HTTP (HyperText Transfer Protocol)**: HTTP是一种用于传输超文本(例如网页)数据的协议,不是专门用于文件共享的协议,而是用于在Web上传输和接收HTML页面、图片、视频等数据。
2. **iSCSI (Internet Small Computer System Interface)**: iSCSI是一种网络存储协议,允许将SCSI协议封装到TCP/IP协议上,以便通过网络传输SCSI命令和数据,用于存储和文件传输。
3. **NFS (Network File System)**: NFS是一种基于网络的文件共享协议,允许不同操作系统的计算机之间共享文件和存储设备。NFS通常用于UNIX和类UNIX系统。
4. **CIFS (Common Internet File System)**: CIFS是一种用于在网络上共享文件和打印机的协议。它是SMB(Server Message Block)协议的扩展,通常用于Windows操作系统,也能与其他操作系统兼容。
因此,正确的文件共享协议有:
- NFS (Network File System)
- CIFS (Common Internet File System)
FC拓扑结构有以下哪些?( )
仲裁环网络
点对点网络
交换网络
双交换网络
光纤通道(Fibre Channel,简称FC)拓扑结构主要有以下两种:
1. **点对点网络(Point-to-Point Topology)**: 点对点网络是最简单的FC拓扑结构,连接只有两个设备。每个设备都直接连接到另一个设备,形成一对一的连接。
2. **交换网络(Switched Topology)**: 交换网络是一种常用的FC拓扑结构,其中多个设备通过交换机连接,允许多个设备同时进行通信。交换网络提供高度灵活性和性能,并支持多对多的连接。
因此,FC拓扑结构中的主要两种类型是点对点网络和交换网络。"仲裁环网络"和"双交换网络"不是光纤通道的标准拓扑结构。
06 存储组网技术
网络存储分类
数据中心存储网络
存储分类
存储模型的比较
SAN与NAS
DAS、SAN、NAS对比
DAS - 传统存储技术
DAS (Direct Attached Storage)
DAS定义
DAS的定义:DAS是1个或多个直接连接到使用它们的服务器上的指定存储设备,这些存储设备为服务器提供块级数据访问服务。
DAS分类:基于存储设备与服务器间的位置关系,DAS分为内部DAS和外部DAS。
按块存储的本地物理硬盘DAS系统
DAS遇到的挑战
可扩展性低
可连接到主机的端口数目有限
可寻址的磁盘数有限
距离限制
维护内部DAS时,系统需要下电
资源共享性较差
阵列前端端口、存储空间 难以共享
导致资源孤岛:如存储空间紧张的DAS不能共享存储资源过剩的DAS的剩余空间
SAN - 存储区域网络
主机、存储设备可以独立扩展
SAN:存储区域网络,提供在主机和存储系统之间数据传输,网络内部数据传输的速率快
存储容量利用率高
按块存储的网络虚拟硬盘SAN系统
FC SAN和IP SAN
一个SAN系统的组成
NIC + initiator软件
TOE NIC + initiator软件
iSCSI HBA卡
FC SAN与IP SAN比较
SAN存储应用
NAS - 网络附加存储
文件共享环境
文件系统用来存储和组织数据结构
文件共享
通过网络存储访问数据
文件系统需要挂载才能使用
传统C/S模型中,远程文件共享通过文件共享协议实现
FTP
DFS
文件共享技术演进
NAS (Network Attached Storage)
NAS(Network Attached Storage)网络附加存储,即将存储设备连接到现有的网络上,提供数据和文件服务
支持网络文件共享协议CIFS,NFS
NAS实际上就是一个专门优化了的文件服务器
NAS常见协议
通用服务器与NAS设备
NAS的优点
支持全面获取信息
提高效率
提高灵活性
集中存储
简化管理
可扩展性
高可用性 - 通过本地集群
提供安全集成环境(用户认证和授权)
FC协议数据传输速率?( )
4Gb
8Gb
10Gb
16Gb
SAN组网中的常见协议有以下哪些?( )
FC
iSCSI
FCoE
IB