第一章云计算概述
无处不在的云计算:
1)电子日历
2)地图导航
3)钉钉
什么是云计算
像水,电,煤(资源性产品)一样利用你的IT资源(计算存储网络资源)
云计算的定义
指按需使用IT资源和应用程序,通过互联网,按使用量付费。
美国联邦云计算战略报告中定义了四种云:
1)公有云:提供面向社会大众,公共群体的云计算服务。
缺点:难以保证数据的私密性。
2)私有云:提供面向行业/组织内的云计算服务。
优点:保密性高。
3)社区云:提供面向社团组织内用户使用的云计算平台。
4)混合云:包含以上任意两种。
生活中的例子:
1)出行论
自己买车(私有)开车(开车)——混合云
2)吃饭论
餐厅——公有云
在家做饭——私有云
在家+厨师——混合云
3)酒店论
酒店——公有云
在家——私有云
云计算的概念模型
1)用户的公共性。
2)设备的多样性。
3)商业模式的服务性。
4)提供方式的灵活性。
云计算的特点
1)具有大规模并行计算能力
2)资源虚拟化
3)数据量巨大并且迅猛
云计算的发展背景
1)20世纪60年代,计算机革命
2)20世纪90年代,互联网革命
1994年——weblo(单向传递)
2004年——weblo(双向传递)
3)2021年,移动互联网革命
1988年提出“云计算”名词
↓
2006年提出云计算概念及基础架构
↓
2008年进入中国
↓
2009年,首届云计算大会在中国召开
典型的云计算基础架构
Google的云计算基础架构包括三个相互独立又紧密结合在一起的系统:GFS分布式文件系统、针对Google应用程序的特点提出的MapReduce编程模型和大规模分布式数据库BigTable。
云计算的主要服务模式
云计算模下的IT建设
特点:
1)开放硬件平台,软件与硬件解耦。
2)分布式设计, 软件定义存储。
3)IT建设的传统IOE架构转向互联网架构。
4)集中资源池的共享,虚拟化,分时共享。
5) 动态调配,弹性伸缩,低成本,标准化硬件。
6) 芯片新介质取得突破(云计算IT的基础。)
优点: 省时,省电,省钱,省力,省人,省地。
云计算主要服务模式
1.基础设施即服务IaaS(租用)
IaaS的关键技术及解决方案是虚拟化技术
2.平台即服务PaaS(编程)
数据库服务,Web应用
特点
1)简化开发人员
2) 提供PC端或软件端的开发套件。
3) 丰富的开发环境
4)可托管的数据库服务
5)可配置式的应用程序的构建
6)支持多语言的开发
7)面向市场。
关键技术
1)分布式并计算
2)分布式存储
3.SaaS软件即服务(用户)
多租户技术
4.三种服务的区别
1)IaaS——最底层提供基础设施服务
2)Paas——提供软件
部署平台
3)SaaS——拿来即用
例:云计算服务=做饭做菜
云计算服务提供商=饭店
IaaS=提供厨房,锅具等
不提供食材和技术
PaaS——提供厨房,切好的食材
不提供技术
SaaS提供厨房食材技术
IaaS——租车
PaaS——租车+司机
SaaS——坐公交
第二章大数据技术概述
大数据的定义: 在一定时间范围内用常规软件工具,进行,捕捉管理和处理数据集合。
经典案例:
1)啤酒与尿布
2)谷歌与流感
大数据的范围:采集,存储,搜索,共享,传输,分析和可视化
内存:运行速度
存储:储存容量
海量数据的产生:
1)来自大人群互联网
2)来自大量传感器机械
3)科学研究及行业多结构专业数据
1887-1890年:电工器
1994年:遇见大数据
1997年:用大数据描述超级计算机产生的大量信息
2003-2006年:谷歌提出大数据可重用方案
2008年:提出大数据概念
2009年:大数据逐渐走进互联网
2012年:大数据成为一种新的资产类别
2013年:大数据元年
1ZB=10亿TB
各数据量单位:KB〉MB〉GB〉TB〉PB〉EB〉ZB〉YB〉NB〉DB
单位以PB衡量的数据可称为大数据
第四范式
第一范式:实验——第二范式:理论——第三范式:计算——第四范式:数据
大数据的特征:
1.大量化
1)存储量大
2)增量大
2.多样化
1)来源多
搜索和引擎
社交网络
2)格式多
结构化数据
非结构化数据
3)快速化
4)有价值
大数据的关键技术
1.大数据预处理技术
1)数据采集
2)数据存取
3)基础架构支持
4)计算结果展示
2.大数据存储技术
1)存储设备能持久可靠的存储数据
2)提供可伸缩借口
3)提供高效查询更新等操作
3.大数据分析技术
1)数据处理
2)统计和分析
3)数据挖掘
4)模型预测
4.大数据计算技术
大数据典型计算架构:
Hadoop——预处理本地数据
Spark——收集并更新
Storm——延迟毫秒级
第三章虚拟化技术
虚拟化的特点
1)分区——可分为多个虚拟机
2)隔离——虚拟机与虚拟机之间相互独立
3)封装——独立的文件夹形式
4)相对于硬件独立——屏蔽底层硬件不兼容问题
虚拟化类型
1.寄居虚拟化:在主操作系统上安装和运行的一个程序VMware,Workstation等(操作系统)
特点
1)简单易实现
2)安装和运行应用程序时,依赖于主操作系统对设备的支持
3)有两层OS,管理开销大,性能损耗大
4)虚拟机对各种物理主机的调用,都是通过虚拟化层和宿主OS一起调用完成
2.裸金属虚拟化——在硬件上部署虚拟化层
操作系统:VMware ESX,Xen等
特点:
1)不依赖于操作系统
2)支持多种操作
3)依赖虚拟层内核和服务控制台进行管理
4)需要对虚拟层进行内核开发
3.混合虚拟化——插入内核模块
操作系统KVM
特点:
1)相对于寄居虚拟化性能高
2)相对于裸金属虚拟化不需要内核开发
3)支持多种操作系统
4)西药底层硬件支持虚拟拓展功能
虚拟化层架构:
全虚拟化(KVM),半虚拟化(Xen),硬件辅助虚拟化
1.全虚拟化:即所抽象的VM具有完全的物理特性,虚拟化层负责捕获CPU指令,为指令访问硬件充当媒介
特点:
1)OS无需修改
2)速度和功能比较好,使用非常简单
3)移植性好
2.半虚拟化
特点:
1)架构更简单
2)对OS进行修改,用户体验比较麻烦
3)速度上占一定优势
3.硬件辅助虚拟化
虚拟化技术的优势和劣势
1.优势:
1)减少物理资源的投入,节约成本
2)虚拟化数据资源迁移方便
3)提高物理资源的使用率
4)更加环保,节省资源
5)易于自动化维护与操作,减少维护成本
6)数据安全更有保障
2.劣势:
1)目前业界没有统一的虚拟化技术标准与平台,没有开发的协议
2)如果没有对数据进行备份,用虚拟化技术会存在一定的风险
3)虚拟化数据中心的迁移,对用户影响巨大。
全虚拟化与半虚拟化举例对比
KVM(性能)
1)全虚拟化
2)内置在内核中
3)便于版本安装升级维护
4)性能高
Xen(安全)
1)半虚拟化
2)需要修改内核
3)更新版本,重新编辑整个内核
4)隔离好
第四章数据中心
数据中心的概念
数据中心,顾名思义就是数据的中心,是处理和存储海量数据的地方
数据中心的定义
数据中心是全球协作的特定设备网络,用来在因特网络基础设施上传递、加速、展示、计算、存储数据信息。数据中心大部分电子元件都是由低直流电源驱动运行的。
数据中心的基本单元----服务器
塔式服务器
塔式服务器一般是大家见得最多的,它的外形及结构都与普通的PC机差不多,只是个头稍大一些,其外形尺寸并无统一标准。
机架式服务器
机架式服务器的优点,和其他两种样式服务器对比。机架式服务器相对于塔式服务器要节约空间,但是散热稍微差一点,因为空间紧凑。
数据中心选址
选址异地远程化。数据中心开始大量的异地远程化建设,从地理位置上看,逐步远离一二线城市。上万甚至数万平方米的数据中心开始大量出现,数据中心的耗电量越来越大。而数据中心的制冷系统是数据中心的耗电大户,为了节约能源、节省成本开支,各大互联网巨头开始在温度低、散热条件好、电费低的区域大规模建设数据中心。
数据中心的主要节能措施
调高数据中心温度
评估数据中心设备运行情况
虚拟化技术的应用
及时关闭不必要的用电设备文章来源:https://uudwc.com/A/8yJPv
充分利用自然散热文章来源地址https://uudwc.com/A/8yJPv