云计算与大数据技术应用

第一章云计算概述

无处不在的云计算:

1)电子日历

2)地图导航

3)钉钉

什么是云计算

像水,电,煤(资源性产品)一样利用你的IT资源(计算存储网络资源)

云计算的定义

指按需使用IT资源和应用程序,通过互联网,按使用量付费。

美国联邦云计算战略报告中定义了四种云:

1)公有云:提供面向社会大众,公共群体的云计算服务。

缺点:难以保证数据的私密性。

2)私有云:提供面向行业/组织内的云计算服务。

优点:保密性高。

3)社区云:提供面向社团组织内用户使用的云计算平台。

4)混合云:包含以上任意两种。

生活中的例子:

1)出行论

自己买车(私有)开车(开车)——混合云

2)吃饭论

餐厅——公有云

在家做饭——私有云

在家+厨师——混合云

3)酒店论

酒店——公有云

在家——私有云

云计算的概念模型

1)用户的公共性。

2)设备的多样性。

3)商业模式的服务性。

4)提供方式的灵活性。

云计算的特点

1)具有大规模并行计算能力

2)资源虚拟化

3)数据量巨大并且迅猛

云计算的发展背景

1)20世纪60年代,计算机革命

2)20世纪90年代,互联网革命

  1994年——weblo(单向传递)

  2004年——weblo(双向传递)

3)2021年,移动互联网革命

1988年提出“云计算”名词

2006年提出云计算概念及基础架构

2008年进入中国

2009年,首届云计算大会在中国召开

典型的云计算基础架构

Google的云计算基础架构包括三个相互独立又紧密结合在一起的系统:GFS分布式文件系统、针对Google应用程序的特点提出的MapReduce编程模型和大规模分布式数据库BigTable。

云计算的主要服务模式

云计算模下的IT建设

特点:

1)开放硬件平台,软件与硬件解耦。

2)分布式设计, 软件定义存储。

3)IT建设的传统IOE架构转向互联网架构。

4)集中资源池的共享,虚拟化,分时共享。

5) 动态调配,弹性伸缩,低成本,标准化硬件。

6) 芯片新介质取得突破(云计算IT的基础。)

优点: 省时,省电,省钱,省力,省人,省地。

云计算主要服务模式

1.基础设施即服务IaaS(租用)

IaaS的关键技术及解决方案是虚拟化技术

2.平台即服务PaaS(编程)

数据库服务,Web应用

特点

1)简化开发人员

2) 提供PC端或软件端的开发套件。

3) 丰富的开发环境

4)可托管的数据库服务

5)可配置式的应用程序的构建

6)支持多语言的开发

7)面向市场。

关键技术

1)分布式并计算

2)分布式存储

3.SaaS软件即服务(用户)

多租户技术

4.三种服务的区别

1)IaaS——最底层提供基础设施服务

2)Paas——提供软件

部署平台

3)SaaS——拿来即用

例:云计算服务=做饭做菜

云计算服务提供商=饭店

IaaS=提供厨房,锅具等

不提供食材和技术

PaaS——提供厨房,切好的食材

不提供技术

SaaS提供厨房食材技术

IaaS——租车

PaaS——租车+司机

SaaS——坐公交

第二章大数据技术概述

大数据的定义: 在一定时间范围内用常规软件工具,进行,捕捉管理和处理数据集合。

经典案例:

1)啤酒与尿布

2)谷歌与流感

大数据的范围:采集,存储,搜索,共享,传输,分析和可视化

内存:运行速度

存储:储存容量

海量数据的产生:

1)来自大人群互联网

2)来自大量传感器机械

3)科学研究及行业多结构专业数据

1887-1890年:电工器

1994年:遇见大数据

1997年:用大数据描述超级计算机产生的大量信息

2003-2006年:谷歌提出大数据可重用方案

2008年:提出大数据概念

2009年:大数据逐渐走进互联网

2012年:大数据成为一种新的资产类别

2013年:大数据元年

1ZB=10亿TB

各数据量单位:KB〉MB〉GB〉TB〉PB〉EB〉ZB〉YB〉NB〉DB

单位以PB衡量的数据可称为大数据

第四范式

第一范式:实验——第二范式:理论——第三范式:计算——第四范式:数据

大数据的特征:

1.大量化

1)存储量大

2)增量大

2.多样化

1)来源多

搜索和引擎

社交网络

2)格式多

结构化数据

非结构化数据

3)快速化

4)有价值

大数据的关键技术

1.大数据预处理技术

1)数据采集

2)数据存取

3)基础架构支持

4)计算结果展示

2.大数据存储技术

1)存储设备能持久可靠的存储数据

2)提供可伸缩借口

3)提供高效查询更新等操作

3.大数据分析技术

1)数据处理

2)统计和分析

3)数据挖掘

4)模型预测

4.大数据计算技术

大数据典型计算架构:

Hadoop——预处理本地数据

Spark——收集并更新

Storm——延迟毫秒级

第三章虚拟化技术

虚拟化的特点

1)分区——可分为多个虚拟机

2)隔离——虚拟机与虚拟机之间相互独立

3)封装——独立的文件夹形式

4)相对于硬件独立——屏蔽底层硬件不兼容问题

虚拟化类型

1.寄居虚拟化:在主操作系统上安装和运行的一个程序VMware,Workstation等(操作系统)

特点

1)简单易实现

2)安装和运行应用程序时,依赖于主操作系统对设备的支持

3)有两层OS,管理开销大,性能损耗大

4)虚拟机对各种物理主机的调用,都是通过虚拟化层和宿主OS一起调用完成

2.裸金属虚拟化——在硬件上部署虚拟化层

操作系统:VMware ESX,Xen等

特点:

1)不依赖于操作系统

2)支持多种操作

3)依赖虚拟层内核和服务控制台进行管理

4)需要对虚拟层进行内核开发

3.混合虚拟化——插入内核模块

操作系统KVM

特点:

1)相对于寄居虚拟化性能高

2)相对于裸金属虚拟化不需要内核开发

3)支持多种操作系统

4)西药底层硬件支持虚拟拓展功能

虚拟化层架构:

全虚拟化(KVM),半虚拟化(Xen),硬件辅助虚拟化

1.全虚拟化:即所抽象的VM具有完全的物理特性,虚拟化层负责捕获CPU指令,为指令访问硬件充当媒介

特点:

1)OS无需修改

2)速度和功能比较好,使用非常简单

3)移植性好

2.半虚拟化

特点:

1)架构更简单

2)对OS进行修改,用户体验比较麻烦

3)速度上占一定优势

3.硬件辅助虚拟化

虚拟化技术的优势和劣势

1.优势:

1)减少物理资源的投入,节约成本

2)虚拟化数据资源迁移方便

3)提高物理资源的使用率

4)更加环保,节省资源

5)易于自动化维护与操作,减少维护成本 

6)数据安全更有保障

2.劣势:

1)目前业界没有统一的虚拟化技术标准与平台,没有开发的协议

2)如果没有对数据进行备份,用虚拟化技术会存在一定的风险

3)虚拟化数据中心的迁移,对用户影响巨大。

全虚拟化与半虚拟化举例对比

KVM(性能)

1)全虚拟化

2)内置在内核中

3)便于版本安装升级维护

4)性能高

Xen(安全)

1)半虚拟化

2)需要修改内核

3)更新版本,重新编辑整个内核

4)隔离好

第四章数据中心

数据中心的概念

数据中心,顾名思义就是数据的中心,是处理和存储海量数据的地方

数据中心的定义
数据中心是全球协作的特定设备网络,用来在因特网络基础设施上传递、加速、展示、计算、存储数据信息。数据中心大部分电子元件都是由低直流电源驱动运行的。

数据中心的基本单元----服务器

塔式服务器
塔式服务器一般是大家见得最多的,它的外形及结构都与普通的PC机差不多,只是个头稍大一些,其外形尺寸并无统一标准。

机架式服务器

机架式服务器的优点,和其他两种样式服务器对比。机架式服务器相对于塔式服务器要节约空间,但是散热稍微差一点,因为空间紧凑。

数据中心选址

选址异地远程化。数据中心开始大量的异地远程化建设,从地理位置上看,逐步远离一二线城市。上万甚至数万平方米的数据中心开始大量出现,数据中心的耗电量越来越大。而数据中心的制冷系统是数据中心的耗电大户,为了节约能源、节省成本开支,各大互联网巨头开始在温度低、散热条件好、电费低的区域大规模建设数据中心。

数据中心的主要节能措施

调高数据中心温度

评估数据中心设备运行情况

虚拟化技术的应用

及时关闭不必要的用电设备

充分利用自然散热文章来源地址https://uudwc.com/A/8yJPv

原文地址:https://blog.csdn.net/li_rui_Petrichor/article/details/122361440

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请联系站长进行投诉反馈,一经查实,立即删除!

h
上一篇 2023年06月26日 05:35
人工智能(pytorch)搭建模型13-pytorch搭建RBM(受限玻尔兹曼机)模型,调通模型的训练与测试
下一篇 2023年06月26日 05:38