随着现代化信息技术和智能电网建设的持续推进和发展，各类电网实时、准实时数据从几百TB快速增加到几千TB，数据增长速度呈现爆发式增长势头，电力行业步入了大数据时代。电力大数据具有如下特征：数据量大、变化迅速、价值高等，传统技术数据处理能力已经难以满足电力大数据大要求，为了获取电力大数据价值，必须建立新支撑体系实现对电力大数据并行处理的管理和处理。而云计算技术属于一种能够通过工业以太网技术能将电力系统的所有数据信息集中形成共享资源池，同时能够实现按需和可度量方式为用户提供所需要的服务，实现大规模计算的信息处理方式。基于此， 建立电力大数据云平台是十分必要的。
二、工业大数据云平台的定义

  工业大数据云平台是一种全新的大规模分布式、开放式标准的云平台，用于构建、运行和管理工业数据及智能应用，提供海量数据存储与计算能力，并提供有关运行、生产、管理的智能化辅助决策服务。

三、工业大数据云平台搭建

（一）网络架构

    和传统数据处理方式不同，云计算技术在处理大数据时，实现了传统数据物理模式向逻辑模式的转变，通过构建信息化网络来实现电力系统大数据处理的灵活性和敏捷性，从传统的IP网络转变为虚拟化网络，通过VXLAN等多种方式将传统网络进行细化管理。还实现了对大数据信息网络基础结构的集中控制。通过对整个分散数据网络的自动化网络配置，实现管理和处理效率最大化；采用这种方式具有传统处理方式难以比拟的优势，即当电力负荷应用被部署或者迁移时，网络配置能够实现自动调整配置。

（二）计算资源

  大数据云平台不再采用传统的物理服务器加上操作系统来实现计算，而是通过采用现代化的虚拟化池化技术，有效实现数据处理系统主机资源的整合与优化，同时利用PAAS技术实现数据库、中间件、运行环境及web层面的虚拟化部署和分布式Hadoop系统，采取这种模式不仅增加了数据处理速度，还能有效降低数据处理系统的各种硬件故障对业务系统造成的不良影响。

（三）存储架构

    基于云计算技术的大数据处理系统中，存储系统是整个系统的关键基础架构，是电力系统所有数据的最终承载体。随着各种现代化云计算、虚拟化和大数据等技术的深入发展，传统的集中式存储已经逐步被淘汰，不再是数据处理的主流存储架构，要有效处理电力系统海量数据的访问，必须构建具有极强扩展性和伸缩性的存储架构。

基于云计算技术的云存储架构能有效解决传统架构难以解决的问题，其能将数据存储作为云的服务提供，重点实现对海量数据的创建和分布，同时能通过云获得数据的访问。云存储的技术部署，主要是通过集群或分布式文件功能，将整个网络系统中不同类型的存储设备通过相关软件实现协同工作，共同实现对外提供数据存储和业务访问。

 云平台存储CloudSAN采用块数据存储、管理与控制、数据应用三层分离的架构，提供512个节点的扩展能力和上亿次的IO访问能力。

 1、存储特性：

  低延迟以太网技术

  基于10/40/100Gb/s低延迟以太网技术，建立存储互联通道

  透明负载均衡

  基于虚拟LUN和虚拟路径技术，实现透明的负载均衡访问

  多类型混合扩展

  全闪存、高、中、低端存储等各种节点混合部署，支持Scale-UP、Scale-Out扩展方式，实现性能、容量的按需扩展

  兼容异构存储

  基于存储虚拟化技术，兼容各厂家、各品牌的存储设备

  智能管理与控制

  通过智能管理与控制机制，实现透明的数据迁移，支持QoS及负载均衡

   安全体系

   大数据云平台上存有大量的生产数据、报表数据、统计分析数据、业务管理数据等多种数据，其安全性是必须重点严格管控的。依据云平台的特点，建立满足要求，能够涵盖云平台的基础设施、业务支撑、运维管理、安全保障与智能服务等五方面内容的信息安全整体保障体系。

  区域边界防护

   区域边界是云平台环境实现边界连接以及实施安全策略的相关部件。通过在这一可控的云区域与其外部的不可控区域之间部署网络安全设备，遵循一套预定规则来确保只有通过认证的用户才能管理和使用云，从而保证云平台环境区域的安全。

  病毒防护

  通过在云平台底层架构部署虚拟化防病毒系统，自动对整个云平台内部的系统应用进行实时检查。通过病毒防护、访问控制、入侵检测/入侵防护、虚拟补丁、主机完整性监控、日志审计等功能实现对云平台的全面防护，并满足信息系统合规性审计要求。

  安全审计

  在整个云平台的管理过程中，人为因素也是必须考虑的很重要的一项内容。通过部署集中运维审计系统，统一规范内部运维管理行为，预防、及时阻断异常，定位安全事故，为恢复系统和追查责任提供原始依据。所有登录云平台进行业务系统维护的操作都应该通过运维安全审计系统。运维安全审计系统可以对所有操作进行实时记录。对违规操作进行实时拦截，并提供审计日志供事后核实。

（一）工业大数据云平台

• 数据分布广泛，分布于机器设备终端、仪器仪表、工控机、管理系统等；
• 数据结构复杂，有旋转数据、振动数据等结构化、非结构化和半结构化数据；
• 数据体量巨大，物联网设备的加入，工业数据的存储量将达到EB级别；
• 数据速度需求多样化，要求实时数据、半实时数据、离线数据、历史数据等多种数据类型；
• 数据蕴含信息复杂、关联性强，需要分析挖掘；
• 大量的时间序列数据，数据需要持续采集，具有鲜明的时间特性。

• 数据分布单一，分布于电脑、服务器系统中；
• 数据结构简单，通过关系型数据库或者非关系型数据库存储；
• 数据体量一般，TB级别到PB级别数据；
• 数据速度要求一般，通常都是离线数据较多；
• 数据较简单，关联性一般；
• 数据时间性不强，不需要持续采集 。