1              建设目标

汽车生产企业作为典型流程制造模式，生产过程极其复杂，具有原料物性、生产工艺、生产装备复杂和安全环境要求高等特点。打通企业数据采集、集成、管理、分析和应用的产业链条，采用数据驱动业务的数据思维方式来进行生产过程管理和创新业务活动。以数据标准化采集为例，汽车零部件加工生产过程不仅涉及多变量协调，不同工艺路线、工艺参数会产出不同目标产品及收率，而且涉及设备等类型众多的复杂生产装备，此外，生产计划多变、技术人员经验不足等都是导致数据采集困难的主要原因。

智能化实验室建设将以统一智能化数据云平台为中心，提高工厂对不同设备收集的海量信息进行梳理的能力，提高企业信息系统的计算能力和数据消化能力，实现对企业的产品数据、运营数据、售后故障数据、客户数据的实时而有针对性的分析，对企业的研发、生产、运营、营销和管理方式进行智能化创新，实现信息流、物流、资金流、知识流、服务流的 高度集成与融合，使得企业持续创新，并不断开发新产品、新服务，继而达成以下四项平台目标。

1.1    实现汽车产线与4S店的连接

利用移动互联网、云计算、大数据、物联网及分享经济模式促进生产方式绿色转型，推动研发设计、原材料供应、加工制造和产品销售等全过程精准协同，强化生产资料、技术装备、人力资源等生产要素共享利用，实现生产资源优化整合和高效配置。加快形成企业智能环境数据感知体系，落实生态环境保护信息化工程。发展大规模个性化定制、网络协同制造、远程运维服务，降低生产和流通环节资源浪费。 

1.2    实现数字化工厂全流程协同设计

目前在制造企业中产生繁多的纸质文件，如工艺过程卡片、零件蓝图、三维数模、刀具清单、质量文件、数控程序等等，这些纸质文件大多分散管理，不便于快速查找、集中共享和实时追踪。 生产文档通过信息系统的融会贯通、信息孤岛逐渐消失，尤其进行无纸化管理后，工作人员在生产现场即可快速查询、浏览、下载所需要的生产信息，生产过程中产生的资料能够即时进行归档保存，大幅降低基于纸质文档的人工传递及流转，从而杜绝了文件、数据丢失，进一步提高了生产准备效率和生产作业效率，实现绿色、无纸化生产。

1.3    解决不同软件平台之间数据互用性问题

通过智能化工厂的运行管理打通企业的信息集成通道，通过对全流程过程的智能优化、科学设计、统筹协调，可以实现智能化生产方式的转变，实现企业横向纵向信息的集成，对于原有生产方式的转变起到了促进作用。 

1.4    解决虚拟数字化工厂与物理工厂之间的信息交互及数据驱动

首先确保决策者和各级管理者可以在最短的时间内掌握生产现场的变化，做出准确的判断并制定快速的应对措施，保证生产计划得到合理而快速的修正、生产流程畅通、资源充分有效地得到利用，进而最大限度地发挥生产效率。

通过建设智能生产数据平台，促进制造工艺的仿真优化、数字化控制、状态信息实时监测和自适应控制，进而实现整个过程的智能管控。企业发展智能制造的核心目的是拓展产品价值空间，侧重从单台设备自动化和产品智能化入手，基于生产效率和产品效能的提升实现价值增长。因此推进生产设备(生产线)智能化，通过引进各类符合生产所需的智能装备，建立基于制造执行系统的智能化生产体系，从点到面逐级实施智能工厂，逐步提高精准制造、敏捷制造、透明制造的能力。

3 平台架构

统一的工业大数据云平台能提供云计算和大数据能力，建立数据共享集群、计算服务集群、数据仓库集群，实现PB级数据存储。平台使用OpenStack实现硬件资源虚拟化，使用内存计算和内存数据库技术解决性能问题，以有效地支撑各类资源和数据实现面向炼化企业智能工厂的按需聚合应用，支撑海量数据的分析处理，统一的大数据云平台物理结构如图1所示。平台基于Lambda架构搭建支持多计算模式的大数据系统，整合离线、实时和流计算，可集成 Hadoop、Kafka、Storm、Spark、HBase、MPP数据库等各类大数据组件。

平台使用新一代的MPP并行数据库集群作为大数据处理平台的核心，实现对海量数据的存储、集成和分析等操作，支持在线查询、实时交互分析、异构数据处理、高频历史数据融合探索、可视化数据展现，支撑炼化业务大数据分析应用。使用基于Hadoop的数据处理技术管理非/半结构化大数据，并用事务型数据库支撑智能工厂在线业 务系统，为平台提供数据支撑，构建智能工厂大数据分析和处理平台。

工业大数据分析平台的逻辑架构一般由数据源管理、数据存储管理、数据分析管理和数据展现四部分组成。

数据源管理主要包括结构化的生产数据、采购数据、销售数据、库存数据等，非结构化的文本、视频、图像等；流结构的过程数据、边缘计算数据等。

数据存储管理主要包括ETL组件、元数据管理、大数据存储、ODS存储、主题数据存储、各种数据分析模型等。

数据分析管理主要包括统计分析数据挖掘、报表及查询、OLAP分析、图形化及仪表盘、数据自助分析等；

数据展现层主要是供集团领导、职能管理部门、二级板块、子分公司以及各级生产单元进行使用。

4 数据采集

汽车生产数据种类繁多，数据采集的范围包括：1）生产经营相关的业务数据，来自于企业内部高度集成的各类信息化系统，企业信息化系统如图2所示；2）设备物联数据，来自于汽车生产自动化控制程度相对较高的DCS、PLC等系统的感知数据；3）已有相关企业的生产数据，表格或者文档形式保存。

4.1设备数据采集

融合各种物联网感知技术，以温度、光敏、视觉 等传感器为主要采集工具，结合RFID、条码扫描器、 生产监测设备、PDA、智能终端等手段采集多源、异构数据信息，全面感知工厂的生产过程要素（物料物性参数、工艺参数、设备运行等）和安全环境（可燃有毒有害气体、污染物、空气质量等），通过互联网或现场总线等技术进行实时准确传输，存储于实时数据库.

结合工艺规划要求，围绕汽车制造工艺生产特点，从软硬件体系、工程实施等层面梳理汽车工厂重大关键装备及核心装备技术、系统集成方法、核心基础技术。

4.1.1生产线设备集成

结合制造工艺特点，以生产线工艺规划设计为基础，一方面通过设计过程，梳理装备标准化要求，另一方面通过仿真过程，优化装备工艺实现过程，以车间级信息化规划为上层次要求，提出关键工艺装备的数据接口及通信协议要求，作为生产线设备的重要技术参数指标。

基于生产线的数字化设计、仿真优化、装备制造、联合虚拟调试的闭环，达成高度集成的智能化先进生产线。

4.1.2数字化车间集成

相关数字化车间企业标准和部分国家标准，进行规划设计，预留车间级扩展要求，包括数字化模型应用扩展标准、信息化数据接口标准等。

4.2业务数据采集

融合Sqoop、Flume、Fluentd、Logstash、Chukwa、 Scribe和并行ETL等多种大数据采集技术和工具，从MES、ERP、PDM、PLM、SAP和CRM等信息化系统采 集生产经营相关业务数据，提取系统间共享数据，实 现炼化企业主数据管理。

4.3已有文档数据

开放对外部文档导入的功能，可采用FTP压缩包解析，或者手动批量导入等操作方式。

5 数据存储与管理

采用多层体系结构，包括数据源存储与计算层、数据服务层和应用层。

建立统一系统，便于在不同操作系统平台、不同硬件环境下安装、部署、升级移植，系统具有可伸缩性和可扩展性。实现浏览器、应用服务器、数据库服务器应用模式。采用平台和和构件化技术，实现系统可以根据需要方便地进行扩展。

5.1数据资源管理

进行生产数据资源梳理，便于摸清数据资源家底，主要功能模块包括组织维护、资源库维护、业务维护、数据资源维护、业务系统维护、资料库维护、部门需求维护、部门服务维护及系统管理等。将生产数据进行整合，定制标准规范，形成产业标准化模板，在多个行业和多类应用平台中灵活使用。

5.2数据采集交换

完成种植、生产数据资源采集，并存储到对应的数据资源库中。数据采集交换服务具备多种数据库、接口、文件等多源异构数据的集成、分发、推送能力，具备断点续传、传输加密的保障能力，具备增量、全量、差量、实时、定时的采集策略以及对采集任务的有效管理等。

5.3分布式数据处理

对葡萄酒产业数据资源中心的数据按照处理规则，进行规范化处理。数据处理服务具备常规内置处理规则的配置能力，具备复杂规则的自定义能力，具备对历史数据资源的批量处理能力和对实时数据资源的实时处理能力，以及对处理任务的有效管理等。

5.4数据质量与安全管理

提供对数据质量管理、数据评估管理和数据稽查管理等功能。通过分析、监管等形式，发现和修正数据交换过程中由于数据建设标准不一致、数据质量管理不严格而引入的问题数据。

5.5数据监控管理

对接入的业务数据点进行过程监控，主要包括实时监控数据采集过程、数据处理过程、数据服务接口共享调用过程等各环节的任务状况和数据状况，支持异常告警，并提供自定义时段内多项指标的统计分析等。

5.6平台数据汇总展示

展示底层采集的设备数，用户数，数据总数。以及环境监测数据，包括空气温度，湿度，光照强度，风向，风速，降雨量等。同时展示平台酒庄的分布地图，平台当日数据，葡萄物候期图示，市场动态，以及平台溯源数据。

6 数据分析算法

6.1多层次的分析方案

大数据分析提供多层次多场景的数据分析方案：即席查询、统计分析、数据挖掘和知识自动化决策，以满足不同级别的需求。

6.1.1即席查询(AdHoc)

用户根据特定的需求，灵活地选择或组合查询条件，系统能够快速生成相应的统计报表。

6.1.2统计分析

运用数据统计分析方法及与分析对象有关的知识，将定量分析与定性分析相结合，适用于上层应用具 有明确的业务目标的场景。

6.1.3数据挖掘

基于人工智能、深度学习和统计学等技术，高度自动化地对数据做出归纳性的推理演绎分析，挖掘出数据的潜在价值，适用于预测预警。

6.1.4知识自动化决策

集成一系列知识自动化算法模型，包括知识表示、知识获 取、知识关联、知识重组和知识推理等, 适用于发现 和解决生产、管理、调度流程中的关键决策点的决策问题。借助于可视化工具进行即席查询、多维分 析、钻取溯源和推理演绎等数据分析活动。

6.2基础算法模型库

在关联分析、分类算法、聚类算法、时序分析和决策树等通用分析挖掘算法的基础上，构建制造领域专业的基本算法模型库。利用统计分析、深度学习等理论方法，设计领域专业知识的获取、表示、关联方法，深度挖掘领域相关的物理化学原理、工艺、制造等知识，使得工业大数据的分析结果能够满足高置信度的要求。

算法模型库提供常用的适合R语言和Spark Mlib的分析模型，如Copula（风险 分析常用）、ExpSmooth（指数平滑模型，是比较通 用的预测模型）、MovingAVG（移动平均模型，产 品需求增速预测常用）和Trend（趋势分析）等，此外还有预警预测、滚动预测等服务。

利用可视化技术和工具进行多维分析、钻取溯源和推理演绎，可视化展现分析结果，可根据不同场景可以选择不同的分析框架，支持包括SQL、Restful服务等通用分析接口. 研发基本算法模型库，可对数据挖掘分析程序和模 型算法进行维护，将模型和算法静态化保存以供随时调用.

7 智能化应用

随着云计算、大数据时代的来临，任何一个行业在发展和运营管理的过程中都会产生大量的数据，而这些数据是一个行业宝贵的资源，对企业未来的经营发展决策有着重要的作用，通过数据的汇聚、统计、分析得出精准的市场预判，能有效规避风险，有的放矢，使有限的资源得到最有效的投放，产生最大价值。

然而现实却是很多企业在信息数据的集成应用和信息化建设方面存在严重的滞后，尚未从信息数据的集成和信息化服务产品研发等角度进行考虑，进而导致企业的数据开发应用水平较低，其为企业发展提供服务的功能更是没有得到充分有效的发挥。为推动和加快企业的信息化建设，提升信息数据为企业发展提供服务的能力，应本着数据集成化、服务化和应用化的原则，提升企业自身的数据管理水平。具体而言，企业需要跟上国家大数据中心建设的脚步，只有在有效归集自身数据的同时，也切入到国家大数据中心的建设中，才能真正实现海量数据的充分共享和利用。我们结合实践经验，就企业如何提升自身的数据管理水平以跟上国家大数据中心建设的脚步进行了探讨，希望对数据的物理载体、信息采集、数据存储、预判分析等环节进行重点建设，已达到新型农业朝向智慧农业的良性发展，通过数字化管理提升产能，最终实现“科技强市”的战略部署。

8 技术架构

工业大数据分析平台的技术架构一般由数据源层、采集层、存储与计算层、数据服务层和应用层五部分组成。

数据源层主要技术涉及关系型数据、文件、流数据以及企业外部数据源等。

采集层主要技术涉及批量数据采集、流数据采集以及外部数据采集等。

存储与计算层主要技术涉及批量计算的HIVE、Mahout、Graph、HDFS的技术、结构化数据库的MySql、oracle、DB2等技术以及在线分析的Srom、Spark Streaming等技术等。

数据服务层主要技术涉及各类技术协议、数据协议、标签、数据模型管理等；

应用层主要包括交互式探查、收益分析、风险分析、KPI等可视化决策支持技术。