当前位置：首页 > 实用文档 > 其他范文> 企业大数据平台：RedHadoop

企业大数据平台：RedHadoop

时间：2023-12-09 07:40:12 其他范文收藏本文下载本文

企业大数据平台：RedHadoop（推荐3篇）由网友“tony6832”投稿提供，下面是小编整理过的企业大数据平台：RedHadoop，欢迎您能喜欢，也请多多分享。

企业大数据平台：RedHadoop

篇1：企业大数据平台：RedHadoop

RedHadoop 是一个持续优化的企业级Hadoop基础软件平台,让Hadoop大数据更简单!

RedHadoop大数据工场企业版是RedHadoop公司第一款产品，简称BWE(RedHadoop BigData Works Enterprise),是一款面向行业大数据应用需求，以Hadoop平台为核心，并对其进行了大量增强的基础平台产品，定位于解决高并发、低响应、TB级以上数据的存储和计算的需求，具备高可靠、低成本、按需扩容基础特性，并提供自动化部署、监控和告警、安全。RedHadoop持续增强操作系统功能并打造更多丰富的上层结构化数据库和非结构化数据的应用,加强数据分析和挖掘能力。提供数据仓库(DW),结构化数据库(DB),实时分析(RT),视频分析(VD),搜索引擎(DS)垂直应用层软件，

RedHadoop正在构建一个更完善的Hadoop分布式操作系统。会针对各个垂直应用领域做出持续优化比如 Data Storage,Data HouseWare,DataBase,RealTime,Data Mining,Data Search 等等方向做深度定制。基于行业可以由 GIS 地图,生物信息,交通信息处理,智能交通和智能城市,海量交易的定量分析,医疗数据的分析,基因组测序等等方向做探索。显然Hadoop已经从一个平台已经向一个分布式操作系统和分布式生态系统的方向发展了,RedHadoop提供一个平台可以更好的落地各类应用,让Hadoop成为一个茁壮并快捷的生态系统平台。

项目主页：www.open-open.com/lib/view/home/1382318842573

篇2：企业安全大数据平台建设及实现论文

企业安全大数据平台建设及实现论文

在不同的领域以及不同的时期，人们对于信息安全也具有不一样的认识，并且在对于安全问题的解决上仍然存在着一定的侧重面的差异性。因此需要借助于大数据技术，整合安全系统的安全信息进行关联分析以及威胁建模，从而将其计算提速，把有效的信息从大量的日志告警的信息之中发现，将其脆弱性以及安全的威胁进行定位，并且还需要将安全的场景模型进行设计，强化针对业务的安全威胁监控，实现俯瞰企业安全状况的安全全景视图。

一、企业大数据平台建设的目的与意义

现如今，企业业务的不断发展，已经渐渐地向着采集方式、数据源的分布化、多样化以及碎片化趋势发展，采集分析系统中的条块化分析将安全分析限制，将系统的分析效能严重的降低，因此数据采集分析的架构亟需优化，以便快速提取数据的应用价值。企业安全大数据的建设目标是基于大数据技术，实现对应用系统操作日志（4A日志）、各类设备的`安全事件日志（SMP日志）、业务系统流量数据等安全数据的采集、存储与管理的统一处理，实现4A、SMP、业务系统日志分析及报表功能的无缝迁移与性能大幅优化，进一步实现针对风险、事件等高维度的全新分析模型与技术，提供完整高效的进行安全事件的溯源和处理手段。

二、安全大数据平台设计与实现

1、安全大数据平台框架。通过大数据分析技术实现对企业网络与信息安全指标呈现、安全预测/预警以及事件分析体系的研究。安全大数据的总体框架包含统一采集、数据处理、搜索引擎、挖掘分析和统一展示等模块。

2、安全数据的集中采集。安全大数据平台采用大数据集中采集方式收集各类日志数据，日志采集主要分为4A审计日志、SMP日志、业务流量日志，实现由目前各系统独立采集向集中化大数据架构的转换。

3、业务系统旁路流量采集。业务系统旁路流量采集主要是以网络镜像流量的方式采集业务系统流量，根据http协议分析、过滤、格式化以及补全操作，分析出需要的数据提交给上层数据存储中，为业务安全模型分析提供数据基础。

4、业务安全模型分析。

1、异常登录行为分析，分析登录日志建立模型，其特征审计模型包括维度包括：非法密码猜解、使用程序账号登录、异常IP地址登录、非正常时段登录、维护人员共享账号、离职人员工号非法盗用等行为进行审计分析，及时发现运维人员的违规操作。

2、人员违规操作监控分析，关联登录日志、操作日志建立正常的人员行为特征模型：(1)学习建模；(2)冗余范围建立：标准模型*1.2范围;(3)根据模型的的规律，及时营业员的违规操作

5、系统安全事件分析。针对安全事件发生时研究范围中系统状态进行分析，分析不同安全事件时各系统运行状态与正常情况下差异。能够提供每个信息安全资产的安全态势，动态图表的形式展示，访问量趋势图、攻击走势图等可视化图，能够对攻击进行溯源分析，能够分析攻击的影响范围，并能够提供安全预警。

6、安全趋势预测。对研究范围内业务系统的安全数据进行统一采集整理、从多个维度综合分析，提升整体的预警能力，为系统安全预警与安全事件体系研究做出依据。同时对业务安全和系统安全所面临的安全风险定制化模型分析的结果进行安全量化指标排名，进一步将安全风险做到可度量、可视化的动态展示。

三、实现和应用效果

通过对业务安全和系统安全所面临的安全风险进行定制化模型分析，建立异常登录行为模型、内部人员违规操作模型、入侵攻击事件分析模型，完成后台运维人员、普通业务人员、外部攻击者的用户画像，进一步将安全风险做到可度量、可视化的动态展示，实现了信息安全整体态势感知以及发展趋势的有效预警。实现企业日常运行、维护中所产生的数据集中采集、汇总和标准化；基于大数据分析方法建立用户日常行为模型，为风险预测和识别提供基准数据；实现企业日常运行、维护等安全数据的海量数据分析，风险识别；实现基于大数据进行安全分析和对安全事件进行预测、预警的能力；实现企业整体安全态势的多维度展现，为安全管理决策提供支持。

四、结语

本文主要研究了基于大数据技术，实现对4A、SMP、应用流量等安全数据的统一采集、存储与处理，给出了安全大数据具体功能架构设计，实现了审计分析及报表功能的平滑迁移与性能大幅优化；建立了用户异常行为分析模型、入侵攻击事件分析模型、安全事件预测模型，提供高效的安全事件分析和预警方法。

篇3：企业安全策略下的跨平台数据同步

企业安全策略下的跨平台数据同步

耿昌宇1，朱允文2，洪建东2，居悌1

（1.南京邮电学院，江苏南京，210003

；2.摩托罗拉中国软件中心，江苏南京，210029）

摘要：本文探讨了跨平台数据同步的方法，并举例说明了在企业安全策略下实现跨平台数据同步在设计Intranet自动化工具中的应用。

关键词：企业安全策略、Intranet自动化工具、Socket通信、组件化编程

Data Synchronization Over Different Platforms Under

EnterpriseSecurity Policy

Geng Changyu1, Zhu Yunwen2, Hong Jiandong2, Ju Ti1

(1.Nanjing University of Post and Telecommunications, Nanjing, Jiangsu, 210003; 2. Software Center, Motorola, China，Nanjing, Jiangsu, 210029)

Abstract: This paper discusses methods of data synchronization over different platforms. Then it gives an example to illuminate the application of implementation of data synch

ronization over different platforms under enterprise security policy in the design of intranet automatic tools.

Key Words:

EnterpriseSecurity Policy, Intranet Automatic Tools, Socket Communication, Componential Programming

1 引言

关于B-S开发模式的好处已经被讨论了很多，Intranet自动化工具在现代企业办公自动化中的应用正日益普及。

随着现代企业朝着国际化、集团化的方向发展，现代企业内部各部门之间出现了分工细密化和分布全球化的趋势。分工细密化和分布全球化的趋势使得各部门之间难以找到一个较完整的可共享的数据和可适用于各部门间独立管理的工具，各部门在开发自己的Intranet自动化工具的时候会根据本部门的特点和资源条件选择自己的Intranet发布平台。一方面，部门原有的数据发布平台在一定程度上影响了部门对Intranet发布平台的选择；另一方面，在选定了自己的Intranet发布平台的同时，原来与其他部门共享数据的部门也相应地选择了自己的数据发布平台。

同时，现代企业内部各部门之间的协同工作也越来越密切，不同部门之间通常需要访问的数据能同步更新，或者至少能在一定的时间间隔内进行数据同步。虽然大部分的数据库产品都有自己的基于TCP/IP的访问方式，但在企业安全的策略下，各部门通常会更改对IP端口的访问方式的配置，并开发出自己的内部数据访问工具；有的.部门即使使用了数据库产品的默认设置，也很少公开数据库访问的用户名和密码。因此，在各部门之间通过数据库客户端访问工具进行直接的跨平台数据访问与同步几乎不具备可行性。

本文是笔者在摩托罗拉中国软件中心实习期间参与开发Intranet

自动化工具的设计开发过程中面临的数据同步问题解决方案的总结。

2 几种跨平台数据同步方案

在介绍常用跨平台数据同步方法之前有必要简要介绍一下所开发的Intranet自动化工具的设计目的和状况。

所开发的Intranet自动化工具是运行在Windows NT平台上的ASP应用程序，其设计目的是将本地Windows NT

平台上的CR Tracking（Change Request Tracking, 变更需求跟踪）Access数据库与美国UNIX平台上含有CR跟踪信息的Rational ClearDDTS（Distributed Defects Tracking System, 分布式错误跟踪系统。以下简称DDTS）数据库进行同步更新，以实现与本项目相关的CR信息的本地Web访问和跟踪。在数据同步中要求实现的功能包括：获取

DDTS数据库中的新数据用于Access数据库的添加、获取DDTS数据库中指定纪录的字段值用于Access数据库的更新。

在接手进一步开发Intranet自动化工具之前，本项目组已经有了一个CR跟踪的Intranet工具，使用该工具可以进行CR的输入、修改、查询和列表统计。该Intranet工具要求与

CR相关的人员主动使用DDTS工具查询相关CR的信息，并将信息在Web录入页面上输入到Web服务器上的本地数据库，供CR跟踪使用。这种Intranet工具使用的数据同步方法是利用DDTS数据访问工具，手工数据同步。该数据同步的方法实现简单，但操作繁琐，特别是在查询时需要重复性地输入类似的SQL语句，使得这项工作显得枯燥无味。从严格意义上讲，这不能算是一种跨平台数据同步的解决方案。

考虑到大部分的数据库产品都有自己的基于TCP/IP

的访问方式，要求相关部门开放数据库的IP端口访问及受限的用户名和密码给Intranet开发人员也许是一个简单的实现跨平台数据同步的方法。使用这种方法，只需在Windows NT Web服务器中安装相应的ODBC驱动程序，然后在设计ASP程序时使用ADO编程，进行数据的简单查询和添加、修改即可进行跨平台数据同步，设计十分简单。但这种方法存在两方面的问题：一是在开放数据库IP端口访问的用户名和密码的同时，即给该数据库所在部门带来了安全隐患，一旦Web服务器受到攻击而使用户名和密码被窃取，开放的数据库也就处在被攻击的风险之中；二是有的部门使用的是第三方开发的基于数据库的工具（如DDTS工具），其部门本身并没有数据库的管理权限，因而也就无法添加用户名和分配权限。

在开发过程中，采用基于

★ 企业内部管理短信平台

★ 《促进大数据发展行动纲要》详细解读

★ 互联网时代无人化餐饮平台的运行分析论文