大讲台浅谈基于Spark大数据平台日志审计系统的设计与实现
解宝明2017/03/03
随着计算机、网络技术的发展，网络安全已经逐渐成为一个全球性问题，受到世界范围内各行各业的高度重视。危害网络安全的行为主要有伪造、修改、窃听和中断。为排除系统隐含的安全威胁通常采用加密、身份认证、授权和审计等安全措施以提高网络的安全性。审计是通过追踪客户的访问内容和访问方式进而查找系统所存的安全隐患，从而制定相应安全措施以弥补系统存在的安全漏洞。
在需求分析阶段，对需求进行了整体概述并且明确了系统开发的目标以及要解决的问题。使用用例图等UML工具按照功能性和非功能性的划分对系统需求进行了详细说明。其中功能性需求中对集中管理平台、告警分析、统计查询、审计倒查、日志采集进行了用例描述，非功能性需求中给出了项目约束以及开发和运行期项目质量需求。
在系统架构部分根据系统需求分析得出了设计目标及原则并进一步给出了系统的物理架构和整体架构。其中物理架构系统在物理环境下所处的位置;系统的体系结构包括整个系统的完整功能模块。
在系统架构设计完毕的基础上，对系统进行了更进一步的详细设计。详细设计包括整体结构设计、模块设计和数据库设计。整体的结构设计又分为横向和纵向两个角度的设计。横向结构由三层构成:展现层、业务层、模型层，纵向结构由三个模块构成:集中管理平台、分析模块、日志模块。该模块设计实现了日志模块、分析模块和集中管理平台，完成了日志采集、标准化、规则匹配、报警功能以及视图展示功能。数据库设计给出了数据库的整体结构设计和表结构。
在详细设计的基础上，描述了具体实现和测试的部分工作内容。例如采集模块Flume的配置文件，XML规范化文件，分析模块主函数的代码以及系统运行情况等。最后对基于Spark大数据平台日志审计系统的应用情况作了简单介绍，并进行了总结，对基Spark大数据平台日志审计系统的发展进行了展望。
本文所涉及实现的基于Spark大数据平台日志审计系统，具有速度快、伸缩性良好、处理数据量大等优点，在实际运行中取得了良好效果，为日志审计系统的分析和研究做出了有益的尝试。最后想要了解更多关于Spark的新闻资讯，请关注大讲台官网、微信等平台，大讲台IT职业在线学习教育平台为您提供权威的大数据Spark培训课程和视频教程系统，通过大讲台金牌讲师在线录制的第一套自适应Spark在线视频课程系统，让你快速掌握Spark从入门到精通大数据开发实战技能。
分享到QQ空间
分享到微信
分享到QQ好友
看完这篇文章的人大多学习了更多课程>>
