基于ELK企业级日志采集分析平台搭建方案研究被引量：2

在线阅读下载PDF

导出

摘要随着各行各业信息化的不断发展,基于日志的大数据分析尤为重要。论文针对目前石油企业现有各类日志分散存储、格式标准不统一、人工收集耗时耗力、缺少统一管理平台等问题,使用开源的ELK日志平台搭建技术,采用(Filebeat、Winlogbeat)+Kafka缓冲集群+Logstash+ ElasticSearch(ES)集群作为平台架构,搭建企业级海量日志收集分析平台,在提供日志统一存储环境的同时,通过参数调优保证平台运行稳定,为石油行业信息化大数据应用创造有利条件。

作者姚姜虹

机构地区大庆油田有限责任公司勘探开发研究院

出处《信息系统工程》 2020年第10期119-120,共2页

关键词企业级日志统一存储 ELK

分类号 TP311.13 [自动化与计算机技术—计算机软件与理论] TE46 [石油与天然气工程—油气田开发工程]

引文网络
相关文献

参考文献2

1张彩云,牛永红,赵迦琪.ELK日志分析平台在系统运维中的应用[J].电子技术与软件工程,2017(6):182-183. 被引量：9
2冯贵兰,李正楠.Nginx反向代理在高校网站系统中的应用研究[J].网络安全技术与应用,2017(6):111-111. 被引量：19

二级参考文献9

1刘万顺.试析反向代理服务器在高校校园网络中的应用[J].湖北警官学院学报,2005,18(5):80-82. 被引量：1
2章伟辉,卫伟,周狄挺,劳洁莹.反向代理技术在校园网中的应用[J].福建电脑,2006,22(8):158-159. 被引量：2
3袁修春.运用反向代理保护校园网网站安全的研究与实现[J].教育信息化,2006(19):37-37. 被引量：1
4吕增辉,陶振凯,唐静.基于Lucene.net的对象持久化的实现[J].吉林师范大学学报（自然科学版）,2009,30(1):90-91. 被引量：3
5雷明彬.反向代理技术在数字化校园中的应用[J].电脑与电信,2009(8):27-28. 被引量：5
6车树炎,黄银瑞.反向代理技术在高校网站系统中的应用研究[J].电脑编程技巧与维护,2013(2):41-42. 被引量：8
7宿大东.采用Nginx远程访问图书馆内网数字资源[J].内蒙古科技与经济,2013(13):69-70. 被引量：3
8曲波,吴兆芝.校园网反向代理服务器的应用与开发[J].计算机系统应用,2002,11(3):39-41. 被引量：14
9徐华宇.APACHE反向代理在校园网络中的应用[J].通讯世界,2015,21(12):298-299. 被引量：4

共引文献26

1孙晓林,张新刚.基于Nginx的网站安全优化方案[J].网络安全技术与应用,2017(11):43-43. 被引量：6
2邓庚盛,付爱英,熊永春.Nginx反向代理技术在移动应用服务架构中的应用[J].科技广场,2017(9):83-87. 被引量：5
3缪伟宁,罗予东,刘锡锋,张文敏,肖振球.基于Docker的高校PaaS平台的设计与实现[J].现代计算机,2017,23(24):61-63. 被引量：3
4蒋鸿城,陈可,耿继朴,戚伟强,沈志豪.海量日志分析在浙江电力的应用与实践[J].浙江电力,2017,36(12):27-32. 被引量：4
5李洪昌,周磊.基于Python Django框架的多媒体发布系统[J].物联网技术,2018,8(2):39-41. 被引量：7
6邓庚盛,鄢志辉,邹伟平,鲁喆.IPv6过渡阶段基于双栈反向代理技术的应用研究[J].中国教育网络,2018(1):39-42. 被引量：6
7陈晗阳,陈建兵,梁立.网络日志数据的预处理技术研究[J].云南师范大学学报（自然科学版）,2018,38(4):27-30. 被引量：1
8韩凯,赵国庆,胡天宇,李胜宏.基于日志分析的虚拟机智能运维[J].信息与电脑,2018,30(20):7-10. 被引量：1
9张建东.基于大数据技术的日志分析体系结构的研究[J].现代计算机,2018,24(6):64-67. 被引量：3
10吴金堂,耿方方.IPv6环境下反向代理IPv4网站及安全防护的研究与实现[J].中小企业管理与科技,2019,3(3):108-111. 被引量：5

同被引文献14

1王越,赵静,杜冠瑶,万巍,龙春.网络空间安全日志关联分析的大数据应用[J].网络新媒体技术,2020(3):1-7. 被引量：3
2康金辉.一种数字校园日志获取模型及实现方法[J].计算机与数字工程,2009,37(4):178-181. 被引量：1
3张晶,黄小锋,李春阳.微服务框架的设计与实现[J].计算机系统应用,2017,26(6):259-262. 被引量：36
4张鹏.利用Elastic Stack构建集中运维日志分析平台[J].电子技术与软件工程,2018(15):133-134. 被引量：3
5黄强文,曾丹.基于Spring Cloud和Docker的分布式微服务架构设计[J].微型电脑应用,2019,35(6):98-101. 被引量：35
6樊建永.日志综合审计系统在高校中的应用研究[J].卫星电视与宽带多媒体,2019,0(12):35-37. 被引量：2
7刘百祥,周超.高校环境下日志管理的思考与设计[J].网络空间安全,2019,10(10):44-48. 被引量：2
8李剑,陈俊杰,郑金帆.应用ELK构建图书馆日志统一管理分析平台[J].情报探索,2020,0(3):71-76. 被引量：2
9方昊.大数据风控技术在互联网金融中的探索与实践[J].科学技术创新,2020(18):69-71. 被引量：3
10王磊,田宗梅.基于开源技术的医院信息系统日志分析平台实践[J].中国卫生信息管理杂志,2020,17(3):352-357. 被引量：3

引证文献2

1李晶,黄杰,袁慧,朱国威,张先飞,王新年.大数据环境下网络威胁可视化分析系统设计与实现[J].中南民族大学学报（自然科学版）,2022,41(1):79-86. 被引量：12
2邵瑛,徐斌.基于微服务的通用性系统日志评估方案及应用[J].计算机系统应用,2022,31(1):124-131. 被引量：5

二级引证文献17

1周虹.基于Python的教师研修数据采集与可视化研究[J].信息技术与信息化,2022(3):25-28. 被引量：2
2钱贝贝,陈志波.基于Python爬虫的音乐数据可视化分析[J].电脑知识与技术,2022,18(8):6-8. 被引量：4
3李寒阳.基于数据挖掘技术的海量企业运营数据智能分析系统设计[J].信息与电脑,2022,34(18):112-114. 被引量：4
4王洪川.智慧高速网络安全态势感知平台[J].中国交通信息化,2023(1):131-136. 被引量：3
5杜家豪.云南省农村污水数据可视化平台的构建[J].数字农业与智能农机,2023(6):31-34.
6曹小龙.基于大数据技术的网络安全告警智能分析平台设计[J].信息与电脑,2023,35(9):205-207. 被引量：2
7熊一.供电企业配电网全业务数据可视化系统设计[J].自动化与仪器仪表,2023(6):166-169.
8刘晓宇,夏立斌,姜晓巍,孙功星.微服务架构磁带库存储系统设计与实现[J].计算机工程与应用,2023,59(15):253-263. 被引量：3
9李明烁,吴涛,任建鑫,熊安石,蒋华扬,贾靖涛.基于可穿戴设备医用防护服微环境监测系统的研究[J].现代电子技术,2024,47(6):79-84. 被引量：1
10马晓琴,罗红郊,孙妍,马占海,李婧娇.面向电力营销的多源日志安全数据挖掘方法[J].电气自动化,2024,46(2):43-46. 被引量：3

1查亚东,孟峰,叶宇凡,赵嘉姝,李瑜,张敏.以大数据和智能化促进广电媒体技术运维治理的现代化[J].广播电视信息,2020,27(12):50-54. 被引量：5
2宋鸿绪,包涵.易制毒化学品管制体系的反思与改良[J].广西警察学院学报,2020,33(5):94-99. 被引量：5
3尧鹏飞.面向物联网管理平台的云操作系统设计[J].电脑乐园,2020,5(8):457-458.
4郑宝铭,苗刚中,王理冬,刘冬梅.基于动态口令获取技术的运维账号管理方法[J].计算机科学与应用,2020,10(10):1870-1878. 被引量：1
5陆奎,李存正,沈强.基于ELK与Spark的可扩展征信日志挖掘系统研究[J].金陵科技学院学报,2020,36(3):1-6. 被引量：1
6林奕华.如何证明自己[J].新民周刊,2020(41):90-90.
7王琼,刘文博,王文梦.2019年白银市大气降水的化学特征分析[J].甘肃科技,2020,36(20):36-38.
8汤睿,吴卫东,蒋会勇,朱晓强,柳楠,王涛.内镜下经腹Sublay修补术在腹壁疝治疗中的应用[J].中华腔镜外科杂志（电子版）,2020,13(4):212-217. 被引量：6
9田军,王霞,段晓文,戴传瑞,冯乔,徐良.油气储量资产交易价值评估方法及案例剖析[J].国际石油经济,2020,28(11):98-105. 被引量：9
10肖宇,陈曦,胡建南,张海鸥.基于红外温度场的电弧增材制造缺陷在线检测方法[J].焊接,2020(7):42-46. 被引量：6

信息系统工程

2020年第10期

浏览历史

内容加载中请稍等...

基于ELK企业级日志采集分析平台搭建方案研究被引量：2

参考文献2

二级参考文献9

共引文献26

同被引文献14

引证文献2

二级引证文献17

相关作者

相关机构

相关主题

浏览历史

基于ELK企业级日志采集分析平台搭建方案研究 被引量：2

参考文献2

二级参考文献9

共引文献26

同被引文献14

引证文献2

二级引证文献17

相关作者

相关机构

相关主题

浏览历史

基于ELK企业级日志采集分析平台搭建方案研究被引量：2