企业级应用——ELK(三):filebeat

2020-1-6

提到ELK,就不得不提到EFK,通常意义上说,EFK是指用filebeat代替logstash形成的新组合。(哈,也有是指Fluentd的,这个我们之后再说) Filebeat 是基于原先 logstash-forwarder 的源码改造出来的,无需依赖 Java 环境就能运行,安装包10M不到。 而且如果日志的量很大,Logstash 会遇到资源占用高的问题,为解决这个问题,我们引入了Filebeat。Filebeat 是基于 logstash-forwarder 的源码改造而成,用 Golang 编写,无需依赖 Java 环境,效率高,占用内存和 CPU 比较少,非常适合作为 Agent 跑在服务器上,来实现日志转发的功能。


企业级应用——ELK(二):ELK进阶

2020-1-3

之前我们部署好了ELK的基本架构,也实现了从系统日志以及nginx中收集日志,不过等待我们的问题依然很多:怎么讲收集好的日志放至临时缓存?或者怎么从缓存中提取日志?对于java应用等日志非单行的服务日志该如何收集等等。本文将继续讲解ELK的各种进阶用法。


企业级应用——ELK(一):ELK的部署

2020-1-3

ELK是Elasticsearch、Logstash、Kibana的简称,这三者是核心套件,但并非全部。 Elasticsearch是实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能;是一套开放REST和JAVA API等结构提供高效搜索功能,可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志,包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志,这些来源包括 syslog、消息传递(例如 RabbitMQ)和JMX,它能够以多种方式输出数据,包括电子邮件、websockets和Elasticsearch。


企业级应用——DevOps(一)gitlab的部署与配置

2019-12-26

在企业生产中,DEVOPS这个概念越来越火了,不同公司对此都有不同的理解,但有一点毋庸置疑,提到DEVOPS都绕不开CI/CD。CI是continuous integration的简称,意为持续集成,CD是continuous deployment或者Continuous Delivery的缩写,意为持续部署或持续交付。


企业级应用——监控(一)zabbix的部署

2019-12-20

常见的开源监控软件有:cacti、nagios、zabbix、smokeping、open-falcon等,本文主要介绍目前使用较多的开源监控软件zabbix,针对容器环境的开源监控软件Prometheus下次再讲解。


OpenVPN的搭建

2019-11-25

企业中,必不可少的应用就是VPN了,它可以帮助员工在外网中访问公司内网,常见开源实现方案有OpenVPN和jumpserver。 OpenVPN是采用了端口转发的原理实现,是基于IP+端口的4层代理机制,一般是用于出差员工访问公司内部ERP系统等使用,而jumpserver是7层代理,所以功能更加强大却也更加复杂,一般适合运维人员管理维护企业内部服务器。对于中小公司日常使用,OpenVPN就已经完全足够了,当然,也可用于科学,你懂得。本文将对linux环境下(CentOS),OpenVPN的安装配置做一个详细的介绍。


tomcat集群的session共享

2019-11-22

tomcat作为一个应用服务器,单机性能上都是无法满足生产中需要的,而想要解决高并发场景,光靠提升单机性能,成本与效果肯定都是无法让人接受的,而此时我们一般都采用tomcat集群的方式,用多台tomcat服务器来共同支撑我们的业务。 但这时就出现了一个新的问题,那就是会话保持。因为每台tomcat服务器的session是独立的,当客户端被调度到一个新的tomcat服务器时,他无法识别之前一台的tomcat服务器分配的sessionID,于是对于此次访问,之前的会话信息就都没有了,这表现在用户的客户端就相当于,点开一个新的链接,就发现需要重新登陆,或者之前的购物车里的商品都不见了等等。这样的客户访问体验绝对不是我们想要的,所以我们需要实现会话保持功能!


linux上部署与配置tomcat

2019-11-21

Tomcat 服务器是一个免费的开放源代码的Web 应用服务器,属于轻量级应用服务器。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。本文将详细讲解tomcat在linux环境(以CentOS为例)中的安装与配置。


企业级应用——负载均衡层haproxy(二)

2019-11-8

继续讲解HAProxy的一些进阶配置及用法,包括报文修改,日志配置,压缩功能,后端服务器状态监测及ACL等功能应用。配置环境及配置文件均延续上一篇[《企业级应用:负载均衡层——haproxy(一)》](https://hewanyue.com/blog/5aeb7732.html),有任何疑问可以先看上一篇博客。


企业级应用——负载均衡层haproxy(一)

2019-11-4

HAProxy是法国开发者 威利塔罗(Willy Tarreau) 在2000年使用C语言开发的一个开源软件,是一款具备高并发(一万以上)、高性能的TCP>和HTTP负载均衡器,支持基于cookie的持久性,自动故障切换,支持正则表达式及web状态统计。 HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。 包括 GitHub、Bitbucket、Stack Overflow、Reddit、Tumblr、Twitter和 Tuenti[7]在内的知名网站,及亚马逊网络服务系统都使用了HAProxy。