ELK实战(Ⅰ) 基于ELK整合分布式业务日志

ELK实战(Ⅰ) 基于ELK整合分布式业务日志大多情况下，我们可能都习惯了使用linux指令查看日志，很多时候一句简简单单的tail、grep能定位绝大多数问题 但是面临复杂的目录结构和分布式系统产生的“分布式日志文件”，如果还要我们一个一个去查日志，就会耗费很多没必要的时间 可以利用ELK这套组件快速搭建一个日志系统 注意此文仅针对可能很多情况下格式不确定的业务日志，对于某些组件日志我们有更好的可视化实践方式，可以参考此系列的其他文章 对于一个日志系统，我们要确认我们的诉求，在不同的场景下采用不同的收集方式： 是否是分布式系统需要合并多个节点的日志 如果需要，则需要用分布式组件收集并合并日志，这也是一个日志系统最基本的要求；
2020-03-14鱼鱼

Kafka服务端集群原理

Kafka服务端集群原理kafka是家喻户晓的消息队列，也因“纯粹”而闻名（高性能高吞吐、扩展较少较为简单），此篇文章整理Kafka的基本架构，将按照Kafka的版本迭代分别展示架构的演进（截至版本3.0） 我们在这里暂且只讨论Kafka服务端，对于生产者和消费者的逻辑简单带过 扫盲一下Kafka的部分概念： Producer mq生产者通用叫法 作为消息的生产者，在生产完消息后需要将消息投送到指定的目的地（某个topic的某个partition） Producer可以根据指定选择partition的算法或者是随机方式来选择发布消息到哪个partition； Consumer mq生产者通用叫法 消息消费者，向Kafka broker读取消息的客户端;，负责订阅和消费消息
2022-03-10鱼鱼

[Quick Start]使用RedisTemplate操作Redis

[Quick Start]使用RedisTemplate操作RedisRedisTemplate现在作为使用率最高的redis三方类库，隶属Spring技术栈，此篇文章意在指引RedisTemplate的快速上手 在实践前，请确保已经有一个可连接的Redis服务 Redis有五大基本数据类型：string、hash、list、set和zset string即是最单纯的k-v存储方式，使用set、get等指令 hash是哈希表的存储方式，比较适合用来存储对象，每一条value相当于Java的一个Map，使用hmset、hget等指令 list是简单的有序列表，每一条value相当于Java的一个List，使用lpush、lpop、rpush、rpop等指令
2020-02-23鱼鱼

网络时延、异步IO、Pipeline

网络时延、异步IO、Pipeline通过使用多线程是能提高网络延迟带来的负面效应的，也就是在IO密集型的应用中（尤其是网络IO密集应用中），通过异步操作或能显著提高性能，本篇讨论相关问题 并不是异步（多线程）定能提高性能，有这种讨论也是发现经常有人会滥用多线程 通常会有一种说法：如果想要采用多线程的来执行一段任务，为了提高性能，假设服务器中有N个核心，推荐在CPU密集型的应用中启用N个线程，而在IO密集型的任务中启用2*N个线程 本人不是很认同此种说法，他只能代表一个大致的度量，在实际应用中几乎可以说完全不准确，一般来说，权衡系统资源与性能后，前者可能需要更少的线程数，而后者根据实际情况也许适宜分配更多的线程数 这个概念大家一般都不是很陌生，在此再次科普下：所谓IO密集型任务，即是任务的资源消耗多集中在系统IO上，这里的IO本来包括磁盘IO和网络IO等，但是磁盘IO涉及文件句柄操作等系统限制不在本篇讨论，所以此篇文章所提主要指网络IO，高网络IO也是绝大多数web应用的特性
2021-04-21鱼鱼

造轮子2 灵活运用反射

造轮子2 灵活运用反射//TODO
2019-05-25鱼鱼

多线程应用提高(IV) 线程安全的集合类

多线程应用提高(IV) 线程安全的集合类在Java中的数据结构一篇中，列举了Java中一些常见的集合，此文主要梳理线程安全的相关集合 我们知道，当一个实例对象只能被一个线程访问时（线程私有），无论如何都不会有线程安全的问题，但在多线程的情境下，多个线程操作同一个对象时，可能会出现更新丢失、读写数据不同步、计数击穿等现象，此时这种操作就是非线程安全的 相应地，线程安全的集合有这样的特点：在多个线程操作同一集合时，能保证每一步操作都是安全的，与串行执行的结果一致，不会出现数据不同步等预料之外的问题 可以先看这个小例子Java-lab/ListT.java at master · fishstormX/Java-lab，我在里面解释了
2019-07-13鱼鱼

算法：深度优先搜索（DFS）

算法：深度优先搜索（DFS）在算法：广度优先搜索（BFS）（最短路径）中，我们提到了按照广度优先遍历的搜索方式，使用队列作为常规的搜索方式，与之相对应的为深度优先搜索（DFS） 如果说BFS对应着树结构的前中后序遍历 但是DFS相对解法较为多元一些，有些时候不得不使用递归进行求解 同时，有很多求解只是进行图的遍历，不关心是广度还是深度优先，其解都是相同的 在这里我们暂且不讨论的基于栈而是侧重基于递归的遍历实现 对于二叉树，最常见的遍历方式有前序(又称 先序)遍历、中序遍历、后序遍历、层次遍历 前中后序只为取得的值先后顺序不同，即递归有先后 依赖栈实现的的深度优先是前序遍历 以下是一个二叉树的前序遍历代码实现：
2020-06-27鱼鱼

Redis原理-源码解析：数据结构2 list

Redis原理-源码解析：数据结构2 list所有原理实现基于Redis版本6.0.9 Redis中的list采用的是链表，在开始前，我们先看看list的最基本指令实现 t-list.c 由此可知，Redis的List底层数据结构都是基于quickList的 这是list所依赖的数据结构： quicklist.h 我们注意到其是由quicklistNode所构成的链表，而其中的数据实则为zl(ziplist)或是bookmark，在大多时候quicklistNode都使用ziplist存储数据 在上文中lpush执行了一个插入方法quicklistPush，在quicklist.c中有他的实现： quicklist真正存储数据的结构是ziplist，所以倒不如说，在Redis中，list是一个由ziplist节点构成的链表
2020-11-28鱼鱼

tips

tips一些小tip： 向上转型，失去特征 定义相同对象，重写hash和（不是或）equal Vue.nextTick() 回调函数：在Vue（重新）渲染页面之后调用 vue绑定样式，我们会发现background-color 不能直接绑定 需写为backgroundColor 因为js中不允许出现‘-’ 存库之前，mysql会把换行符什么的过滤掉，使得出入不一致（应用场景：textarea存）解决：this.value.replace(/\n|\r\n/g,"
") linux下的mysql的表名是区分大小写的！ 实现线程接口 Runnable 注解注入失败 注解注入失败 Linux下缺少部分字体，使用drawString会出问题(二维码模块)，解决手段：从windows引入字体，因为不是什么主流问题所以就简单写一下，如果再碰到相关问题在详细的讲述一下
2019-05-08鱼鱼

数据库的瓶颈问题解决（主从分离）与多数据源切换

数据库的瓶颈问题解决（主从分离）与多数据源切换业务中，数据库的设计是极为重要的一环，在高并发的业务中，我们可以采用集群部署来缓解请求和逻辑处理的压力，但是在数据库的层面却不行，Oracle、Mysql等数据库的吞吐量很高，但是依旧有阈值，我们不能奢求单库能解决所有的问题，假设遇到了数据库的瓶颈问题，我们可以采用怎样的手段呢 想要数据库达到瓶颈（SQL执行效率明显变慢），其实是很困难的，我们在程序的设计中基本都会使用到数据库连接池控制数据连接，但当业务量提升之后，连接池若是经常达到饱和便容易产生阻塞，我们不得不开放更多的连接数，随之而来的便是数据库承载了更多的并发，解决问题的主要方式有三： 更细的划分业务逻辑，将高频业务表单独分离开来，并通过定期清理的方式减小查询的执行时间，将不同的数据库请求分发到不同服务器的不同库，可以一定程度下解决上文所述的问题，但是应以数据库的设计性为前提，绝对不能牺牲原有设计合理的数据结构将其进行拆分，得不偿失
2019-08-29鱼鱼

Consul API文档

Consul API文档这是一个记录Consul 常用API的文档，因为Consul的跨语言性，所以http API在Consul中尤为重要，此文档基于Consul版本1.6.0的v1 API，有其他的变化请参阅Consul官方API文档 Consul API采用经典的rest图谱Consul API版本只有一个版本，所以所有的前缀都为 /v1/，返回值以Json格式传输，可以添加pretty参数格式化Json，以本地部署为例，整体的baseUrl为127.0.0.1:8500/v1/ 获取代理成员列表和基本信息，类似于指令'consul members' 开启维护模式后，该代理节点将会被标注为不可用，可以用于上线前临时屏蔽node的服务
2019-12-01鱼鱼

多线程应用提高(III) 并发编程的艺术

多线程应用提高(III) 并发编程的艺术《并发编程的艺术》p36：JMM不保证64位的long型和double型变量的写操作具有原子性 面试中可能经常会被问到HashMap和HashTable的区别，其中最重要的就是前者并不是线程安全的，但其实在高并发的情形下，后者的效率低的不像话甚至不可用，所以在jdk7之后出现了线程高效且安全的ConcurrentHashMap 当并发严重时，某线程若是调用了同步方法，另外的线程将进入阻塞/轮询状态，既不能put也不能get，但ConcurrentHashMap是不同的，它采用了锁的分段技术，将数据分段存储，不同的数据持有不同的锁，这样可用性会大大高于HashTable，所以在实际开发中我们都用ConcurrentHashMap取代HashTable
2019-06-18鱼鱼

网站地图

首页 博客 {{screen}} 第 {{page}} 页

{{blog.title}}

{{blog.content}}

{{blog.createDate}} ◔ {{blog.timeline}} {{blog.author}} {{tag}}

{{blog.likeCount}}{{blog.commentCount}}

分类下暂时没有文章哦！

主题分类

源码解析

造个轮子吧

多线程应用提高

问题探究

来做几道算法题

微服务架构实战

QuickStart

电子出版物

Java排坑指南

做点有趣的！

瞧瞧看看MySQL

{{taggroup.label}} 

{{tag.value}}