浅谈锁机制、主流锁设计方案
浅谈锁机制、主流锁设计方案本文旨在探讨通用的锁机制实现逻辑，以Java中常见的锁实现为例 本文提到的锁，是指通过限制并发/并行访问所添加的安全措施，本质上是通过限制线程/进程同时更改数据或是读取数据与写入数据产生时序差从而造成数据问题 锁机制中，有一些常见特性： 可重入性 指同一线程/进程携带相同的标识可以反复多次加锁，每次加锁和释放锁对应的重入次数+1/-1； 读写锁/独享共享 是锁的不同运作模式，分为读写锁，读锁与写锁、写锁与写锁是互斥的，但多个线程/进程可以同时对一个逻辑添加读锁，独享共享是另一种叫法 公平性 锁分为 公平锁和非 公平锁， 公平锁指锁释放和获取的顺序严格按照索取的顺序，非 公平锁则是等待锁的对象共同进行锁释放机会的争抢
![浅谈锁机制、主流锁设计方案]()
2024-10-15鱼鱼
造轮子1 注解管理
造轮子1 注解管理使用public @interface xxx{}可以自定义一个注解，在注解上面定义的注解叫做元注解 以下代码取自开源API文档生成项目Swagger： 在注解中也可以使用注解，我们称这些注解为元注解，上面代码中使用了一些比较常见的元注解 @Target({ElementType.TYPE})用于定义注解的使用范围，常见的包含 TYPE：类、接口、枚举 FIELD：字段声明 METHOD：方法声明 PARAMTER：参数声明 CONSTRUACTOR：构造函数声明 LOCAL_VARIABLE：局部变量声明 ANNOTATION_TYPE：其他注解声明 PACKAGE：包声明（代码中的第一行 声明package的时候）
![造轮子1 注解管理]()
2019-05-25鱼鱼
阻塞队列与Protobuf的Udp通信 - 基于Cat的代理(Agent)项目拆解
阻塞队列与Protobuf的Udp通信 - 基于Cat的代理(Agent)项目拆解CAT是美团点评的一个基于Java开发的异常和性能监控项目，github地址：https://github.com/dianping/cat 本篇文章不是对CAT本身的源码拆解，而是基于本人依赖CAT client开发的代理项目进行拆解，但是并不会纰漏任何技术细节 CAT当前已有很多不同语言的Client，当然暂且是不 CAT本身是通过CAT client收集数据并上报至CAT server，server会进行并，共有六种常见数据格式：Transaction、Event、Problem、Metric、HeartBeat、调用链标记，其实如果不考虑复杂的处理（譬如Metric是可以基于指标生成折线图，Problem可以根据具体的异常类型追溯到相应的会话Track）除去Transaction剩余的数据格式都可以理解为特殊的Event
2020-07-19鱼鱼
网络时延、异步IO、Pipeline
网络时延、异步IO、Pipeline通过使用多线程是能提高网络延迟带来的负面效应的，也就是在IO密集型的应用中（尤其是网络IO密集应用中），通过异步操作或能显著提高性能，本篇讨论相关问题 并不是异步（多线程）定能提高性能，有这种讨论也是发现经常有人会滥用多线程 通常会有一种说法：如果想要采用多线程的来执行一段任务，为了提高性能，假设服务器中有N个核心，推荐在CPU密集型的应用中启用N个线程，而在IO密集型的任务中启用2*N个线程 本人不是很认同此种说法，他只能代表一个大致的度量，在实际应用中几乎可以说完全不准确，一般来说，权衡系统资源与性能后，前者可能需要更少的线程数，而后者根据实际情况也许适宜分配更多的线程数 这个概念大家一般都不是很陌生，在此再次科普下：所谓IO密集型任务，即是任务的资源消耗多集中在系统IO上，这里的IO本来包括磁盘IO和网络IO等，但是磁盘IO涉及文件句柄操作等系统限制不在本篇讨论，所以此篇文章所提主要指网络IO，高网络IO也是绝大多数web应用的特性
2021-04-21鱼鱼
多线程应用提高(I) 多线程常见问题、常用方法和关键字
多线程应用提高(I) 多线程常见问题、常用方法和关键字我们一般熟识的创建多线程方式即为继承Thread类或是实现Runnable接口，重写run()方法，还有创建线程池实现 手动定义一个线程任务（作为内部类）的方法现在已经不被提倡，所以遇到可能存在并发的复杂任务时，一般采用线程池来实现 一些设计并发常用并且容易被混淆的方法们： static sleep() : Thread类的静态方法，阻塞当前正在线程，不释放锁； wait() : 当前线程暂停，并释放锁且暂时无法重新获得锁，必须绑定当前对象内容锁（如使用Synchronized的同步块），知道其他线程调用notify()/notifyAll()才有机会获得锁继续执行； yield() : 当前线程暂停，此时时间片分配给其他线程，但是不会分配给优先级更低的线程；
![多线程应用提高(I) 多线程常见问题、常用方法和关键字]()
2019-12-07鱼鱼
Redis原理-源码解析：数据结构1 字符串操作&SDS及预分配的实现验证
Redis原理-源码解析：数据结构1 字符串操作&SDS及预分配的实现验证所有原理实现基于Redis版本6.0.9 SDS(Simple Dynamic String)简单动态字符串，是Redis中字符串所采取的数据结构，SDS并不是Redis的独创，只是被Redis采纳的一种数据结构，用以替换C语言原生的字符串类型：sds仓库传送门 使用方法与原生的C语言字符串类似，并能提供很多类似的API SDS经过了两个版本，目前的解析大都基于v1 v1版本的sds数据结构很简单： 比起C语言中单一的字符数组构成的字符串，sds具有以下优势： 存储了字符串长度，相比C语言遍历获取长度，将时间复杂度由O(n)变为O(1); 当SDS每次发生修改时，会为其分配冗余空间，在字符串空间小于1MB时，每次分配实际长度2倍的空间，而在大于1MB时则是分配多1MB的空间，是在空间不足时才会触发分配
2020-11-16鱼鱼
JVM的垃圾回收
JVM的垃圾回收此文介绍Java的基本垃圾回收机制 GC主要回收的是堆区，在堆中是有对象分代的，一个对象每“逃”过一次回收，对象代数便+1，新生对象被称作新生代（如果是占据内存较大的对象直接定义为老年代），当代数一定时对象将由新生代变为老年代 同时在Java1.7之前还有永久代，保存了一些静态变量 总之，内存回收只发生在新生代和老年代之间 除了分代，内存也有分区： 如图，是内存区域分配，其中Eden存储了新建的小对象，当回收时，将Eden中存活的对象转移到To Survivor区中，将From Survivor中的代数高（一般是15）的存活对象转移到老年代中，代数没达到阈值的存活对象转移到To Survivor中
2021-04-07鱼鱼
多线程应用提高(II) 线程池
多线程应用提高(II) 线程池项目中，当发生并行操作时，一般都会用到线程池处理多线程任务，线程池的规则类似于数据库连接池，在此不予赘述 jdk自带线程池，此处主要讲述Spring框架自带的线程池ThreadPoolTaskExecutor 通过实现Runnable和Callable接口实现一个线程任务，从而能放入Executor进行线程管理 其中，Callable可以理解为带有返回值的Runnable，并且Callable需要实现的方法不是run()而是call()，该方法返回一个泛型对象 当我们把一个需要返回值的线程任务放进线程池后，线程池会返回一个Future对象，借助该对象，我们可以调用get()方法获取线程的状态，调用get()会阻塞当前线程直到返回结果
2020-02-25鱼鱼
基于Consul的服务注册与发现
基于Consul的服务注册与发现注：文章基于Consul1.6.0版本，部分版本可能会有误差 本文中项目集成部分采用Java语言 consul官网，服务注册/发现是微服务架构中不可或缺的重要组件，起初服务都是单节点的甚至是单体服务，不保障高可用性，也不考虑服务的压力承载，服务之间调用单纯的通过接口访问（HttpClient/RestTemplate），直到后面出现了多个节点的分布式架构，起初的解决手段是在服务端负载均衡，同时在网关层收束接口，使不同的请求转发到对应不同端口上，这也是前后分离防止前端跨域的手段之一： 图中的B服务也可以是多节点，注册在nginx上面的 要命的是，nginx并不具有服务健康检查的功能，服务调用方在调用一个服务之前是无法知悉服务是否可用的，不考虑这一点分布式的架构高可用的目标就成了一个摆设，解决手段也很简单：对超时或是状态码异常的请求进行重试尝试，请求会被分发到其他可用节点，或者采用服务注册与发现机制察觉健康的服务
2020-01-10鱼鱼
ES快速入门(I)——分析分词器
ES快速入门(I)——分析分词器本文旨在快速入门Elasticsearch的分词，包括分词分析器的创建和介绍对比等，请确保在阅读前已经搭建好完备的集群 文章基于es7.0+，与稍旧版本的主要区别是没有type 在讨论分词前，我们先看一下es整体创建倒排的分词过程： 我们常说的分词器指的其实是“分析器”analyzer，es将以上常用的逻辑封装起来成为analyzer，但是语义上的分词器是指上面的tokenizer 经过了三层处理后拿到了terms数组建立最终的倒排索引： character filter：一般不会用到这个filter，是在分词前对原有的文档字段内容做转换，例如去除html的标签提取出正文内容，按正则清除和替换某些内容，你可以指定及自定义0个到多个character filter，他们将共同存在，一个文本流在经过character filter处理后，依然是文本流；
![ES快速入门(I)——分析分词器]()
2020-09-01鱼鱼
Redis原理-源码解析：数据结构2 list
Redis原理-源码解析：数据结构2 list所有原理实现基于Redis版本6.0.9 Redis中的list采用的是链表，在开始前，我们先看看list的最基本指令实现 t-list.c 由此可知，Redis的List底层数据结构都是基于quickList的 这是list所依赖的数据结构： quicklist.h 我们注意到其是由quicklistNode所构成的链表，而其中的数据实则为zl(ziplist)或是bookmark，在大多时候quicklistNode都使用ziplist存储数据 在上文中lpush执行了一个插入方法quicklistPush，在quicklist.c中有他的实现： quicklist真正存储数据的结构是ziplist，所以倒不如说，在Redis中，list是一个由ziplist节点构成的链表
2020-11-28鱼鱼
算法：Trie(前缀树、字典树）
算法：Trie(前缀树、字典树）前缀树(Trie，又称字典树)是一种功能倾向性很强的数据结构，通过对词汇的前缀做数结构，很容易实现查询、前缀词推荐系统，例如，我们将如下多个单词放入树结构中： [apple,bat,bee,cat,cap,car]，最终生成的前缀树结构为 通过深度递归，我们很容易用较小的时间复杂度判断出符合前缀的单词在不在 假设Trie的字符集范围是固定的，并且范围不大，例如是上面的纯英文字符，假设忽略大小写总共为26个，可以选择使用桶结构进行存储，即每一个Node都是一个长度为26的bucket数组 这样看来，Trie的结构并不复杂，只通过循环不断提高深度进行遍历即可 假定字符集的范围是未知的，或者范围很大（比如中文汉字），就要放弃使用bucket结构，而是通过一个Map维护，这里使用树结构TreeMap，key为相应节点的字符
2021-01-19鱼鱼
