浅谈锁机制、主流锁设计方案
浅谈锁机制、主流锁设计方案本文旨在探讨通用的锁机制实现逻辑，以Java中常见的锁实现为例 本文提到的锁，是指通过限制并发/并行访问所添加的安全措施，本质上是通过限制线程/进程同时更改数据或是读取数据与写入数据产生时序差从而造成数据问题 锁机制中，有一些常见特性： 可重入性 指同一线程/进程携带相同的标识可以反复多次加锁，每次加锁和释放锁对应的重入次数+1/-1； 读写锁/独享共享 是锁的不同运作模式，分为读写锁，读锁与写锁、写锁与写锁是互斥的，但多个线程/进程可以同时对一个逻辑添加读锁，独享共享是另一种叫法 公平性 锁分为 公平锁和非 公平锁， 公平锁指锁释放和获取的顺序严格按照索取的顺序，非 公平锁则是等待锁的对象共同进行锁释放机会的争抢
![浅谈锁机制、主流锁设计方案]()
2024-10-15鱼鱼
分布式系统中的一致性算法和问题解决
分布式系统中的一致性算法和问题解决在撰写脑裂问题相关的博客时发现脑裂问题的产生原因在不同算法下的分布式系统各不相同，需要先大致了解一致性算法并针对性的解决 市面上有很多开源的分布式系统，他们的数据一致性算法不尽相同，例如k-v系统的祖师爷——zookeeper采用的是ZAB的算法，而最近流行的Consul是raft算法，不同数据中心server沟通的方式则是gossip协议 不同的协议和方式对选举和数据同步有不同的处理机制，利用这篇文章来对比常见的分布式一致性算法 一个系统可能会使用多个不同的一致性算法，以便于在不同的业务环节上有着各自更贴切的处理 ps：有种观点是一致性算法不是很准确，因为replica也能保证数据某种程度上具有一致性，有人称之为共识算法
2021-03-13鱼鱼
Redis原理-源码解析：数据结构1 字符串操作&SDS及预分配的实现验证
Redis原理-源码解析：数据结构1 字符串操作&SDS及预分配的实现验证所有原理实现基于Redis版本6.0.9 SDS(Simple Dynamic String)简单动态字符串，是Redis中字符串所采取的数据结构，SDS并不是Redis的独创，只是被Redis采纳的一种数据结构，用以替换C语言原生的字符串类型：sds仓库传送门 使用方法与原生的C语言字符串类似，并能提供很多类似的API SDS经过了两个版本，目前的解析大都基于v1 v1版本的sds数据结构很简单： 比起C语言中单一的字符数组构成的字符串，sds具有以下优势： 存储了字符串长度，相比C语言遍历获取长度，将时间复杂度由O(n)变为O(1); 当SDS每次发生修改时，会为其分配冗余空间，在字符串空间小于1MB时，每次分配实际长度2倍的空间，而在大于1MB时则是分配多1MB的空间，是在空间不足时才会触发分配
2020-11-16鱼鱼
Linux常见指令集和使用技巧（持续更新）
Linux常见指令集和使用技巧（持续更新）目前是一步一步记录用到了的Linux指令 | 管道，将符号前的指令输出作为符号后的指令输入 > 将正常输出重定向(比如指令打印内容输出到文件) >> 将正常输出追加重定向（区别与上面的覆盖，这个指令对于已经存在的文件会追加内容） & 后台执行 && 前面的指令执行完毕才执行后面的指令 || 前面的指令执行出错才执行后面的指令 ls 显示目录下的文件目录或者列出文件信息 ll 属于ls，列出目录下的所有文件信息 cd 进入目录 pwd 显示当前目录的绝对路径 mkdir 创建目录 rm 删除目录（慎） mv 移动目录 即文件的打包安装，对于不同的Linux系统使用的工具有所不同，此处使用ubuntu系统，利用apt工具进行打包
2019-09-09鱼鱼
[Quick Start]使用RedisTemplate操作Redis
[Quick Start]使用RedisTemplate操作RedisRedisTemplate现在作为使用率最高的redis三方类库，隶属Spring技术栈，此篇文章意在指引RedisTemplate的快速上手 在实践前，请确保已经有一个可连接的Redis服务 Redis有五大基本数据类型：string、hash、list、set和zset string即是最单纯的k-v存储方式，使用set、get等指令 hash是哈希表的存储方式，比较适合用来存储对象，每一条value相当于Java的一个Map，使用hmset、hget等指令 list是简单的有序列表，每一条value相当于Java的一个List，使用lpush、lpop、rpush、rpop等指令
![[Quick Start]使用RedisTemplate操作Redis](/blog_cover/20200220/cdd943f261664778a1c746b93930db3a.png)
2020-02-23鱼鱼
IO与NIO
IO与NIO我们都知道IO流传输，其实IO模型有很多，例如BIO、NIO、AIO等，传统的IO都是同步的 IO为各种流操作 IO操作分类 I IO操作分类 II 其中，输入流可以为InputStream和Reader，分别为字节流和字符流，对应地，输出流为OutputStream和Writer，具体的使用在此不详述 NIO是IO模型中后推出的新IO模型 NIO并不一定是多线程的，但是NIO是多管道的，利用缓冲作为中间介质进行数据传输，运用的其实是多路复用技术，它恰恰是通过减少线程数量从而减少上下文的频繁切换，提高性能 Channel：通道，相当于一个连接，不能直接输出数据，只能与Buffer交换数据
2019-05-11鱼鱼
算法：广度优先搜索（BFS）（最短路径）
算法：广度优先搜索（BFS）（最短路径）我们先看一个案例： 遍历一个树结构，按层次输出树的节点内容，即：欲求 A B C D E F 实现方式便是从根节点（A）向下遍历，先获取A，其次是A的子节点B和C，其次是B的子节点D…… 这种遍历树结构或者图结构的方法被称作广度优先搜索（BFS），与之对应的先遍历到最下层子节点的是深度优先 BFS核心采用队列的数据结构，例如上面的树结构中，解法为： A进队列->A出队列 B、C进队列->B出队列 D进队列 ->C出队列 E、F进队列-> D、E、F出队列 如果想要区分层次边缘，使用count参数即可 解法步骤（蓝色部分为已经处理完的节点）：
2020-06-05鱼鱼
Redis原理-源码解析：数据结构2 list
Redis原理-源码解析：数据结构2 list所有原理实现基于Redis版本6.0.9 Redis中的list采用的是链表，在开始前，我们先看看list的最基本指令实现 t-list.c 由此可知，Redis的List底层数据结构都是基于quickList的 这是list所依赖的数据结构： quicklist.h 我们注意到其是由quicklistNode所构成的链表，而其中的数据实则为zl(ziplist)或是bookmark，在大多时候quicklistNode都使用ziplist存储数据 在上文中lpush执行了一个插入方法quicklistPush，在quicklist.c中有他的实现： quicklist真正存储数据的结构是ziplist，所以倒不如说，在Redis中，list是一个由ziplist节点构成的链表
2020-11-28鱼鱼
盘点redis中特殊的数据类型 HyperLogLog Bitmap
盘点redis中特殊的数据类型 HyperLogLog Bitmap 基数计数(cardinality counting)通常用来统计一个集合中不重复的元素个数，例如统计某个网站的UV，或者用户搜索网站的关键词数量 数据分析、网络监控及数据库优化等领域都会涉及到基数计数的需求 要实现基数计数，最简单的做法是记录集合中所有不重复的元素集合S_uSu，当新来一个元素x_ixi，若S_uSu中不包含元素x_ixi，则将x_ixi加入S_uSu，否则不加入，计数值就是S_uSu的元素数量 这种做法存在两个问题： 当统计的数据量变大时，相应的存储内存也会线性增长 当集合S_uSu变大，判断其是否包含新加入元素x_ixi的成本变大 大数据量背景下，要实现基数计数，首先需要确定存储统计数据的方案，以及如何根据存储的数据计算基数值；另外还有一些场景下需要融合多个独立统计的基数值，例如对一个网站分别统计了三天的UV，现在需要知道这三天的UV总量是多少，怎么融合多个统计值
![盘点redis中特殊的数据类型 HyperLogLog Bitmap]()
2022-01-12鱼鱼
对多线程的执行效率探究——合理的任务并发拆分
对多线程的执行效率探究——合理的任务并发拆分通常，我们选择多线程执行任务有两个理由，一是复杂任务采用多线程处理能够在发生并发时让用户减少等待也能防止阻塞，一是充分利用空闲时间，提高任务处理的效率，就后者而言，此处探讨不考虑客户端并发是否有必要把一个任务拆分成多线程来处理 为了探究多线程的效率问题，我做了一个实验，将不同种类的任务分别用单线程和多线程执行，同时也试验了不同种类的锁机制 测试基于Java 8的版本，希望看到总结可以直接点击到文末 开启五个线程执行任务，设定了足够次数的循环输出，输出的数字和当前线程，利用System.currentTimeMillis()统计任务用时 (代码略)以下是相同任务在不同环境下执行多次的平均执行时间
2019-12-09鱼鱼
算法：递归
算法：递归递归算法主要寻找： 终止条件：递归的尽头 单级递归的行为：在一次递归里要做的事情 返回值：每次迭代要return的东西 例如 首先，假定方法是已经实现的 终止条件为：当当前节点(传了空节点)或下一节点（传了单节点）为空，则无需反转返回当前节点 递归行为：假定之后的节点均已实现反转，则需要将已经反转的尾部的next变为当前节点，而当前节点由于是第一个节点，其next为null 此处注意在反转前需要先留存反转后的尾部； 返回值：返回反转后的头结点
![算法：递归]()
2020-06-24鱼鱼
DDD领域下的架构模式——CQRS架构
DDD领域下的架构模式——CQRS架构//TODO
![DDD领域下的架构模式——CQRS架构]()
2021-06-24鱼鱼
