扫盲——加密那些事
扫盲——加密那些事扫盲加密解密算法 日常开发中我们经常接触MD5算法，以此进行简单的文件完整性校验或者是后台密码验证，MD5是最常见也是最简单快捷的散列算法，常用于参数或文件完整性校验，譬如网络请求发起方与接收方分别对参数做MD5编码，一旦不一致便判断请求被篡改从而拒绝该请求，从而保证信息安全，编码后的字符串是编码前文本的一个简要梗概，因此它也被称作是信息摘要算法 这个算法的特点就是不可逆，只用于信息准确性和防篡改的校验，当然，MD5作为老牌的散列算法，很多经典的编码已经可以被反向解码出来（依靠正向的暴力穷举）以及被碰撞模仿（王小云院士团队的"破解"能够根据MD5编码后串码模拟原始消息，即使它可能与原信息不同），类似的还有SHA1，因此衍生了SHA224、SHA256、SHA512等更多安全的散列算法
2021-05-14鱼鱼
ELK实战(Ⅰ) 基于ELK整合分布式业务日志
ELK实战(Ⅰ) 基于ELK整合分布式业务日志大多情况下，我们可能都习惯了使用linux指令查看日志，很多时候一句简简单单的tail、grep能定位绝大多数问题 但是面临复杂的目录结构和分布式系统产生的“分布式日志文件”，如果还要我们一个一个去查日志，就会耗费很多没必要的时间 可以利用ELK这套组件快速搭建一个日志系统 注意此文仅针对可能很多情况下格式不确定的业务日志，对于某些组件日志我们有更好的可视化实践方式，可以参考此系列的其他文章 对于一个日志系统，我们要确认我们的诉求，在不同的场景下采用不同的收集方式： 是否是分布式系统需要合并多个节点的日志 如果需要，则需要用分布式组件收集并合并日志，这也是一个日志系统最基本的要求；
2020-03-14鱼鱼
多线程应用提高(III) 并发编程的艺术
多线程应用提高(III) 并发编程的艺术《并发编程的艺术》p36：JMM不保证64位的long型和double型变量的写操作具有原子性 面试中可能经常会被问到HashMap和HashTable的区别，其中最重要的就是前者并不是线程安全的，但其实在高并发的情形下，后者的效率低的不像话甚至不可用，所以在jdk7之后出现了线程高效且安全的ConcurrentHashMap 当并发严重时，某线程若是调用了同步方法，另外的线程将进入阻塞/轮询状态，既不能put也不能get，但ConcurrentHashMap是不同的，它采用了锁的分段技术，将数据分段存储，不同的数据持有不同的锁，这样可用性会大大高于HashTable，所以在实际开发中我们都用ConcurrentHashMap取代HashTable
![多线程应用提高(III) 并发编程的艺术]()
2019-06-18鱼鱼
造轮子2 灵活运用反射
造轮子2 灵活运用反射//TODO
![造轮子2 灵活运用反射]()
2019-05-25鱼鱼
Spring源码解析(3) IoC容器配置读取和容器refresh
Spring源码解析(3) IoC容器配置读取和容器refresh在文章Spring源码解析(I) 基于SSM看Spring的使用和Spring启动监听中，讲述了web容器启动后会触发的方法实现中生成Context的部分，回顾下核心方法： 我们已经分析到了0.处，他对我们生成的容器做了一个判断，对于web.xml监听初始化的Context，其生成的WebApplicationContext都是ConfigurableWebApplicationContext的子类，所以必然会进入if分支 首先通过loadParentContext先加载了父容器，默认是null 然后调用了configureAndRefreshWebApplicationContext方法进行初始化和配置项的读取
2020-08-09鱼鱼
IO与NIO
IO与NIO我们都知道IO流传输，其实IO模型有很多，例如BIO、NIO、AIO等，传统的IO都是同步的 IO为各种流操作 IO操作分类 I IO操作分类 II 其中，输入流可以为InputStream和Reader，分别为字节流和字符流，对应地，输出流为OutputStream和Writer，具体的使用在此不详述 NIO是IO模型中后推出的新IO模型 NIO并不一定是多线程的，但是NIO是多管道的，利用缓冲作为中间介质进行数据传输，运用的其实是多路复用技术，它恰恰是通过减少线程数量从而减少上下文的频繁切换，提高性能 Channel：通道，相当于一个连接，不能直接输出数据，只能与Buffer交换数据
2019-05-11鱼鱼
分布式系统一致性的分类
分布式系统一致性的分类在分布式系统中的CAP理论中有C(一致性)，大郅表示分布式系统中节点状态或数据具有一致的特性 但一致性有着不同的分类，例如常见的用于取代CAP理论的BASE中的E，最终一致性，不同于强一致性，他强调着事务最终状态趋于一致，但中间态可能不一致，利用此篇文章总结一下分布式系统的一致性分类 根据实际系统的要求，分布式系统的一致性可以大致分为四类： 严格一致性 强一致性（线性一致/原子一致） 顺序一致性 弱一致性（最终一致性） 一个理想概念上的一致性，节点间数据完全一致，对外可表现为单个节点 由于网络延迟和通信等因素的存在，现实中这种一致性不可能存在 强一致性要求在全局时钟相同的条件下，对任何节点的读都相同且等于最后一次写成功的数据，这也就意味着仅仅在所有节点同步到数据后才会被标记为同步成功
2021-03-13鱼鱼
Redis原理-源码解析：数据结构3 sorted set(zset))
Redis原理-源码解析：数据结构3 sorted set(zset))Redis的set数据结构在此不多讲，同Java中原理一样，set也可以理解为是hash剥离了value的数据结构，即同为dic 但是zset（有序集合）其实在底层原理上完全不同于set 所有原理实现基于Redis版本6.0.9 先看一下基本的指令实现，着重注意中文注解的地方 t_zset.c 可以看出zset的数据结构不是固定的，在其元素数或是元素的字符串过长时，其结构为zset；否则使用ziplist数据结构（像hash一样为了节省空间），二者的创建方法如下： ziplist的代码和原理可以参考我的博客Redis原理-源码解析：数据结构2 list-鱼鱼的Java小站，就是一个节省内存的压缩的链表结构
2021-02-28鱼鱼
算法：Trie(前缀树、字典树）
算法：Trie(前缀树、字典树）前缀树(Trie，又称字典树)是一种功能倾向性很强的数据结构，通过对词汇的前缀做数结构，很容易实现查询、前缀词推荐系统，例如，我们将如下多个单词放入树结构中： [apple,bat,bee,cat,cap,car]，最终生成的前缀树结构为 通过深度递归，我们很容易用较小的时间复杂度判断出符合前缀的单词在不在 假设Trie的字符集范围是固定的，并且范围不大，例如是上面的纯英文字符，假设忽略大小写总共为26个，可以选择使用桶结构进行存储，即每一个Node都是一个长度为26的bucket数组 这样看来，Trie的结构并不复杂，只通过循环不断提高深度进行遍历即可 假定字符集的范围是未知的，或者范围很大（比如中文汉字），就要放弃使用bucket结构，而是通过一个Map维护，这里使用树结构TreeMap，key为相应节点的字符
2021-01-19鱼鱼
IO多路复用模型：select、poll、epoll对比
IO多路复用模型：select、poll、epoll对比我们平时提到的I/O几乎都是同步 阻塞模型，譬如网络请求的socket IO，在数据返回前，相应的线程或是进程将会一直 阻塞直到数据返回，比较直接的处理便是针对IO流一对一的监听，但在IO返回前，相应的系统资源会平白无故的浪费，这种处理方式会大大降低服务器的吞吐 如果我们用很少的线程来监听这些IO，就能实现对系统资源的更好利用，在相应的socket有数据返回时才去读取数据 这种方式被称作IO多路复用，在Linux系统中，实现IO多路复用的方式（从古老到新）有select、poll和epoll 现在很多中间件都使用epoll IO多路复用模型才因此有着很高的性能和吞吐 此处简单描述三种方式的实现和区别
2020-08-11鱼鱼
mysql orderby排序
mysql orderby排序where 字段和orderby字段组成一个联合索引，这个样一个普通业务的order只需要通过这个索引就能确定排序顺序，不需要额外的临时表来计算字段的排序 可以通过配置max_length_for_sort_data改变mysql判断采取方式 全字段排序 将命中的行的所有要查询的结果集都放到排序的临时表内，排序后将数据结果集返回 rowid 排序 将命中的行的排序字段和主键id放到临时表内排序，再根据排序后的主键id进行一次回表查询 虽然有联合索引，但是当where的条件不止一个时候，order by就会失效，可以采取多次查询结果，然后在服务中排序的方式来解决问题
2020-05-17yangwcn
多线程应用提高(II) 线程池
多线程应用提高(II) 线程池项目中，当发生并行操作时，一般都会用到线程池处理多线程任务，线程池的规则类似于数据库连接池，在此不予赘述 jdk自带线程池，此处主要讲述Spring框架自带的线程池ThreadPoolTaskExecutor 通过实现Runnable和Callable接口实现一个线程任务，从而能放入Executor进行线程管理 其中，Callable可以理解为带有返回值的Runnable，并且Callable需要实现的方法不是run()而是call()，该方法返回一个泛型对象 当我们把一个需要返回值的线程任务放进线程池后，线程池会返回一个Future对象，借助该对象，我们可以调用get()方法获取线程的状态，调用get()会阻塞当前线程直到返回结果
2020-02-25鱼鱼
