Mybatis的缓存机制、redis数据库缓存实现和相关问题
Mybatis的缓存机制、redis数据库缓存实现和相关问题高并发环境下，数据库要承受非常大的压力，我们不能奢求每一次都只依赖分布式结构的读写分离数据库来解决问题，所以引入了数据库缓存的概念，这里的缓存不是具体的memcache或是redis，可能只是一块内存区域 此文介绍Mybatis的缓存机制 SqlSession是Mybatis创建数据库链接的会话，当度使用Mybatis需要对SqlSesssion的生命周期有一个把控，但是在Spring的集成中这个会话会被自动创建，周期只是对应一个方法（例如Service层的一个方法），所以每个请求就会对应一个或是多个SqlSession，SQLSession的主要实现是其中的Exector，对应了三种策略：
2020-03-03鱼鱼
网络时延、异步IO、Pipeline
网络时延、异步IO、Pipeline通过使用多线程是能提高网络延迟带来的负面效应的，也就是在IO密集型的应用中（尤其是网络IO密集应用中），通过异步操作或能显著提高性能，本篇讨论相关问题 并不是异步（多线程）定能提高性能，有这种讨论也是发现经常有人会滥用多线程 通常会有一种说法：如果想要采用多线程的来执行一段任务，为了提高性能，假设服务器中有N个核心，推荐在CPU密集型的应用中启用N个线程，而在IO密集型的任务中启用2*N个线程 本人不是很认同此种说法，他只能代表一个大致的度量，在实际应用中几乎可以说完全不准确，一般来说，权衡系统资源与性能后，前者可能需要更少的线程数，而后者根据实际情况也许适宜分配更多的线程数 这个概念大家一般都不是很陌生，在此再次科普下：所谓IO密集型任务，即是任务的资源消耗多集中在系统IO上，这里的IO本来包括磁盘IO和网络IO等，但是磁盘IO涉及文件句柄操作等系统限制不在本篇讨论，所以此篇文章所提主要指网络IO，高网络IO也是绝大多数web应用的特性
2021-04-21鱼鱼
使用RPC与Restful接口调用服务
使用RPC与Restful接口调用服务在SOA和微服务架构中，远程通信是无法避免的，最常用的远程通信有两种方式： restful的接口，使用Http通信 使用dubbo或是Spring Cloud组件进行 RPC协议远程调用，可选地使用socket通信 不同的人对 RPC调用会有不同的看法，甚至对rpc本身的理解都不甚相同，但我认为 RPC有两种倾向： 一为语义化的 RPC 没有统一的请求规范，数据格式在开发人员中很难达成一致，在使用传统Http调用时，交互的双方需要约定一份“API文档”以保证数据格式的唯一性，这样API格式本身就成为了一道大墙，耽误研发双方的时间 但如果服务间采用语义化 RPC进行交互，双方可能并不需要一份文档，只要一份约定好的代码，并以此作为双方的依赖，在请求时也仅仅是直接调用方法本身，如此强的语义性怎能让人不爱
2021-01-13鱼鱼
多线程应用提高(IV) 线程安全的集合类
多线程应用提高(IV) 线程安全的集合类在Java中的数据结构一篇中，列举了Java中一些常见的集合，此文主要梳理线程安全的相关集合 我们知道，当一个实例对象只能被一个线程访问时（线程私有），无论如何都不会有线程安全的问题，但在多线程的情境下，多个线程操作同一个对象时，可能会出现更新丢失、读写数据不同步、计数击穿等现象，此时这种操作就是非线程安全的 相应地，线程安全的集合有这样的特点：在多个线程操作同一集合时，能保证每一步操作都是安全的，与串行执行的结果一致，不会出现数据不同步等预料之外的问题 可以先看这个小例子Java-lab/ListT.java at master · fishstormX/Java-lab，我在里面解释了
![多线程应用提高(IV) 线程安全的集合类]()
2019-07-13鱼鱼
阻塞队列与Protobuf的Udp通信 - 基于Cat的代理(Agent)项目拆解
阻塞队列与Protobuf的Udp通信 - 基于Cat的代理(Agent)项目拆解CAT是美团点评的一个基于Java开发的异常和性能监控项目，github地址：https://github.com/dianping/cat 本篇文章不是对CAT本身的源码拆解，而是基于本人依赖CAT client开发的代理项目进行拆解，但是并不会纰漏任何技术细节 CAT当前已有很多不同语言的Client，当然暂且是不 CAT本身是通过CAT client收集数据并上报至CAT server，server会进行并，共有六种常见数据格式：Transaction、Event、Problem、Metric、HeartBeat、调用链标记，其实如果不考虑复杂的处理（譬如Metric是可以基于指标生成折线图，Problem可以根据具体的异常类型追溯到相应的会话Track）除去Transaction剩余的数据格式都可以理解为特殊的Event
2020-07-19鱼鱼
DDD领域下的架构模式——CQRS架构
DDD领域下的架构模式——CQRS架构//TODO
![DDD领域下的架构模式——CQRS架构]()
2021-06-24鱼鱼
Java排坑指南(I)jmap jstack jstat等的使用
Java排坑指南(I)jmap jstack jstat等的使用运用一些Java自带的可执行jar可以从内存的角度更轻松的排除项目中的问题，我们可能会遇到一些不常见却相对很致命的问题，例如： 某些web项目CPU跑到了100%并且飙高不下（一般来说，web应用都为IO密集应用，不太可能出现cpu高占用的情况） 项目中线程出现阻滞、阻塞（网络请求响应速度明显变慢，甚至因为死锁彻底出现阻塞等） 极可能由内存泄漏引发的不明原因的 OOM（没有预兆的或是基础逻辑问题的内存溢出） 当以上问题发生时，通过代码或是日志其实很难定位到原因所在，因为这一般是基于环境或资源导致的全局性问题，通常很难定位，这时可以通过使用Java自带的性能调优jar包更便捷的定位问题（如果没有配置环境变量，可以在jdk的bin目录下找到他们的jar包）
2020-11-28鱼鱼
Consul API文档
Consul API文档这是一个记录Consul 常用API的文档，因为Consul的跨语言性，所以http API在Consul中尤为重要，此文档基于Consul版本1.6.0的v1 API，有其他的变化请参阅Consul官方API文档 Consul API采用经典的rest图谱Consul API版本只有一个版本，所以所有的前缀都为 /v1/，返回值以Json格式传输，可以添加pretty参数格式化Json，以本地部署为例，整体的baseUrl为127.0.0.1:8500/v1/ 获取代理成员列表和基本信息，类似于指令'consul members' 开启维护模式后，该代理节点将会被标注为不可用，可以用于上线前临时屏蔽node的服务
2019-12-01鱼鱼
ELK实战(Ⅰ) 基于ELK整合分布式业务日志
ELK实战(Ⅰ) 基于ELK整合分布式业务日志大多情况下，我们可能都习惯了使用linux指令查看日志，很多时候一句简简单单的tail、grep能定位绝大多数问题 但是面临复杂的目录结构和分布式系统产生的“分布式日志文件”，如果还要我们一个一个去查日志，就会耗费很多没必要的时间 可以利用ELK这套组件快速搭建一个日志系统 注意此文仅针对可能很多情况下格式不确定的业务日志，对于某些组件日志我们有更好的可视化实践方式，可以参考此系列的其他文章 对于一个日志系统，我们要确认我们的诉求，在不同的场景下采用不同的收集方式： 是否是分布式系统需要合并多个节点的日志 如果需要，则需要用分布式组件收集并合并日志，这也是一个日志系统最基本的要求；
2020-03-14鱼鱼
并发之AQS全解析
并发之AQS全解析我们知道juc(java.util.concurrent)包下有很多实用的类，提供了很多并发工具，例如线程池、原子类、并发工具、信号量工具、锁等，可以说基本实现都为悲观锁，底层原理基本都使用了AQS(AbstractQueuedSynchronizer)，AQS不是一种概念，是并发中实打实的工具类 本篇文章针对AQS做解析 AQS是多线程访问共享资源的同步器框架 AQS的资源可以是独占的也可以是共享的 我们先来简单看一下它的使用方式和ApI（因为是抽象类，是不能直接使用的）,下图是AQS的整体脉络 AQS核心就是一个状态值state，同时维护了一个线程的阻塞队列，队列的节点为有两种状态：SHARED(共享)和EXCLUSIVE(独占)，节点状态有五种：
![并发之AQS全解析]()
2021-03-12鱼鱼
数据库的瓶颈问题解决（主从分离）与多数据源切换
数据库的瓶颈问题解决（主从分离）与多数据源切换业务中，数据库的设计是极为重要的一环，在高并发的业务中，我们可以采用集群部署来缓解请求和逻辑处理的压力，但是在数据库的层面却不行，Oracle、Mysql等数据库的吞吐量很高，但是依旧有阈值，我们不能奢求单库能解决所有的问题，假设遇到了数据库的瓶颈问题，我们可以采用怎样的手段呢 想要数据库达到瓶颈（SQL执行效率明显变慢），其实是很困难的，我们在程序的设计中基本都会使用到数据库连接池控制数据连接，但当业务量提升之后，连接池若是经常达到饱和便容易产生阻塞，我们不得不开放更多的连接数，随之而来的便是数据库承载了更多的并发，解决问题的主要方式有三： 更细的划分业务逻辑，将高频业务表单独分离开来，并通过定期清理的方式减小查询的执行时间，将不同的数据库请求分发到不同服务器的不同库，可以一定程度下解决上文所述的问题，但是应以数据库的设计性为前提，绝对不能牺牲原有设计合理的数据结构将其进行拆分，得不偿失
2019-08-29鱼鱼
算法：动态规划解法及例题
算法：动态规划解法及例题经历过很多算法题，其中最常见的解题方法便是动态规划 动态规划（dynamic programming,即DP)，是一种常见的求解最优解的方案，他通过将复杂的问题拆分为单阶段的小问题求解，核心思想是递推，通过简单基础的解一步步接近最优解 对于一个算法问题，总有一个相对令人满意的解，但却不一定是我们想要的最优解，譬如在解决动态规划中最经典的背包问题时，有些人首先想到简单省心的贪心算法，取价值最高或是性价比最高的物品组合，这种方案得到的很有可能是最优解，但贪心的算法并不适用于动态规划领域，若是物品中恰好有能将背包塞得很满的组合，而采用贪心策略却浪费了很多背包空间 其实贪心策略本身更多也是一种“相对最优”的解决方案，而很少是真正的最优，这一点请务必斟酌
2020-03-11鱼鱼
