分布式系统中的一致性算法和问题解决

分布式系统中的一致性算法和问题解决在撰写脑裂问题相关的博客时发现脑裂问题的产生原因在不同算法下的分布式系统各不相同，需要先大致了解一致性算法并针对性的解决 市面上有很多开源的分布式系统，他们的数据一致性算法不尽相同，例如k-v系统的祖师爷——zookeeper采用的是ZAB的算法，而最近流行的Consul是raft算法，不同数据中心server沟通的方式则是gossip协议 不同的协议和方式对选举和数据同步有不同的处理机制，利用这篇文章来对比常见的分布式一致性算法 一个系统可能会使用多个不同的一致性算法，以便于在不同的业务环节上有着各自更贴切的处理 ps：有种观点是一致性算法不是很准确，因为replica也能保证数据某种程度上具有一致性，有人称之为共识算法
2021-03-13鱼鱼

PyCharm与python快速开发

PyCharm与python快速开发Python语言作为“胶水语言”，简单易学，开发周期快，功能和扩展性强大，类库丰富 只依赖一门Java并不适用于所有情况，譬如快速开发一次性脚本(修复数据)，通过使用Python效率更高，本篇文章旨在介绍本人快速入门Python的一些tips 注意，一些Python的基本语法在此不予介绍，推荐前往廖雪峰的博客查看，博客基于Python3.8版本 关于编译器等配置内容参考PyCharm帮助文档 从Python官网下载Python并安装，配置环境变量，安装PyCharm（这里 我们使用它作为IDE），这里略过 pip是python的包管理与安装工具，当你安装python后，pip也会随之被安装
2021-01-16鱼鱼

Kafka服务端集群原理

Kafka服务端集群原理kafka是家喻户晓的消息队列，也因“纯粹”而闻名（高性能高吞吐、扩展较少较为简单），此篇文章整理Kafka的基本架构，将按照Kafka的版本迭代分别展示架构的演进（截至版本3.0） 我们在这里暂且只讨论Kafka服务端，对于生产者和消费者的逻辑简单带过 扫盲一下Kafka的部分概念： Producer mq生产者通用叫法 作为消息的生产者，在生产完消息后需要将消息投送到指定的目的地（某个topic的某个partition） Producer可以根据指定选择partition的算法或者是随机方式来选择发布消息到哪个partition； Consumer mq生产者通用叫法 消息消费者，向Kafka broker读取消息的客户端;，负责订阅和消费消息
2022-03-10鱼鱼

JVM源码解析(2) ContextClassLoader与ClassUtil.forName()方法浅析

JVM源码解析(2) ContextClassLoader与ClassUtil.forName()方法浅析在Spring获取Context的源代码中，我们看到了对ClassUtil的方法调用，通过给定ClassName和ClassLoader进行Class的加载： ClassUtil.forName是仅供于Spring内部使用的获取Class对象的方法，来看一下源码： 首先 对于缓存的Class一块，在类的静态块中就能看出其逻辑： 在上面的resolvePrimitiveClassName方法中，先对长度做了一个判断，因为较长的packagename会影响执行的性能： 最终加载Class依旧是通过ClassLoader的，先来看一下获取ClassLoader的方法实现： 此处优先使用了ContextClassLoader作为 类加载器而非默认的AppClassLoader，在JVM源码解析 从 Launcher类浅谈ClassLoader中，提到了关于 类加载器的相关知识，使用ContextClassLoader是为了弥补双亲委派加载机制的对于自定义 类加载器的缺憾：那些自定义的 类加载器并没有机会上场，在使用了AppClassLoader后我们的自定义ClassLoader所加载的Class是无法被加载进去的，使用ContextClassLoader，我们可以在定义线程时，通过Thread的init方法(子线程调用，私有方法)或是setContextClassLoader直接指定使用自定义的ClassLoader
2020-08-16鱼鱼

数据库的并发、锁机制与MVCC

数据库的并发、锁机制与MVCC在日常开发中，经常遇到数据库进行高并发操作的情况，但是我们处理并发一般都只在代码范畴而并不处理具体的数据库操作，这是因为数据库对基本的数据库操作做了锁处理，让我们可以忽略这一层的并发问题 详细可以参考Mysql的官方文档 注意：这一篇博客是针对MySQL数据库，且实用默认的 引擎InnoDb，使用其他数据库可能存在略微的差异 MySQL默认的数据库引擎InnoDB中Autocommit值为0（即自动提交事务）执行SQL语句的时候，每一条SQL语句都是一条单独的事务，所以并不存在并发的问题，数据库的锁机制已经做了很好的处理 但是当我们开启事务时，若不加处理，可能会产生一系列并发带来的问题
2021-01-24鱼鱼

Spring MVC源码和设计思想序 综述

Spring MVC源码和设计思想序 综述Spring框架整体的流程：（图片引用请注明出处）
2019-06-05鱼鱼

Spring MVC源码和设计思想2 HandlerMapping

Spring MVC源码和设计思想2 HandlerMapping系列传送门Spring MVC源码和设计思想1 DispatcherServlet-鱼鱼的博客 此篇篇幅很长，且慢慢道来 在之前一篇中，DispatchServlet的doDispatch()方法中有这么几行： 其中getHandler方法： handlerMappings是一个初始化过的List，通过它获取HandlerExecutionChain HandlerExecutionChain存储了一个Object（其实就是HandleAdapter）和一个拦截器(HandlerInterceptor)数组，在doDispatch方法中执行了applyPreHandle和applyPostHandle方法，方法就是分别迭代调用了拦截器数组的postHandle和preHandle，同样地，发生异常时的triggerAfterCompletion也映射到了afterCompletion方法
2019-06-12鱼鱼

数据库的瓶颈问题解决（主从分离）与多数据源切换

数据库的瓶颈问题解决（主从分离）与多数据源切换业务中，数据库的设计是极为重要的一环，在高并发的业务中，我们可以采用集群部署来缓解请求和逻辑处理的压力，但是在数据库的层面却不行，Oracle、Mysql等数据库的吞吐量很高，但是依旧有阈值，我们不能奢求单库能解决所有的问题，假设遇到了数据库的瓶颈问题，我们可以采用怎样的手段呢 想要数据库达到瓶颈（SQL执行效率明显变慢），其实是很困难的，我们在程序的设计中基本都会使用到数据库连接池控制数据连接，但当业务量提升之后，连接池若是经常达到饱和便容易产生阻塞，我们不得不开放更多的连接数，随之而来的便是数据库承载了更多的并发，解决问题的主要方式有三： 更细的划分业务逻辑，将高频业务表单独分离开来，并通过定期清理的方式减小查询的执行时间，将不同的数据库请求分发到不同服务器的不同库，可以一定程度下解决上文所述的问题，但是应以数据库的设计性为前提，绝对不能牺牲原有设计合理的数据结构将其进行拆分，得不偿失
2019-08-29鱼鱼

扫盲——加密那些事

扫盲——加密那些事扫盲加密解密算法 日常开发中我们经常接触MD5算法，以此进行简单的文件完整性校验或者是后台密码验证，MD5是最常见也是最简单快捷的散列算法，常用于参数或文件完整性校验，譬如网络请求发起方与接收方分别对参数做MD5编码，一旦不一致便判断请求被篡改从而拒绝该请求，从而保证信息安全，编码后的字符串是编码前文本的一个简要梗概，因此它也被称作是信息摘要算法 这个算法的特点就是不可逆，只用于信息准确性和防篡改的校验，当然，MD5作为老牌的散列算法，很多经典的编码已经可以被反向解码出来（依靠正向的暴力穷举）以及被碰撞模仿（王小云院士团队的"破解"能够根据MD5编码后串码模拟原始消息，即使它可能与原信息不同），类似的还有SHA1，因此衍生了SHA224、SHA256、SHA512等更多安全的散列算法
2021-05-14鱼鱼

JVM与GC

JVM与GCJMM，长下面这个样子： 其中，堆和栈区自然不做介绍了，主要介绍： 程序计数器：线程私有的，记录正在执行的字节码地址，换言之，它告诉我们某线程执行到了那里，分支、循环等也会依赖这个来执行，这一区域不会发生OOM问题 栈：就是正常所指的栈，每个方法被执行的时候都会同时创建一个栈帧（Stack Frame ）用于存储局部变量表、操作栈、动态链接、方法出口等信息 每一个方法被调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程，这一区域会发生StackOverflow问题 堆：就是正常所指的堆，这里是GC的主要区域 方法区：线程私有的，是各个线程共享的内存区域，它用于存储已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据，运行时常量池也包含在里面
2019-03-28鱼鱼

Consul API文档

Consul API文档这是一个记录Consul 常用API的文档，因为Consul的跨语言性，所以http API在Consul中尤为重要，此文档基于Consul版本1.6.0的v1 API，有其他的变化请参阅Consul官方API文档 Consul API采用经典的rest图谱Consul API版本只有一个版本，所以所有的前缀都为 /v1/，返回值以Json格式传输，可以添加pretty参数格式化Json，以本地部署为例，整体的baseUrl为127.0.0.1:8500/v1/ 获取代理成员列表和基本信息，类似于指令'consul members' 开启维护模式后，该代理节点将会被标注为不可用，可以用于上线前临时屏蔽node的服务
2019-12-01鱼鱼

tips

tips一些小tip： 向上转型，失去特征 定义相同对象，重写hash和（不是或）equal Vue.nextTick() 回调函数：在Vue（重新）渲染页面之后调用 vue绑定样式，我们会发现background-color 不能直接绑定 需写为backgroundColor 因为js中不允许出现‘-’ 存库之前，mysql会把换行符什么的过滤掉，使得出入不一致（应用场景：textarea存）解决：this.value.replace(/\n|\r\n/g,"
") linux下的mysql的表名是区分大小写的！ 实现线程接口 Runnable 注解注入失败 注解注入失败 Linux下缺少部分字体，使用drawString会出问题(二维码模块)，解决手段：从windows引入字体，因为不是什么主流问题所以就简单写一下，如果再碰到相关问题在详细的讲述一下
2019-05-08鱼鱼

网站地图

首页 博客 {{screen}} 第 {{page}} 页

{{blog.title}}

{{blog.content}}

{{blog.createDate}} ◔ {{blog.timeline}} {{blog.author}} {{tag}}

{{blog.likeCount}}{{blog.commentCount}}

分类下暂时没有文章哦！

主题分类

源码解析

造个轮子吧

多线程应用提高

问题探究

来做几道算法题

微服务架构实战

QuickStart

电子出版物

Java排坑指南

做点有趣的！

瞧瞧看看MySQL

{{taggroup.label}} 

{{tag.value}}