Elasticsearch 入门
Elasticsearch 入门(注：本篇文章基于Elasticsearch7.7.0版本，由于版本的差异性造成的内容不一致我会尽量在文中标出，但是) Elasticsearch是基于Lucene扩展的全文搜索引擎，当我们有对大数据量的处理和搜索时，全文搜索引擎是最佳的选择，同时他提供了高扩展性、高可用性、RestFul风格的API和友好的分布式部署配置，在此我们不予详述 我们日常使用的数据库索引是数据库一种编排数据（逻辑上）从而加快查询的手段，我们暂且将这种索引方式称为正排索引，他通过对待搜索字符寻址从而找到对应的数据 但是这种索引方式对于模糊匹配会出现"断档"现象（模糊符号后的片段无法走索引查找），并且对于海量数据无论在存储上还是在查找上都略显吃力，于是在Elasticsearch中引入了倒排索引来加快查询速度
2020-03-06鱼鱼
ELK全家桶基本使用（I）文件收集Filebeat
ELK全家桶基本使用（I）文件收集FilebeatFilebeat是Elastic中的轻量文件收集系统，相比于功能更强悍的Logstash，当我们需求很单一，读取文件内容且对文件内容没有过多复杂处理时，最好使用FileBeat取代Logstash，以免造成不必要的内存开销 文档链接 Filebeat负责收集文件并发送给下游服务 核心行为包含输入、处理过滤和输出 当然也有集成好配置的模块，通过模块与Es和Kibana链接可以直接在Kibana上看到组件的可视化 同时不难看出Filebeat其实对数据库的支持不是很健壮 截止7.6版本，开源的Filebeat可支持以下几种消息输入类型： log 用得最多的输入类型； stdin 标准的输入，从process或是piepline读取（可理解为脚本运行通道直接输入），一旦配置了这种input方式，其他 input将不再生效文档地址；
2020-03-16鱼鱼
盘点redis中特殊的数据类型 HyperLogLog Bitmap
盘点redis中特殊的数据类型 HyperLogLog Bitmap 基数计数(cardinality counting)通常用来统计一个集合中不重复的元素个数，例如统计某个网站的UV，或者用户搜索网站的关键词数量 数据分析、网络监控及数据库优化等领域都会涉及到基数计数的需求 要实现基数计数，最简单的做法是记录集合中所有不重复的元素集合S_uSu，当新来一个元素x_ixi，若S_uSu中不包含元素x_ixi，则将x_ixi加入S_uSu，否则不加入，计数值就是S_uSu的元素数量 这种做法存在两个问题： 当统计的数据量变大时，相应的存储内存也会线性增长 当集合S_uSu变大，判断其是否包含新加入元素x_ixi的成本变大 大数据量背景下，要实现基数计数，首先需要确定存储统计数据的方案，以及如何根据存储的数据计算基数值；另外还有一些场景下需要融合多个独立统计的基数值，例如对一个网站分别统计了三天的UV，现在需要知道这三天的UV总量是多少，怎么融合多个统计值
![盘点redis中特殊的数据类型 HyperLogLog Bitmap]()
2022-01-12鱼鱼
造轮子0 浅谈设计模式
造轮子0 浅谈设计模式语义化接口的使用，譬如Aware等接口完全是语义性接口，不定义任何方法，只是用来约束一类行为 在Spring框架中有很多类似的接口 Wrapper，包装 ，相当于一个装饰器 XxxAware类表示在Spring中可感知，一般是类中需要用到Spring相关的对象时使用的 例如继承ApplicationContextAware接口后，实现setApplicationContext(ApplicationContext applicationContext)便会获得这个对象，与之对应的是XxxCapable类，继承他的类要负责实现相关的方get法负责生成Spring需要的对象
![造轮子0 浅谈设计模式]()
2019-05-26鱼鱼
造轮子1 注解管理
造轮子1 注解管理使用public @interface xxx{}可以自定义一个注解，在注解上面定义的注解叫做元注解 以下代码取自开源API文档生成项目Swagger： 在注解中也可以使用注解，我们称这些注解为元注解，上面代码中使用了一些比较常见的元注解 @Target({ElementType.TYPE})用于定义注解的使用范围，常见的包含 TYPE：类、接口、枚举 FIELD：字段声明 METHOD：方法声明 PARAMTER：参数声明 CONSTRUACTOR：构造函数声明 LOCAL_VARIABLE：局部变量声明 ANNOTATION_TYPE：其他注解声明 PACKAGE：包声明（代码中的第一行 声明package的时候）
![造轮子1 注解管理]()
2019-05-25鱼鱼
分布式系统中的一致性算法和问题解决
分布式系统中的一致性算法和问题解决在撰写脑裂问题相关的博客时发现脑裂问题的产生原因在不同算法下的分布式系统各不相同，需要先大致了解一致性算法并针对性的解决 市面上有很多开源的分布式系统，他们的数据一致性算法不尽相同，例如k-v系统的祖师爷——zookeeper采用的是ZAB的算法，而最近流行的Consul是raft算法，不同数据中心server沟通的方式则是gossip协议 不同的协议和方式对选举和数据同步有不同的处理机制，利用这篇文章来对比常见的分布式一致性算法 一个系统可能会使用多个不同的一致性算法，以便于在不同的业务环节上有着各自更贴切的处理 ps：有种观点是一致性算法不是很准确，因为replica也能保证数据某种程度上具有一致性，有人称之为共识算法
2021-03-13鱼鱼
浅谈锁机制、主流锁设计方案
浅谈锁机制、主流锁设计方案本文旨在探讨通用的锁机制实现逻辑，以Java中常见的锁实现为例 本文提到的锁，是指通过限制并发/并行访问所添加的安全措施，本质上是通过限制线程/进程同时更改数据或是读取数据与写入数据产生时序差从而造成数据问题 锁机制中，有一些常见特性： 可重入性 指同一线程/进程携带相同的标识可以反复多次加锁，每次加锁和释放锁对应的重入次数+1/-1； 读写锁/独享共享 是锁的不同运作模式，分为读写锁，读锁与写锁、写锁与写锁是互斥的，但多个线程/进程可以同时对一个逻辑添加读锁，独享共享是另一种叫法 公平性 锁分为 公平锁和非 公平锁， 公平锁指锁释放和获取的顺序严格按照索取的顺序，非 公平锁则是等待锁的对象共同进行锁释放机会的争抢
![浅谈锁机制、主流锁设计方案]()
2024-10-15鱼鱼
什么是web服务器？什么是web应用服务器？容器、以及服务器概念的区分（萌新向）
什么是web服务器？什么是web应用服务器？容器、以及服务器概念的区分（萌新向）本文主要是为了帮助萌新理解在web开发时遇到的关于web工作原理的疑问，由于本人水平十分有限，所以本文仅作为一般性参考，如有错误，欢迎批评指正OVO 首先说明的是，我们所谓的web服务器并不是物理上的服务器，而是建立在物理服务器上的一个web应用的运行环境，是一个软件服务器 这就好比前后端分离开发时，后端模块在物理服务器上的JVM，前端也需要一个“运行环境”进行工作，那么web服务器端概念就应运而生了，大概就好比下图 上图中拥有VUE经典的原谅色的web服务器就是我们前端运行的地方，可见web服务器的主要作用是给前端一个合理的运行环境，其实不只是看起来那么简单，web服务器还要处理代理、反向代理、跨域、并支持并发等等
2019-06-16Agostino
CAT的使用和原理简介
CAT的使用和原理简介开发中刚好碰到了CAT的应用，利用这篇文章总结一下
![CAT的使用和原理简介]()
2019-08-07鱼鱼
Redis原理-源码解析：数据结构1 字符串操作&SDS及预分配的实现验证
Redis原理-源码解析：数据结构1 字符串操作&SDS及预分配的实现验证所有原理实现基于Redis版本6.0.9 SDS(Simple Dynamic String)简单动态字符串，是Redis中字符串所采取的数据结构，SDS并不是Redis的独创，只是被Redis采纳的一种数据结构，用以替换C语言原生的字符串类型：sds仓库传送门 使用方法与原生的C语言字符串类似，并能提供很多类似的API SDS经过了两个版本，目前的解析大都基于v1 v1版本的sds数据结构很简单： 比起C语言中单一的字符数组构成的字符串，sds具有以下优势： 存储了字符串长度，相比C语言遍历获取长度，将时间复杂度由O(n)变为O(1); 当SDS每次发生修改时，会为其分配冗余空间，在字符串空间小于1MB时，每次分配实际长度2倍的空间，而在大于1MB时则是分配多1MB的空间，是在空间不足时才会触发分配
2020-11-16鱼鱼
kasper的算法（从0到1）
kasper的算法（从0到1）https://javaguide.cn/cs-basics/data-structure/linear-data-structure.html https://javaguide.cn/cs-basics/algorithms/linkedlist-algorithm-problems.html 项目地址：https://github.com/labuladong/fucking-algorithm 在线文档地址：https://labuladong.gitee.io/algo/home/ http://fishmaple.cn/blog/topicBlog?topicId=7
![kasper的算法（从0到1）]()
2023-10-23kasper
数据库的瓶颈问题解决（主从分离）与多数据源切换
数据库的瓶颈问题解决（主从分离）与多数据源切换业务中，数据库的设计是极为重要的一环，在高并发的业务中，我们可以采用集群部署来缓解请求和逻辑处理的压力，但是在数据库的层面却不行，Oracle、Mysql等数据库的吞吐量很高，但是依旧有阈值，我们不能奢求单库能解决所有的问题，假设遇到了数据库的瓶颈问题，我们可以采用怎样的手段呢 想要数据库达到瓶颈（SQL执行效率明显变慢），其实是很困难的，我们在程序的设计中基本都会使用到数据库连接池控制数据连接，但当业务量提升之后，连接池若是经常达到饱和便容易产生阻塞，我们不得不开放更多的连接数，随之而来的便是数据库承载了更多的并发，解决问题的主要方式有三： 更细的划分业务逻辑，将高频业务表单独分离开来，并通过定期清理的方式减小查询的执行时间，将不同的数据库请求分发到不同服务器的不同库，可以一定程度下解决上文所述的问题，但是应以数据库的设计性为前提，绝对不能牺牲原有设计合理的数据结构将其进行拆分，得不偿失
2019-08-29鱼鱼
