ELK实战(Ⅰ) 基于ELK整合分布式业务日志
ELK实战(Ⅰ) 基于ELK整合分布式业务日志大多情况下，我们可能都习惯了使用linux指令查看日志，很多时候一句简简单单的tail、grep能定位绝大多数问题 但是面临复杂的目录结构和分布式系统产生的“分布式日志文件”，如果还要我们一个一个去查日志，就会耗费很多没必要的时间 可以利用ELK这套组件快速搭建一个日志系统 注意此文仅针对可能很多情况下格式不确定的业务日志，对于某些组件日志我们有更好的可视化实践方式，可以参考此系列的其他文章 对于一个日志系统，我们要确认我们的诉求，在不同的场景下采用不同的收集方式： 是否是分布式系统需要合并多个节点的日志 如果需要，则需要用分布式组件收集并合并日志，这也是一个日志系统最基本的要求；
2020-03-14鱼鱼
有关Session的碎碎念-ban掉cookie之后
有关Session的碎碎念-ban掉cookie之后java web中， 用session来表示用户浏览器（客户端）与服务器建立的一次会话 通常用sessionId来标记一个session，在Java中，有很简单的方式直接获取sessionId； 但是sessionId并不是session的特性，实际上，sessionId是在客户端首次创建会话时将生成的sessionId存入cookie中，在之后的访问中直接读取这个id值 当客户端禁止了cookie行为后，SessionId在每次刷新页面时都会更新，利用id来表示会话也成为了妄想，此篇文章意在说明，如何操作能使SessionId能够独立于cookie使用 这种操作其实在shiro中已经被应用了，当我们进入登录页面中，url后会出现";jssionid=xxxxxx"，将sessionid显示的标注在url中,可以使用：
![有关Session的碎碎念-ban掉cookie之后]()
2019-03-08鱼鱼
Kafka服务端集群原理
Kafka服务端集群原理kafka是家喻户晓的消息队列，也因“纯粹”而闻名（高性能高吞吐、扩展较少较为简单），此篇文章整理Kafka的基本架构，将按照Kafka的版本迭代分别展示架构的演进（截至版本3.0） 我们在这里暂且只讨论Kafka服务端，对于生产者和消费者的逻辑简单带过 扫盲一下Kafka的部分概念： Producer mq生产者通用叫法 作为消息的生产者，在生产完消息后需要将消息投送到指定的目的地（某个topic的某个partition） Producer可以根据指定选择partition的算法或者是随机方式来选择发布消息到哪个partition； Consumer mq生产者通用叫法 消息消费者，向Kafka broker读取消息的客户端;，负责订阅和消费消息
2022-03-10鱼鱼
Spring MVC源码和设计思想1 DispatcherServlet
Spring MVC源码和设计思想1 DispatcherServlet此篇文章是个人通过阅览Spring MVC源码的学习过程记录，包含Spring MVC的关键细节源码设计和一些设计上的tips，更近似于一种意识流的记录方式，锚点设置可能也有些乱，零零散散的点我日后有时间会统一总结起来 Restful风格的Http有八种请求方式，除了最常使用的Get与Post还有Head、Put、Delete、Options、Trace、Connect 在Restful接口的设计中，请求方方式的语义性很强，我们时常用他约束接口请求的行为，请求类型的语义： OPTIONS获取服务器支持的HTTP请求方法； HEAD跟get很像，但是不返回响应体信息，用于检查对象是否存在，并获取包含在响应消息头中的信息
![Spring MVC源码和设计思想1 DispatcherServlet]()
2019-06-03鱼鱼
数据库的瓶颈问题解决（主从分离）与多数据源切换
数据库的瓶颈问题解决（主从分离）与多数据源切换业务中，数据库的设计是极为重要的一环，在高并发的业务中，我们可以采用集群部署来缓解请求和逻辑处理的压力，但是在数据库的层面却不行，Oracle、Mysql等数据库的吞吐量很高，但是依旧有阈值，我们不能奢求单库能解决所有的问题，假设遇到了数据库的瓶颈问题，我们可以采用怎样的手段呢 想要数据库达到瓶颈（SQL执行效率明显变慢），其实是很困难的，我们在程序的设计中基本都会使用到数据库连接池控制数据连接，但当业务量提升之后，连接池若是经常达到饱和便容易产生阻塞，我们不得不开放更多的连接数，随之而来的便是数据库承载了更多的并发，解决问题的主要方式有三： 更细的划分业务逻辑，将高频业务表单独分离开来，并通过定期清理的方式减小查询的执行时间，将不同的数据库请求分发到不同服务器的不同库，可以一定程度下解决上文所述的问题，但是应以数据库的设计性为前提，绝对不能牺牲原有设计合理的数据结构将其进行拆分，得不偿失
2019-08-29鱼鱼
[Quick Start]RedisTemplate的bean手动配置
[Quick Start]RedisTemplate的bean手动配置 有时我们可能需要手动配置Redis的连接，例如动态修改或是从特殊的参数中获取，而不是使用SpringBoot的自有配置，此篇文章意在快速指引redis的手动配置 基于Spring项目和Jedis的底层，使用RedisTemplate； 通过Maven引入相关依赖，可以的话spring-data-redis选择2.0.0以上版本，较低版本需要的依赖： 如果使用了Spring-boot并且要使用较高的版本（例如在2.1.0后才有的某些API-putIfAbsent带有超时时间的版本），我们直接修改starter的版本是不够的，二者版本并不对称，我们需要去掉其中的redis依赖并单独引入 建议保持良好的依赖管理习惯，显式的移除依赖，而不是任其覆盖，如：
![[Quick Start]RedisTemplate的bean手动配置](/blog_cover/20200220/bc7458d39b07471f8559d5469418133f.png)
2020-02-24鱼鱼
排坑指南-异步操作HttpServletRequest丢失Cookie
排坑指南-异步操作HttpServletRequest丢失Cookie遇到了一个很奇怪的bug：请求鉴权失败，因为通过Request对象获取到的Cookie中没有数据 经过debug调用request.getCookies()方法返回了null值，但是header属性的cookie却能拿到用户的有效cookie(request.getHeader("cookie"))，其中缘由，且慢慢道来 我们可以在web项目中通过Request对象很方便的获取Cookie对象： 但其内部实现其实有一层缓存逻辑，从名为"cookie"的请求头中读取并处理数据转为Cookie对象并不是个省时事，在org.apache.catalina.connector.Request类中可以看到如下代码实现：
2020-11-11鱼鱼
Redis原理-源码解析：数据结构3 hash
Redis原理-源码解析：数据结构3 hash 所有原理实现基于Redis版本6.0.9 hash在Redis中可以认为是套了一层的string，当然，对hash来说没有数字类型 让我们依旧通过基本命令看看hash的基本数据结构实现 在set方法中我们看到了hash的初始创建过程，一个hash最开始是zipist 想要了解ziplist可以看Redis原理-源码解析：数据结构2 list ，是为节省内存而生的链表格式 所以其实在使用ziplist时其查询的时间复杂度不是遵循hash的近似O(1)，而是O(n)，但是在数据量不大时，这种性能的损失微乎其微，并且能预见到大多数使用hash的场景都不会存储过多的字段 所以优先使用了更节省内存空间的ziplist
2020-11-29鱼鱼
Rocket MQ的基本应用
Rocket MQ的基本应用消息队列，常用于应用间通信 本篇文章基于RocketMQ官方文档 Topic：消息分类，依靠topic来定义消息类型 Tag：消息二级分类，可选，同个topic用不同的tag区分消息类别 Message : 泛指MQ所传送的消息体 Producer：消息生产者 Consumer：消息消费者 Name Server：有点类似于zookeeper，负责服务的注册与发现，维护Broker与Topic的映射关系 Broker：负责消息的存储与生产者消费者消息接收与分发，与Name Server建立长连接，保持心跳上传负责的topic信息 Producer：消息生产者，从Name Server获取Broker对应Topic映射关系，然后与Broker建立连接发送消息
2019-06-28鱼鱼
Java的socket通信
Java的socket通信网络编程中，会使用socket通信 TCP/IP协议，即Transmission Control Protocol/Internet Protocol，传输控制协议/网际协议，他使用TCP/IP四层模型（实际开发中只涉及到四层模型，软件范畴涉及不到OSI七层参考模型）： TCP是面向连接的通信协议，通过三次握手建立连接，通讯完成时要拆除连接，由于TCP是面向连接的所以只能用于端到端的通讯 具有高度的可靠性 三次握手，即通信时，客户端和服务端共计要传输三次包，三次握手建立连接： 1.主机（客户端）发送 SYN=1（建立连接标识）和seq=x（序号），客户端进入SYN_SEND状态，等待服务端确认
2019-03-27鱼鱼
过滤器、拦截器、监听器和AOP
过滤器、拦截器、监听器和AOP用这篇文章来梳理一下这些杂七杂八的Spring MVC中的基础概念，顺便讲一下在项目中的一些基本使用和常见应用（其实主要是针对AOP的），至于使用他们实现具体的功能，后续可能会独立写出来（谁知道呢） 执行的顺序： 项目初始化：filter:init()->filter:doFilter()->preHandle->Controller->postHandle->afterComplition ->destory() 过滤器（Filter），由servlet提供，拦截URL(其实是servlet)，经过代理，执行想要的方法，最基本的使用是集成Filter类并重写方法，因为是从url层面上直接拦截，可以有很多用途，比如用于用户身份校验，比如某些页面需要有用户权限才能访问，就可以利用过滤器进行拦截，一些安全框架的鉴权本身也是过滤器的实现
![过滤器、拦截器、监听器和AOP]()
2020-03-01鱼鱼
Elasticsearch 入门
Elasticsearch 入门(注：本篇文章基于Elasticsearch7.7.0版本，由于版本的差异性造成的内容不一致我会尽量在文中标出，但是) Elasticsearch是基于Lucene扩展的全文搜索引擎，当我们有对大数据量的处理和搜索时，全文搜索引擎是最佳的选择，同时他提供了高扩展性、高可用性、RestFul风格的API和友好的分布式部署配置，在此我们不予详述 我们日常使用的数据库索引是数据库一种编排数据（逻辑上）从而加快查询的手段，我们暂且将这种索引方式称为正排索引，他通过对待搜索字符寻址从而找到对应的数据 但是这种索引方式对于模糊匹配会出现"断档"现象（模糊符号后的片段无法走索引查找），并且对于海量数据无论在存储上还是在查找上都略显吃力，于是在Elasticsearch中引入了倒排索引来加快查询速度
2020-03-06鱼鱼
