盘点redis中特殊的数据类型 HyperLogLog Bitmap

盘点redis中特殊的数据类型 HyperLogLog Bitmap 基数计数(cardinality counting)通常用来统计一个集合中不重复的元素个数，例如统计某个网站的UV，或者用户搜索网站的关键词数量 数据分析、网络监控及数据库优化等领域都会涉及到基数计数的需求 要实现基数计数，最简单的做法是记录集合中所有不重复的元素集合S_uSu，当新来一个元素x_ixi，若S_uSu中不包含元素x_ixi，则将x_ixi加入S_uSu，否则不加入，计数值就是S_uSu的元素数量 这种做法存在两个问题： 当统计的数据量变大时，相应的存储内存也会线性增长 当集合S_uSu变大，判断其是否包含新加入元素x_ixi的成本变大 大数据量背景下，要实现基数计数，首先需要确定存储统计数据的方案，以及如何根据存储的数据计算基数值；另外还有一些场景下需要融合多个独立统计的基数值，例如对一个网站分别统计了三天的UV，现在需要知道这三天的UV总量是多少，怎么融合多个统计值
2022-01-12鱼鱼

阿里巴巴Java开发手册 华山版 v1.5

阿里巴巴Java开发手册 华山版 v1.5《Java 开发手册》是阿里巴巴集团技术团队的集体智慧结晶和经验总结，经历了多次大规模一线实战的检验及不断完善，公开到业界后，众多社区开发者踊跃参与，共同打磨完善，系统化地整理成册 现代软件行业的高速发展对开发者的综合素质要求越来越高，因为不仅是编程知识点，其它维度的知识点也会影响到软件的最终交付质量 比如：数据库的表结构和索引设计缺陷可能带来软件上的架构缺陷或性能风险；工程结构混乱导致后续维护艰难；没有鉴权的漏洞代码易被黑客攻击等等 所以本手册以 Java 开发者为中心视角，划分为编程规约、异常日志、单元测试、安全规约、MySQL 数据库、工程结构、设计规约七个维度，再根据内容特征，细分成若干二级子目录
2020-02-24鱼鱼

使用RPC与Restful接口调用服务

使用RPC与Restful接口调用服务在SOA和微服务架构中，远程通信是无法避免的，最常用的远程通信有两种方式： restful的接口，使用Http通信 使用dubbo或是Spring Cloud组件进行 RPC协议远程调用，可选地使用socket通信 不同的人对 RPC调用会有不同的看法，甚至对rpc本身的理解都不甚相同，但我认为 RPC有两种倾向： 一为语义化的 RPC 没有统一的请求规范，数据格式在开发人员中很难达成一致，在使用传统Http调用时，交互的双方需要约定一份“API文档”以保证数据格式的唯一性，这样API格式本身就成为了一道大墙，耽误研发双方的时间 但如果服务间采用语义化 RPC进行交互，双方可能并不需要一份文档，只要一份约定好的代码，并以此作为双方的依赖，在请求时也仅仅是直接调用方法本身，如此强的语义性怎能让人不爱
2021-01-13鱼鱼

Spring源码解析(1) 基于SSM看Spring的使用和Spring启动监听

Spring源码解析(1) 基于SSM看Spring的使用和Spring启动监听查看源码的顺序就见仁见智了，比较普遍的做法是从IoC入手，了解容器注入的每一个环节，掌握大致的流程 由于使用的是Spring，所以在这里我们引入比较古老的xml配置文件进行bean的配置，首先定义一个bean: 配置描述bean的xml，核心只有一行： 这样一来就可以使用BeanFactory这个容器来注入bean并使用了： 本来有封装好的XmlBeanFactory，这一类现在已经被弃用了，所以采用了他的父类DefaultListableBeanFactory;当然，也可以使用更加方便和常用的ApplicationContext： 当然从xml文件读取bean的配置只是其中一种目前用的不多的加载方式，还有基于包扫描等加载bean的方法，此处仅为理解IoC的基本使用
2020-08-04鱼鱼

基于Consul的服务注册与发现

基于Consul的服务注册与发现注：文章基于Consul1.6.0版本，部分版本可能会有误差 本文中项目集成部分采用Java语言 consul官网，服务注册/发现是微服务架构中不可或缺的重要组件，起初服务都是单节点的甚至是单体服务，不保障高可用性，也不考虑服务的压力承载，服务之间调用单纯的通过接口访问（HttpClient/RestTemplate），直到后面出现了多个节点的分布式架构，起初的解决手段是在服务端负载均衡，同时在网关层收束接口，使不同的请求转发到对应不同端口上，这也是前后分离防止前端跨域的手段之一： 图中的B服务也可以是多节点，注册在nginx上面的 要命的是，nginx并不具有服务健康检查的功能，服务调用方在调用一个服务之前是无法知悉服务是否可用的，不考虑这一点分布式的架构高可用的目标就成了一个摆设，解决手段也很简单：对超时或是状态码异常的请求进行重试尝试，请求会被分发到其他可用节点，或者采用服务注册与发现机制察觉健康的服务
2020-01-10鱼鱼

[Quick Start]RedisTemplate的bean手动配置

[Quick Start]RedisTemplate的bean手动配置 有时我们可能需要手动配置Redis的连接，例如动态修改或是从特殊的参数中获取，而不是使用SpringBoot的自有配置，此篇文章意在快速指引redis的手动配置 基于Spring项目和Jedis的底层，使用RedisTemplate； 通过Maven引入相关依赖，可以的话spring-data-redis选择2.0.0以上版本，较低版本需要的依赖： 如果使用了Spring-boot并且要使用较高的版本（例如在2.1.0后才有的某些API-putIfAbsent带有超时时间的版本），我们直接修改starter的版本是不够的，二者版本并不对称，我们需要去掉其中的redis依赖并单独引入 建议保持良好的依赖管理习惯，显式的移除依赖，而不是任其覆盖，如：
2020-02-24鱼鱼

网络协议面面观：TCP/IP协议组，TCP与UDP

网络协议面面观：TCP/IP协议组，TCP与UDP日常中的网站应用交互绝大部分都是基于TCP/IP协议栈构建的，而TCP/IP就是通信常见的protocol(协议)组，是一类协议的简称，利用这篇文章总结一些常见的TCP/IP网络协议簇以及着重一下两个常见的传输层协议TCP和UDP，扫一下盲 OSI参考模型是ISO(国际标准化组织)指定的网络互联七层模型，与此对比的还有互联网界针对TCP/IP协议簇提出的四层模型 相比之下，OSI七层模型的应用面很窄，且是一种理论模型，TCP/IP则是一种实施标准 一般使用四层模型来表达协议归属，所以此处不详细介绍七层模型的内容，只是简单的与四层协议做对比，两者对比： 应用层 通过这个TCP/IP模型，整体的数据流向是发送方自顶向下然后在接收方自底向上的，即：
2020-03-03鱼鱼

分布式系统中的CAP原则与BASE原则

分布式系统中的CAP原则与BASE原则没有十全十美的分布式系统，分布式的痛点就在于各个节点状态的统一，CAP和BASE便是描述它的状态 本文中的分布式系统不仅指一套全是无状态的应用的服务系统，单纯依靠共享资源（如多个无状态的服务共用数据库或NoSQL而不在内存或是本身的服务容器中存储任何数据）运转的服务不是纯粹的分布式系统，分布式系统中一般需要包含有状态的服务（如主从同步的Mysql、多机哨兵模式的Redis、设置会话共享的分布式Tomcat服务） 图A 分布式架构雏形 （ 试想在上图中，若是网关通过A分区对数据做出了修改，此时还没有写入数据库但是A分区的缓存做出了调整，在分区容错的情况下A不能直接与B通信，那A与B分区就会失去一致性
2019-09-29鱼鱼

Elasticsearch 入门

Elasticsearch 入门(注：本篇文章基于Elasticsearch7.7.0版本，由于版本的差异性造成的内容不一致我会尽量在文中标出，但是) Elasticsearch是基于Lucene扩展的全文搜索引擎，当我们有对大数据量的处理和搜索时，全文搜索引擎是最佳的选择，同时他提供了高扩展性、高可用性、RestFul风格的API和友好的分布式部署配置，在此我们不予详述 我们日常使用的数据库索引是数据库一种编排数据（逻辑上）从而加快查询的手段，我们暂且将这种索引方式称为正排索引，他通过对待搜索字符寻址从而找到对应的数据 但是这种索引方式对于模糊匹配会出现"断档"现象（模糊符号后的片段无法走索引查找），并且对于海量数据无论在存储上还是在查找上都略显吃力，于是在Elasticsearch中引入了倒排索引来加快查询速度
2020-03-06鱼鱼

有关Session的碎碎念-ban掉cookie之后

有关Session的碎碎念-ban掉cookie之后java web中， 用session来表示用户浏览器（客户端）与服务器建立的一次会话 通常用sessionId来标记一个session，在Java中，有很简单的方式直接获取sessionId； 但是sessionId并不是session的特性，实际上，sessionId是在客户端首次创建会话时将生成的sessionId存入cookie中，在之后的访问中直接读取这个id值 当客户端禁止了cookie行为后，SessionId在每次刷新页面时都会更新，利用id来表示会话也成为了妄想，此篇文章意在说明，如何操作能使SessionId能够独立于cookie使用 这种操作其实在shiro中已经被应用了，当我们进入登录页面中，url后会出现";jssionid=xxxxxx"，将sessionid显示的标注在url中,可以使用：
2019-03-08鱼鱼

Netty

NettyNIO相比IO有诸多利处，但平常开发中若是直接使用原生NIO进行业务开发是很不可取的，否则将面临臃肿而晦涩难懂的代码 所以日常开发中我们会时常使用封装了NIO操作代码的Netty来实现NIO操作 Netty是一个异步事件驱动的网络应用框架，用于快速开发可维护的高性能服务器和客户端
2019-05-11鱼鱼

ES快速入门(2)——Tokenizer、Reindex

ES快速入门(2)——Tokenizer、Reindex本篇介绍es提供的几种分词分析器和常用的开源分词分析器 es默认的分词器，中规中矩的按照 Unicode Standard Annex #29分词，一般的小写符号会忽略，对于中文等字符会逐字分割，参数max_token_length表示最大的字符长度，再切分后会继续按此切分 譬如： 会分词为： 一个无视语义，按照字符尽量收集全索引的分词方式，会前后叠加的按符号位分词，参数： 会分词为： nGram的分词很全面，但如此夸张的方式用不好会导致索引doc过大，同时使查询效率偏低 分词规则很简单，无其余规则的按空格分词： 会分词为： 在standard的基础上能够有效拆分出邮箱和url地址的格式，同样有max_token_length这一参数：
2020-09-05鱼鱼

网站地图

首页 博客 {{screen}} 第 {{page}} 页

{{blog.title}}

{{blog.content}}

{{blog.createDate}} ◔ {{blog.timeline}} {{blog.author}} {{tag}}

{{blog.likeCount}}{{blog.commentCount}}

分类下暂时没有文章哦！

主题分类

源码解析

造个轮子吧

多线程应用提高

问题探究

来做几道算法题

微服务架构实战

QuickStart

电子出版物

Java排坑指南

做点有趣的！

瞧瞧看看MySQL

{{taggroup.label}} 

{{tag.value}}