Honesty Blog

Java IO — NIO Channel

学习思考
在上一章NIO Channel篇中我们解释了它在NIO中的作用。Channel（通道）是一个核心概念，它提供了与IO设备（如文件、网络套接字等）进行数据传输的能力。下面我将从多个方面详细讲解NIO的Channel。Channel本身不直接存储数据，它通过与Buffer（缓冲区）的交互来实现数据的读写。数据首先被读入到Buffer中，然后再从Buffer中写入到Channel，或者从Channel读入到Buffer。 Channel的工作原理 • ‌与Buffer的交互‌：Channel本身不直接存储数据，它通过与Buffer（缓冲区）的交互来实现数据的读写。数据首先被读入到Buffer中，然后再从Buffer中写入到Channel，或者从Channel读入到Buffer。 • ‌非阻塞模式‌：Channel支持非阻塞模式，这意味着线程可以在等待IO操作完成时继续执行其他任务，而不是被阻塞。这大大提高了程序的并发处理能力。 • ‌Selector机制‌：NIO还提供了Selector机制，它允许单个线程同时处理多个Channel的IO事件。Selector会不断地轮询注册在其上的Channel，检查是否有IO事件发生，并通知相应的线程进行处理。
Java IO — NIO Channel

Java IO — NIO Buffer

学习思考
在上一章中我们介绍的 NIO模型的核心组件 以及其运行流程 知道如何简单使用 buffer 之后，下面就来探究一下 buffer 的底层原理。 Buffer 的原理主要在于它的四个属性： • mark：在缓冲区操作过程当中，可以将当前的 position 的值临时存入 mark 属性中，需要的时候再取出，恢复到之前的 position，重新从之前的 position 位置开始处理。调用 mark() 方法来设置 mark=position，再调用 reset() 可以让 position 恢复到 mark 标记的位置，即 position=mark • position：位置，读或写都会改变位置 • limit：表示缓冲区的当前终点，不能对缓冲区超过极限的位置进行读写操作，极限可以修改 • capacity：容量，在缓冲区创建时设定且不可修改，比如前面创建的缓冲区容量就是 1024 且不可修改
Java IO — NIO Buffer
Java IO — IO/NIO模型

Elasticsearch — 索引（Mapping Index）

技术分享
在Elasticsearch中Mapping Index是一个核心概念，它定义了索引中数据的结构，包括字段的名称、类型、属性等。用于定义索引中文档及其字段如何被存储和索引的过程。它类似于传统关系型数据库中的表结构定义。在 MySQL 中，表结构里包含了字段名称，字段的类型还有索引信息等。在 Mapping 里也包含了一些属性，比如字段名称、类型、字段使用的分词器、是否评分、是否创建索引等属性。 ‌作用‌： • 定义索引下的字段名（Field Name）。 • 定义字段的类型，如文本型（text）、关键字型（keyword）、数字型（integer、long、float、double等）等。 • 定义字段的索引相关配置，如是否索引、是否记录位置信息等。
Elasticsearch — 索引（Mapping Index）

Elasticsearch — 如何存储数据并保持一致性？

技术分享
Elasticsearch是一个基于Lucene分布式的开源搜索和分析引擎，适用于所有类型的数据，包括文本、数字、地理空间数据等。它构建于Lucene之上，并提供了一个易于使用的RESTful API来处理数据索引和搜索。Elasticsearch以其强大的全文搜索能力而闻名，并且能够实时地存储、搜索和分析大量数据。此外，Elasticsearch还常常与Logstash（用于收集、解析和处理数据流）和Kibana（用于数据可视化）结合使用，形成了ELK Stack，广泛应用于日志分析、指标分析以及其他大数据应用场景中。 在实际业务场景中我们或许是因为数据库中数量大且需要一个复杂的条件过滤时才考虑到应用Elasticsearch，因为它提供大数据量（PB）近乎实时的搜索功能。
Elasticsearch — 如何存储数据并保持一致性？

Java算法 — 快速排序（Quick Sort）

学习思考
上文我们介绍了Java比较算法的核心思想 但那仅仅是最简单的思维方式并不是大家最常用下面我们来学习下组合了集中思想的快速排序算法。快速排序（Quick Sort）是一种高效且广泛应用的排序算法，由东尼·霍尔所发展，并于1960年由C.A.R.Hoare提出。快速排序是对冒泡排序的一种改进，它采用分治法的策略来将一个序列（或数组）分为两个子序列，并通过递归的方式对这两个子序列进行排序，从而达到整个序列有序的目的。通过选取一个基准值（pivot），将待排序的序列分为两部分，一部分包含所有小于基准值的元素，另一部分包含所有大于基准值的元素（相等的元素可以归到任一边）。然后，递归地对这两部分继续进行快速排序，直到整个序列有序。在Java中List接口中实际应用了该算法，也是我们最常使用的算法之一。本文介绍了Java中的快速排序和归并排序算法，包括其实现细节和优化策略。快速排序使用三向分区方法进行排序，而归并排序利用分治策略进行合并。还讨论了Timsort算法的执行过程和关键阀值，以及如何在Java中对List集合进行排序。Timsort结合了归并排序和二分插入排序的优点，适用于大数据集的排序。
Java算法 — 快速排序（Quick Sort）

Java算法 — 比较排序（Comparison-based Sorting）

学习思考
比较排序（Comparison-based Sorting）是一种基于元素之间比较操作的排序算法。这类算法通过比较数据之间的大小关系来确定数据的相对顺序，从而完成排序。在我们学习Java算法过程中是一个比较重要的一个排序算法，下面我讲从一些基础简单算法 它们不是最好的算法但是其中的核心思想和思维模式值得我们深入学习。其实有 选择排序（Selection Sort），插入排序（Insertion Sort），冒泡排序（Bubble Sort），归并排序（Merge Sort），堆排序（Heap Sort）
Java算法 — 比较排序（Comparison-based Sorting）

Netty — API网关Demo

技术分享
上一小节我们总结了Reactor模型，Netty基于主从Reactor模型设计了自己的模型结构，使得Netty在不同的场景下都有非常亮眼的性能和可用性表现。进入到这一小节，我又想到了那句话”Talk is cheap, show me code”。虽然上一小节我们简单写了一个“快速开始”，但是这对于要达到快速使用Netty进行网络开发的目的还远远不够。在一小节中我们会通过一系列的Demo示例熟悉Netty的开发，从代码中感受他们的特性。最后我们会通过一个简单的聊天加深我们对Netty各个核心组件的理解。最后我们动手设计实践一个API网关，认识网关的功能和结构，同时也进入提升我们使用Netty进行网络开发的熟练度，同时为后续深入源码打下基础。这一小节代码比较多，不要害怕耐心看完并付诸实践，一定会收获满满。
Netty — API网关Demo

Netty流程剖析 — 服务启动源码

学习思考
前面几个小节，我们梳理了几个核心组建，深入的分析了这几个组建的工作原理和一些实现细节，但是细看局部总是难以获得一个全局的视角，很难把它们真正的串起来。在梳理完这几个组件之后，我最想知道的就是启动的时候和读写操作的时候，这几个组件是怎么配合工作。虽然我也看过一切流程图，和一些简单的总结，但是自己没有深入过源码总感觉缺了点什么。我相信只有真正分析调试过源码才能真正理解，各个组件之间是怎么协作的，各个组件之间的设计要点是什么了。带着这些疑惑，我深入了源码也收获颇丰。这个部分，我们将对Netty的启动过程进行深入的分析，看看Netty是如何进行注册、绑定和监听。
Netty流程剖析 — 服务启动源码

Netty核心组件源码剖析 — ByteBuffer

学习思考
在上一小节中，我们介绍channel，channel 的主要功能有处理网络IO读写，处理连接。这里需要注意的是channel仅仅是负责读写操作，在NIO中真正负责传输数据的是Buffer（缓冲区）。在NIO中，缓冲区的作用也是用来临时存储数据，可以理解为I/O数据的中转站。缓冲区直接对接channel，为其提供写入和读取的数据。通过操作buffer批量进行数据传输提高效率。在NIO中主要有八种缓冲区(ByteBuffer、CharBuffer、ShortBuffer，IntBuffer、LongBuffer、FloatBuffer、DoubleBuffer)。在网络中传输中，字节是基本单位，NIO使用的ByteBuffer作为Byte的字节容器，但是NIO中实现过于复杂，因此Netty又写了一套ByteBuf来代替NIO的ByteBuffer，这一小节我们将深入ByteBuf源码，探究ByteBuf底层原理与实现细节。
Netty核心组件源码剖析 — ByteBuffer

Netty核心组件源码剖析 — Channel

学习思考
上一小节我们梳理了NioEventLoop，通过梳理我们知道，NioEventLoop本质上就是封装的执行线程，线程通过NioEventLoopGroup构造创建。NioEventLoop通过select()方法监听selectKey触发对应连接，读/写事件。并在每次的循环中执行一定的任务队列中的任务。而每次事件的触发都是基于Channel实现的。这里的Channel不是NIO中的Channel，而是我们Netty中封装了NIO Channel实现的Channel。这一小节我们将深入理解Channel的一些功能原理和具体的一些实现细节。
Netty核心组件源码剖析 — Channel

Netty核心组件源码剖析 — NioEventLoop

学习思考
我们的源码分析会围绕着《Netty源码剖析与应用》这本书来学习，并且结合自己分析看源码，毕竟只有自己看到才是真的。这一小节我们要分析梳理核心组件NioEventLoop的源码，从源码角度看看NioEventLoop到底做了哪些事。第一次深入的研究源码学习，源码看得的确挺头大的，但是通过源码角度对Netty又有了一个全新的认知收获很多，那我们就一起来分析以下NioEventLoop吧。
Netty核心组件源码剖析 — NioEventLoop
12345
Honesty
Honesty
人道洛阳花似锦，偏我来时不逢春
最新发布
Java IO — NIO Buffer
Java IO — NIO Buffer
2024-10-21
Java IO — NIO Channel
Java IO — NIO Channel
2024-10-21
Java IO — IO/NIO模型
Java IO — IO/NIO模型
2024-10-21
Java异步编程方式介绍
Java异步编程方式介绍
2024-10-21
Elasticsearch — 索引（Mapping Index）
Elasticsearch — 索引（Mapping Index）
2024-10-19
Elasticsearch — 如何存储数据并保持一致性？
Elasticsearch — 如何存储数据并保持一致性？
2024-10-19