KT's 小站
开始阅读
  Welcome！
旧的东西可能会阻碍你往前走。
RocketMQ 引入 RocksDB 实现千万队列 RocketMQ 引入 RocksDB 实现千万队列
全网仅有!!，这个方案全网都没有什么参考资料。最近写了一篇 RocketMQ 引入 RocksDB 的设计方案，在写这个的过程中我对 RocketMQ 的底层存储和架构更加清晰了，原本只熟悉 kafka，而 RocketMQ 只停留在使用
2024-12-25 RocketMQ
RocketMQ
Kafka 副本机制详解 Kafka 副本机制详解
总览主要介绍 kafka 的副本机制是什么，如何处理读写，副本存储在哪，以及 kafka 如何根据副本实现高可用，ISR 机制。为什么不用 mysql 那种主从架构（比如 follower 节点来提高读性能，leader 节点只负责写）有什
2024-10-07 kafka
kafka
分布式事务之 CAP 和 BASE 理论基础 分布式事务之 CAP 和 BASE 理论基础
#CAP理论 分布式事务如果存在跨数据库的数据一致性保证时，就需要用到分布式事务，比如分库。 比较常见的场景是，商城业务，如果项目体量比较大，那肯定需要进行分库分表，因为单库和单表的性能有瓶颈，而且数据安全无法保证。 由于数据库事务只能限制
2024-09-16 分布式
分布式事务
扫码登录流程 扫码登录流程
二维码信息里主要包括唯一的二维码 ID，过期的时间，还有扫描状态：未扫描、已扫描、已失效。 扫码登录流程我们从客户端（用户浏览器）到二维码服务端，以及手机到手机端服务器，手机端服务器响应数据到二维码服务器等。（这里的服务器可以当做一个服务）
2024-08-19 KTpro
web 系统
提升 IO 密集型服务性能的异步处理模型 提升 IO 密集型服务性能的异步处理模型
电子商务平台的订单处理服务是典型的 I/O 密集型（I/O Bound）服务。 IO 密集型任务：一般就是说需要大量请求数据库和网络请求这些，如果请求比较多，系统大部分时间都花在等待 IO 操作完成。也就导致系统的性能瓶
2024-08-18 并发
CompletableFuture
AutoMQ 开源可观测性方案：夜莺 Flashcat AutoMQ 开源可观测性方案：夜莺 Flashcat
碎言今天集成了夜莺观测平台，对于 Prometheus 更加熟悉了，同时发现了其实这些可观测的平台实际上都差不多的，都是采集 Metrics 数据，然后在平台上做聚合操作。比如观测云的采集工具 datakit，实际上也是采集观测数据，然后通
2024-07-19 AutoMQ
AutoMQ
日常 PR 日常 PR
这周做了一个 FP，主要是实现了腾讯云 COS 和华为云对象存储 OBS 的 CredentialsProvider。 （仓库是私有的，好像看不到具体的我的提交） 我简单解释一下就是： 一种获取 AK 和 SK 的方式是静态的，也就是我
2024-07-18 KTpro
push
Prometheus + Grafana监控搞定了 Prometheus + Grafana监控搞定了
这篇文章只是碎碎念，格式不太好请见谅，今天好好的做了些自己的事情，之后可能就很少有时间自己做了。 今天上午把本地的 Prometheus + Grafana 监控搞定了，然后下午就尝试在服务器上部署，然后把前端页面改了一下，搞了个弹窗用
2024-07-14 项目
项目优化
很开心，换掉 Nacos 后服务器内存省下很多！ 很开心，换掉 Nacos 后服务器内存省下很多！
前言如题，最近打算在项目中引入 Grafana + Prometheus 作为数据监控，用来监控服务接口调用次数以及重点接口耗时等情况，这个后续做完会出一篇教程。 我们还是先看看替换之后的结果（旧的截图忘记截了），可以看到目前所有中间件加两
2024-07-13 项目
项目优化
如何通过 CloudCanal 实现从 Kafka 到 AutoMQ 的数据迁移 如何通过 CloudCanal 实现从 Kafka 到 AutoMQ 的数据迁移
前言实习过程中，接触到了 Kafka 数据迁移，了解到了好多的数据迁移工具，比如 CloudCanal，DataX等。其实我觉得这些对于开发人员来说也是要会的一件事，因为我们自己开发过程中可能会用到将数据从 Mysql 直接同步到消息队列的
2024-07-12 AutoMQ
AutoMQ
如何通过三种方式部署 Redpanda？ 如何通过三种方式部署 Redpanda？
刚好工作中用到 Redpanda，这里就写了一篇在部署过程中的操作和小 Tips。 前言虽然 redpanda 是基于 Kafka 的流处理系统，但是它是用 C++写的，因此启动方式并不一样，不像kafka那样用脚本就可以实现简单的topi
2024-07-06 KTpro
Redpanda
项目优化--冷热数据分离 项目优化--冷热数据分离
不一定做，毕竟比较复杂，暂时想点方案。 为什么要做 其实做冷热分离是为了提高性能，降低存储成本的一种存储数据的策略。 单日访问统计表，也就是 t_stats_today 表，没必要做分表，因为这个场景是用户想查询某一天该数据的访问记
2024-04-16 冷热数据分离
冷热分离
1 / 5