-
去哪儿网MySQL日志分析实践,80%数据丢失都给你救回来!
一、背景 日志记录了一个系统的行为,对于了解系统、诊断问题、辅助审计等都有极其重要的作用。通常最近一段时间的日志访问频率是最高的,我们通过聚合日志,分析日志、汇总数据,帮助开发、运维、DBA了解业务的状态和行为。这次实践是针对MySQL的抓包日志进行分析,当前系统不足以支持新的需求,需要重构一套日志分析系统。 现有抓包系统是将 MySQL 请求的所有 SQ···
- 发布时间:2025-05-11
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
数据库异常智能分析与诊断
作者|金龙 DAS(Database Autonomy Service, 数据库自治服务)面向研发和DBA,是一款为用户提供数据库性能分析、故障诊断、安全管理等功能的数据库自治服务。DAS利用大数据手段、机器学习、专家经验,帮助用户消除数据库管理的复杂性及人工操作引发的服务故障,有效保障数据库服务的稳定和高效运行。本文主要讲述DAS的历史背景、演进策略、重···
- 发布时间:2025-05-11
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
迷失在NoSQL的丛林中了?你需要这份导游手册
Nosql数据库NoSQL这个词,意思是 "不仅仅是SQL",最早出现在20世纪90年代末,指的是为了解决网络和云数据管理的要求,克服传统SQL技术的限制而建立的新系统(见我们的 blog post on SQL vs. NoSQL vs NewSQL不同方法之间的比较)。这些限制是缺乏横向可扩展性,数据摄取效率低,模式僵化,以及难以支持复杂的数据,如文档···
- 发布时间:2025-05-11
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
Apache Druid历险记
1. Druid简介 1. 1 概述 Druid是一个快速的列式分布式的支持实时分析的数据存储系统。它在处理PB级数据、毫秒级查询、数据实时处理方面,比传统的OLAP系统有了显著的性能改进。 OLAP分析分为关系型联机分析处理(ROLAP)、多维联机分析处理(MOLAP)两种,MOLAP需要数据预计算好为一个多维数组,典型方式就是Cube,而ROLAP就是···
- 发布时间:2025-05-11
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
MySQL的零拷贝技术
原文:https://spongecaptain.cool/post/mysql/zerocopyofmysql 1.先需要了解Buffer 与 cache 的区别: Bbuffer 与 Cache 非常类似,因为它们都用于存储数据数据,被应用层读取字节数据。在很多场合它们有着相同的概念: 首先从翻译上,Buffer应该翻译为“缓冲”,Cache应该翻译为···
- 发布时间:2025-05-11
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
如何让 JOIN 跑得更快?
JOIN 一直是数据库性能优化的老大难问题,本来挺快的查询,一旦涉及了几个 JOIN,性能就会陡降。而且,参与 JOIN 的表越大越多,性能就越难提上来。 其实,让 JOIN 跑得快的关键是要对 JOIN 分类,分类之后,就能利用各种类型 JOIN 的特征来做性能优化了。 JOIN 分类有 SQL 开发经验的同学都知道,绝大多数 JOIN 都是等值 JOI···
- 发布时间:2025-05-11
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
如何为数据库选择最佳加密方法
译者 | 李睿 加密是对消息或信息进行安全编码的过程,只有授权方才能看到加密数据。加密的历史距今长达几个世纪。比如在第二次世界大战中,美军使用纳瓦霍语发送加密指令,使日军无法有效解码。 如今,加密更加重要,因为人们生活在一个隐私和安全不断受到黑客攻击的时代。多亏有了AES加密等现代技术,使黑客很难获得人们的敏感信息。 加密是保持数据安全的通用过程。本文探索···
- 发布时间:2025-05-11
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
SQL执行器的定义和实现
一、前言为什么,要读框架源码?因为手里的业务工程代码太拉胯了!通常作为业务研发,所开发出来的代码,大部分都是一连串的流程化处理,缺少功能逻辑的解耦,有着迭代频繁但可迭代性差的特点。所以这样的代码通常只能学习业务逻辑,却很难吸收到大型系统设计和功能逻辑实现的成功经验,往往都是失败的教训。 而所有系统的设计和实现,核心都在于如何解耦,如果解耦不清晰最后直接倒置···
- 发布时间:2025-05-11
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
为什么我建议需要定期重建数据量大但是性能关键的表
一般现在对于业务要查询的数据量以及要保持的并发量高于一定配置的单实例 MySQL 的极限的情况,都会采取分库分表的方案解决。当然,现在也有很多 new SQL 的分布式数据库的解决方案,如果你用的是 MySQL,那么你可以考虑 TiDB(实现了 MySQL 协议,兼容 MySQL 客户端以及 SQL 语句)。如果你用的是的 PgSQL,那么你可以考虑使用 ···
- 发布时间:2025-05-11
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
Node.js 结合 MongoDB 实现字段级自动加密
某些场景下,对于数据隐私会有较高的要求,例如,用户系统的个人信息(身份证、手机号)、医患系统的患者信息等,怎么用技术手段安全的保护这些敏感数据是我们开发人员需要考虑的问题。 本篇文章,将介绍 MongoDB 的客户端字段级加密功能,英文全称为 Client-Side Field Level Encryption,在有些地方会看到简称为 CSFLE,代表的是···
- 发布时间:2025-05-11
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])