-
教你面试的时候如何迅速完成90%以上的海量数据处理题
上篇文章《美团二面:如果每天有百亿流量,你如何保证数据一致性?》,初步给大家分析了一下,一个复杂的分布式系统中,数据不一致的问题是怎么产生的。 简单来说,就是一个分布式系统中的多个子系统(或者服务)协作处理一份数据,但是最后这个数据的最终结果却没有符合期望。 这是一种非常典型的数据不一致的问题。当然在分布式系统中,数据不一致问题还有其他的一些情况。···
- 发布时间:2025-05-17
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
一文搞懂DBMS和数据仓库的区别及联系,你明白了吗?
在数据仓库技术以前,只存在事务处理,DBMS系统为这种处理类型的需要提供支持。但是,在数据仓库中的处理是截然不同的。数据仓库环境中的处理类型可以概括为装载和访问过程。数据从原来操作型数据环境和ODS中集成、转换和装载到数据仓库中去。一旦进入数据仓库,集成的数据就在那里访问和分析。在数据仓库中,数据一旦被装载,通常是不更新的。如果需要对数据仓库更正和调整的话···
- 发布时间:2025-05-17
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
全网最通透:MySQL 的 redo log 保证数据不丢的原理
总会有面试官问:你知道 MySQL 如何保障数据不丢的吗?实际上这个问题是十分不准确的,MySQL 保障数据不丢的手段可太多了。但通常面试官想听的内容就是 redo log 两段式提交是如何保障数据不丢的。(不过个人感觉这么说还是不太准确) 所谓「redo log」,意即「重做日志」,也就是用来恢复数据用的日志。所谓「两段式提交」,也被称作「两阶段提交」(···
- 发布时间:2025-05-17
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
MongoDB,入门看这一篇足矣!
一、介绍 在介绍 MongoDB 之前,我先介绍一下业务开发的时候遇到的痛点,以便大家对它有一个更加清晰的认识! 最近在用数据库存储数据的时候发现这么一个坑,例如从消息队列中监听消息的时候,原来的做法是将监听的消息json数据存储在数据库,以便好对异常消息数据进行追溯,消息内容使用text类型存储,起初因为数据内容很短,没啥毛病,但是当随着业务的扩展,收···
- 发布时间:2025-05-17
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
明明加了唯一索引,为什么还是产生重复数据?
前段时间我踩过一个坑:在mysql8的一张innodb引擎的表中,加了唯一索引,但最后发现数据竟然还是重复了。 到底怎么回事呢? 本文通过一次踩坑经历,聊聊唯一索引,一些有意思的知识点。 1. 还原问题现场 前段时间,为了防止商品组产生重复的数据,我专门加了一张防重表。 如果大家对防重表,比较感兴趣,可以看看我的另一篇文章 《高并发下如何防重?》···
- 发布时间:2025-05-17
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
DataWorks:阿里全链路数据治理实践
01阿里巴巴数据平台发展历史与现状1. 阿里巴巴数据平台发展的四个阶段第一阶段:2012年 阿里巴巴数据平台发展的四个阶段中的第一个阶段大概在2012年。构建数据中台,一个强大的数据平台必不可少,数据平台也可称为数据中台的数据底座。阿里巴巴数据平台发展的四个阶段代表着阿里数据中台发展的四个阶段,这四个阶段可以看到阿里对整个数据系统的不断变革以及对数据高···
- 发布时间:2025-05-17
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
MySQL 存储过程中的只读语句超时怎么办?
MySQL 有一个参数叫 max_execution_time ,用来设置只读语句执行的超时时间,但是仅对单独执行的 select 语句有效;对于非单独执行的 select 语句,比如包含在存储过程、触发器等内置事务块里则不生效。官方手册上对这个参数解释如下: max_execution_timeapplies as follows: The globa···
- 发布时间:2025-05-17
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
MySQL性能调优,这个工具最有用(中)
之前的文章《MySQL性能调优,这个工具最有用(上)》详细叙述了explain结果中最重要的type字段(连接类型)的含义。 其实,explain结果中还有一个Extra字段,对分析与优化SQL有很大的帮助,今天花1分钟简单和大家聊一聊。 数据准备: create table user ( id int primary key, name varc···
- 发布时间:2025-05-17
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
SQL Server备份与恢复- 恢复模型探究
1、概述 为了创建正确的备份,第一件事是为每个数据库设置正确的恢复模型。恢复模型基本上告诉 SQL Server 哪些数据要保留在事务日志文件中以及保留多长时间。根据选择的恢复模式,这还将确定您可以执行哪些类型的备份以及可以执行哪些类型的数据库还原。 2、三种恢复模式 您可以选择的三种恢复模式是:FullSimpleBulk-Logged每个数据库只能有一···
- 发布时间:2025-05-17
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
聊聊数据库建表的15个小技巧
前言 对于后端开发同学来说,访问数据库,是代码中必不可少的一个环节。 系统中收集到用户的核心数据,为了安全性,我们一般会存储到数据库,比如:mysql,oracle等。 后端开发的日常工作,需要不断的建库和建表,来满足业务需求。 通常情况下,建库的频率比建表要低很多,所以,我们这篇文章主要讨论建表相关的内容。 如果我们在建表的时候不注意细节,等后面系统上线···
- 发布时间:2025-05-17
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])