-
头疼!百万级MySQL的数据量,如何快速完成数据迁移?
背景 上个月跟朋友一起做了个微信小程序,趁着5.20节日的热度,两个礼拜内迅速积累了一百多万用户,我们在小程序页面增加了收集formid的埋点,用于给微信用户发送模板消息通知。 这个小程序一开始的后端逻辑是用douchat框架写的,使用框架自带的dc_mp_fans表存储微信端授权登录的用户信息,使用dc_mp_tempmsg表存储formid。截止到目前···
- 发布时间:2025-05-15
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
盘点数据处理工具,手把手教你做数据清洗和转换
01 了解数据集 数据准备的关键和重复阶段是数据探索。一组因为太大而无法由人工手动读取、检查和编辑每个值的数据,仍需要验证其质量和适用性,然后才可以将其委托给一个值得花费时间和计算的模型。 与将大型数据集的样本转储到电子表格程序中的方法一样简单,只需查看每列中出现的值的类型或范围,即可识别诸如不负责任的默认值之类的错误(例如,在没有测量值的情况下,使用零而···
- 发布时间:2025-05-15
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
详解SQL中连续N天都出现的问题
今天我们用一个示例,来告诉大家该如何求解类似的问题。 有一个体育馆,每日人流量信息被记录在这三列信息中:序号 (id)、日期 (date)、 人流量 (people)。请编写一个查询语句,找出高峰期时段,要求连续三天及以上,并且每天人流量均不少于100。例如,表 stadium: 对于上面的示例数据,输出为: 题目和想要的结果都已经知晓了,该如何求解呢?下···
- 发布时间:2025-05-15
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
MySQL不香吗,为啥还要Elasticsearch?
近年来公司业务迅猛发展,数据量爆炸式增长,随之而来的的是海量数据查询等带来的挑战,我们需要数据量在十亿,甚至百亿级别的规模时依然能以秒级甚至毫秒级的速度返回。 这样的话显然离不开搜索引擎的帮助,在搜索引擎中,ES(ElasticSearch)毫无疑问是其中的佼佼者,连续多年在 DBRanking 的搜索引擎中评测中排名第一,也是绝大多数大公司的首选。 图片···
- 发布时间:2025-05-15
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
组织应该采用数据湖的7个原因
【.com快译】数据仓库长期以来一直是管理大数据的标准方法,但是数据湖是否更适合组织的需要?其答案是肯定的。 随着当今数据的数量、速度和种类的不断变化,人们开始意识到,并没有一种能够满足组织所有数据需求的数据库。与其相反,许多组织已经转向为特定用例或项目选择合适的数据存储技术。数据分散存储在不同数据存储空间中给组织整合数据进行分析带来了挑战。从历史上看,唯···
- 发布时间:2025-05-15
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
Redis 6.X Cluster 集群搭建
Part1Redis 6.X Cluster 集群搭建 码哥带大家完成在 CentOS 7 中安装 Redis 6.x 教程。在学习 Redis Cluster 集群之前,我们需要先搭建一套集群环境。机器有限,实现目标是一台机器上搭建 6 个节点,构成一个三主三从集群模式。 1下载解压 可直接到 Redis 官网下载最新稳定包,地址:https://red···
- 发布时间:2025-05-15
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
最大规模技术重建:数据库连接从15000个到100个以下
本文转载自公众号“读芯术”(ID:AI_Discovery) 一名新员工最近在午餐时问笔者:“DigitalOcean的科技债务是什么样子的?” 听到这个问题,笔者忍不住笑了。软件工程师询问一家公司的科技债务相当于询问信用评分。这是他们衡量一家公司可疑的过去和他们要背负何种包袱的方式,我们对技术包袱并不陌生。 作为一家管理自己服务器和硬件的云提供商,我们面···
- 发布时间:2025-05-15
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
统治50年:为什么SQL在如今仍然很重要?
本文转载自公众号“读芯术”(ID:AI_Discovery) 1971年3月,英特尔公司推出了世界上第一个通用微处理器,即英特尔4004,它有2300个晶体管,售价60美元。将时间快进50年左右,最新的苹果手机有将近120亿个晶体管(可惜比60美元更贵一些)。 直至90年代,许多我们目前使用的编程语言才被引入(Java是1996年引入的)。然而,有一种编程···
- 发布时间:2025-05-15
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
4 月数据库流行度排行榜:三巨头分数暴跌
DB-Engines 4 月份流行度排行已更新(基于 3 月份的整体数据变化)。 从总榜来看,前十数据库的排名和上个月保持一致。虽然排名没有变动,但单个数据库的分数却变化不少。稳居前三的 Oracle、MySQL 和 Microsoft SQL Server 分数出现了较大幅度的下跌,分别减少 46.82、34.14 和 7.33 分。其中 SQL Ser···
- 发布时间:2025-05-15
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
激荡三十年:银行数据库的发展与变迁
大家好,我是小枣君。今天,我们来聊一个和“钱”有关的话题。 在日常紧张的工作生活里,最欢乐的一件事情,莫过于老板们发红包,大家抢红包。 不知道大家有没有想过,在我们抢红包行为的背后,究竟是怎样的一套数据系统在提供支撑?如果这套系统出现了问题,我们的帐户余额多几个零或者少几个零,会如何? 哈哈,我相信这个画面是难以想象的! 没错,在数字信息时代,所有的钱和财···
- 发布时间:2025-05-15
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])