-
Kafka分区数据Skew导致Watermark放赖怎么办?
抛出疑无路?有一种非常..非常...常见的痛苦是Kafka分区数据Skew,由于某一个分区数据缓慢导致整个作业无法事件驱动计算。From @孙金城的知识星球用户,如下: 示例说明比如我们有一个Kafka的Topic,有2个分区,如下数据: S001,1, 2020-06-13 09:58:00 S001,1, 2020-06-13 09:58:01 S00···
- 发布时间:2025-05-16
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
SQLTools: 一款全功能的 VScode 轻量级数据库管理插件
你可以在 https://vscode-sqltools.mteixeira.dev/ 中查看完整的文档了解更多信息。 特性美化/格式化查询运行器、历史记录和书签连接浏览器查询生成器支持驱动 VSCode SQLTools 官方提供了很多常用数据库的驱动支持,包括: 此外还有一部分是社区维护的数据库驱动: 我们可以根据自己的需求选择安装对应的驱动程序即可。···
- 发布时间:2025-05-16
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
慢 SQL 分析与优化
作者 | 伍楼华 背景介绍 从系统设计角度看,一个系统从设计搭建到数据逐步增长,SQL 执行效率可能会出现劣化,为继续支撑业务发展,我们需要对慢 SQL 进行分析和优化,严峻的情况下甚至需要对整个系统进行重构。所以我们往往需要在系统设计前对业务进行充分调研、遵守系统设计规范,在系统运行时定期结合当前业务发展情况进行系统瓶颈的分析。 从数据库角度看,每个 S···
- 发布时间:2025-05-16
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
字节、阿里关于实时数据湖的应用与解决方案总结
在海量数据下,依靠传统数据库和传统实现方法基本完成不了,企业需要一种分布式的、高吞吐量的、延时低的、高可靠的实时计算框架。 下面将为大家分享字节跳动、阿里2家企业在实时数据湖的方面的实践应用。 01实时数据湖在字节跳动的实践 近两年数据湖是一个比较火的技术,从传统的数仓到数据湖,在过去 5 年里架构演变得非常迅速。Hudi、Iceberg、Dalta La···
- 发布时间:2025-05-16
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
实时分析需要SQL和复杂查询
今天的数据驱动型企业不仅需要针对实时数据作出快速响应要,而且还必须执行复杂的查询以解决复杂的业务问题。 例如,客户个性化系统需要将历史数据集与实时数据流结合起来,以便立即向客户提供最相关的产品建议。提供关键任务的实时业务观察能力的运营分析系统也必须如此,例如,在线支付供应商需要监测其全球范围内的交易,以发现可能预示金融欺诈的异常情况。 或者想象一个网上学···
- 发布时间:2025-05-16
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
什么是高基数?
高基数列是指数据基本不重复或者均为唯一值的列。典型的高基数列有ID标识,电子邮件地址或者用户名等。一个具有高基数的数据表列的例子是具有一个名为USER_ID的列的USERS表。 这一列包含1-n的唯一值。每次在USERS表中创建一个新用户时,将在USER_ID列中创建一个新数字,以唯一地标识它们。由于USER_ID列中保存的值是唯一的,因此该列的基数类型被···
- 发布时间:2025-05-16
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
使用 SQL 丝滑查询你的云 API 数据 - Steampipe
Steampipe: select * from cloud可以让你使用 SQL 来即时查询你的云服务(AWS、Azure、GCP、Github、Slack 等),是一个开源 的 CLI 工具,不需要数据库。Steampipe 将 API 和服务暴露成高性能关系数据库,使你能够编写基于 SQL 的查询来探索动态数据。Mods 通过使用简单 HCL 构建的 ···
- 发布时间:2025-05-16
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
为什么SQL知识对数据科学家至关重要?
译者 |李睿 审校 |孙淑娟 SQL可以追溯到上世纪70年代由Edgar Codd博士、Donald Chamberlin、Raymond Boyce和其他IBM研究人员构建的早期关系数据库。关系数据库中一个表中的数据可以链接到数据库数千个甚至数百万个条目中的任何一个表中的数据。因此,SQL使得搜索和检索与业务相关的问题的数据并在报告中呈现结果比以往更容···
- 发布时间:2025-05-16
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
MyBatis-Plus联表查询的短板,终于有一款工具补齐了
哈喽大家好啊,我是Hydra。 mybatis-plus作为mybatis的增强工具,它的出现极大的简化了开发中的数据库操作,但是长久以来,它的联表查询能力一直被大家所诟病。一旦遇到left join或right join的左右连接,你还是得老老实实的打开xml文件,手写上一大段的sql语句。 直到前几天,偶然碰到了这么一款叫做mybatis-plus···
- 发布时间:2025-05-16
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])
-
微信为什么使用 SQLite 保存聊天记录?
SQLite “只是”一个库,它不是传统意义上的服务器。因此,在某些场合下,它确实不合适。但是,在相当多的其他场合,它却是最合适的选择。SQLite 号称是部署和使用最广泛的数据库引擎。我认为这很有可能,因为 SQLite 没有版权的限制。无论何时,只要开发者想使用 SQL 在文件中存储结构化的数据,SQLite 应是首选方案。 SQLite 的 SQL ···
- 发布时间:2025-05-16
- 作者:益强科技
- 来源:[list:source]
- 浏览量([list:visits])
- 点赞([list:likes])