TimescaleDB 开源时序数据库

2024-03-10 23:28
文章标签 数据库 开源 时序 timescaledb

本文主要是介绍TimescaleDB 开源时序数据库，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

      • 1.TimescaleDB介绍
      • 2.Hypertable 和 chunk
      • 3.Hypertable
      • 4.Hypertable操作

  • 开源中间件
# TimescaleDBhttps://iothub.org.cn/docs/middleware/
https://iothub.org.cn/docs/middleware/timescale/timescale-summary/

1.TimescaleDB介绍

TimescaleDB是基于PostgreSQL数据库打造的一款时序数据库，插件化的形式，随着PostgreSQL的版本升级而升级。

TimescaleDB具备以下特点

  1. 基于时序优化
  2. 自动分片（按时间、空间自动分片(chunk)）
  3. 全SQL接口
  4. 支持垂直于横向扩展
  5. 支持时间维度、空间维度自动分区。空间维度指属性字段（例如传感器ID，用户ID等）
  6. 支持多个SERVER，多个CHUNK的并行查询。分区在TimescaleDB中被称为chunk
  7. 自动调整CHUNK的大小
  8. 内部写优化（批量提交、内存索引、事务支持、数据倒灌）
    内存索引，因为chunk size比较适中，所以索引基本上都不会被交换出去，写性能比较好
    数据倒灌，因为有些传感器的数据可能写入延迟，导致需要写以前的chunk，timescaleDB允许这样的事情发生(可配置)
  9. 复杂查询优化（根据查询条件自动选择chunk，最近值获取优化(最小化的扫描,类似递归收敛)，limit子句pushdown到不同的server,chunks，并行的聚合操作）
    《时序数据合并场景加速分析和实现 - 复合索引，窗口分组查询加速，变态递归加速》
  10. 利用已有的PostgreSQL特性（支持GIS，JOIN等），方便的管理（流复制、PITR）
  11. 支持自动的按时间保留策略（自动删除过旧数据）
# 官网地址
https://www.timescale.com/# 文档
https://docs.timescale.com/latest/main# 安装
https://docs.timescale.com/latest/getting-started/installation/rhel-centos/installation-yum # github
https://github.com/timescale/timescaledb # docker
https://hub.docker.com/r/timescale/timescaledb

2.Hypertable 和 chunk

TimescaleDB作为PostgreSQL的扩展实现，这意味着Timescale数据库在整个PostgreSQL实例中运行。 该扩展模型允许数据库利用PostgreSQL的许多属性，如可靠性，安全性以及与各种第三方工具的连接性。 同时，TimescaleDB通过在PostgreSQL的查询规划器，数据模型和执行引擎中添加钩子，充分利用扩展可用的高度自定义。
从用户的角度来看，TimescaleDB公开了一些看起来像单数表的称为hypertable的表，它们实际上是一个抽象或许多单独表的虚拟视图，这些表包含称为块的数据。

通过将hypertable的数据划分为一个或多个维度来创建块：所有可编程元素按时间间隔进行分区，并且可以通过诸如设备ID，位置，用户ID等的关键字进行分区。我们有时将此称为分区 横跨“时间和空间”。

  • Hypertable

与数据交互的主要点是一个可以抽象化的跨越所有空间和时间间隔的单个连续表，从而可以通过标准SQL查询它。
实际上，所有与TimescaleDB的用户交互都是使用可调整的。 创建表格和索引，修改表格，插入数据，选择数据等都可以（也应该）在hypertable上执行。

在TimescaleDB中创建一个超表需要两个简单的SQL命令：创建表（使用标准SQL语法），然后选择CLEATEYHYTABLE（）。

  • chunk

在内部，TimescaleDB自动将每个可分区块分割成块，每个块对应于特定的时间间隔和分区键空间的一个区域（使用散列）。 这些分区是不相交的（非重叠的），这有助于查询计划人员最小化它必须接触以解决查询的组块集合。
每个块都使用标准数据库表来实现。 （在PostgreSQL内部，这个块实际上是一个“父”可变的“子表”。）
块是正确的大小，确保表的索引的所有B树可以在插入期间驻留在内存中。 这可以避免在修改这些树中的任意位置时发生颠簸。

SELECT show_chunks('conditions');
SELECT show_chunks('conditions', older_than => INTERVAL '3 months');
SELECT show_chunks('conditions', older_than => DATE '2017-01-01');

3.Hypertable

create_hypertableSELECT * FROM create_hypertable(...) # 创建超表
SELECT create_hypertable('conditions', 'time');# 将表条件转换为超表，将chunk_time_interval设置为24小时。 
SELECT create_hypertable('conditions', 'time', chunk_time_interval => 86400000000);
SELECT create_hypertable('conditions', 'time', chunk_time_interval => INTERVAL '1 day');chunk_time_interval 
Interval in event time that each chunk covers. Must be > 0. As of TimescaleDB v0.11.0, default is 7 days. For previous versions, default is 1 month.  # 使用时间分区和位置分区（4个分区）将表条件转换为超表： 
SELECT create_hypertable('conditions', 'time', 'location', 4);

在这里插入图片描述

  • create_hypertable()
    在这里插入图片描述

  • add_dimension()
    在这里插入图片描述

4.Hypertable操作

1. 创建时序表(hypertable)
# Create a schema for a new hypertable  
CREATE TABLE sensor_data (  
"time" timestamp with time zone NOT NULL,  
device_id TEXT NOT NULL,  
location TEXT NULL,  
temperature NUMERIC NULL,  
humidity NUMERIC NULL,  
pm25 NUMERIC  
);  # Create a hypertable from this data  
SELECT create_hypertable  
('sensor_data', 'time', 'device_id', 16);  2. 迁移数据到hyper table
# Migrate data from existing Postgres table into  
# a TimescaleDB hypertable  
INSERT INTO sensor_data (SELECT * FROM old_data);  3. 查询hyper table
# Query hypertable like any SQL table  
SELECT device_id, AVG(temperature) from sensor_data  
WHERE temperature IS NOT NULL AND humidity > 0.5  
AND time > now() - interval '7 day'  
GROUP BY device_id;  4. 查询最近异常的数据
# Metrics about resource-constrained devices  
SELECT time, cpu, freemem, battery FROM devops  
WHERE device_id='foo'  
AND cpu > 0.7 AND freemem < 0.2  
ORDER BY time DESC  
LIMIT 100;  5. 计算最近7天，每小时的异常次数
# Calculate total errors by latest firmware versions  
# per hour over the last 7 days  
SELECT date_trunc('hour', time) as hour, firmware,  
COUNT(error_msg) as errno FROM data  
WHERE firmware > 50  
AND time > now() - interval '7 day'  
GROUP BY hour, firmware  
ORDER BY hour DESC, errno DESC;  6. 计算巴士的每小时平均速度
# Find average bus speed in last hour  
# for each NYC borough  
SELECT loc.region, AVG(bus.speed) FROM bus  
INNER JOIN loc ON (bus.bus_id = loc.bus_id)  
WHERE loc.city = 'nyc'  
AND bus.time > now() - interval '1 hour'  
GROUP BY loc.region;  7. 展示最近12小时，每小时的平均值
=#  SELECT date_trunc('hour', time) AS hour, AVG(weight)  FROM logs  WHERE device_type = 'pressure-sensor' AND customer_id = 440  AND time > now() - interval '12 hours'  GROUP BY hour;  hour               | AVG(weight)  
--------------------+--------------  2017-01-04 12:00   | 170.0  2017-01-04 13:00   | 174.2  2017-01-04 14:00   | 174.0  2017-01-04 15:00   | 178.6  2017-01-04 16:00   | 173.0  2017-01-04 17:00   | 169.9  2017-01-04 18:00   | 168.1  2017-01-04 19:00   | 170.2  2017-01-04 20:00   | 167.4  2017-01-04 21:00   | 168.6  8. 监控每分钟过载的设备数量
=#  SELECT date_trunc('minute', time) AS minute, COUNT(device_id)  FROM logs  WHERE cpu_level > 0.9 AND free_mem < 1024  AND time > now() - interval '24 hours'  GROUP BY minute  ORDER BY COUNT(device_id) DESC LIMIT 25;  minute             | heavy_load_devices  
--------------------+---------------------  2017-01-04 14:59   | 1653  2017-01-04 15:01   | 1650  2017-01-04 15:00   | 1605  2017-01-04 15:02   | 1594  2017-01-04 15:03   | 1594  2017-01-04 15:04   | 1561  2017-01-04 15:06   | 1499  2017-01-04 15:05   | 1460  2017-01-04 15:08   | 1459  9. 最近7天，按固件版本，输出每个固件版本的报错次数
=#  SELECT firmware_version, SUM(error_count) FROM logs  WHERE time > now() - interval '7 days'  GROUP BY firmware_version  ORDER BY SUM(error_count) DESC LIMIT 10;  firmware_version  | SUM(error_count)  
-------------------+-------------------  1.0.10            | 191  1.1.0             | 180  1.1.1             | 179  1.0.8             | 164  1.1.3             | 161  1.1.2             | 152  1.2.1             | 144  1.2.0             | 137  1.0.7             | 130  1.0.5             | 112  1.2.2             | 110  10. 某个范围，每小时，温度高于90度的设备数量。
=#  SELECT date_trunc('hour', time) AS hour, COUNT(logs.device_id)  FROM logs  JOIN devices ON logs.device_id = devices.id  WHERE logs.temperature > 90 AND devices.location = 'SITE-1'  GROUP BY hour;  hour               | COUNT(logs.device_id)  
--------------------+------------------------  2017-01-04 12:00   | 994  2017-01-04 13:00   | 905  2017-01-04 14:00   | 875  2017-01-04 15:00   | 910  2017-01-04 16:00   | 905  2017-01-04 17:00   | 840  2017-01-04 18:00   | 801  2017-01-04 19:00   | 813  2017-01-04 20:00   | 798
  • 开源中间件
# TimescaleDBhttps://iothub.org.cn/docs/middleware/
https://iothub.org.cn/docs/middleware/timescale/timescale-summary/

这篇关于TimescaleDB 开源时序数据库的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/795859。

相关文章

Linux下MySQL数据库定时备份脚本与Crontab配置教学

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定
阅读更多...
如何通过try-catch判断数据库唯一键字段是否重复

如何通过try-catch判断数据库唯一键字段是否重复

《如何通过try-catch判断数据库唯一键字段是否重复》在MyBatis+MySQL中,通过try-catch捕获唯一约束异常可避免重复数据查询,优点是减少数据库交互、提升并发安全,缺点是异常处理开... 目录1、原理2、怎么理解“异常走的是数据库错误路径，开销比普通逻辑分支稍高”？1. 普通逻辑分支 v
阅读更多...
Python与MySQL实现数据库实时同步的详细步骤

Python与MySQL实现数据库实时同步的详细步骤

《Python与MySQL实现数据库实时同步的详细步骤》在日常开发中,数据同步是一项常见的需求,本篇文章将使用Python和MySQL来实现数据库实时同步,我们将围绕数据变更捕获、数据处理和数据写入这... 目录前言摘要概述：数据同步方案1. 基本思路2. mysql Binlog 简介实现步骤与代码示例1
阅读更多...
使用shardingsphere实现mysql数据库分片方式

使用shardingsphere实现mysql数据库分片方式

《使用shardingsphere实现mysql数据库分片方式》本文介绍如何使用ShardingSphere-JDBC在SpringBoot中实现MySQL水平分库,涵盖分片策略、路由算法及零侵入配置... 目录一、ShardingSphere 简介1.1 对比1.2 核心概念1.3 Sharding-Sp
阅读更多...
Go语言连接MySQL数据库执行基本的增删改查

Go语言连接MySQL数据库执行基本的增删改查

《Go语言连接MySQL数据库执行基本的增删改查》在后端开发中,MySQL是最常用的关系型数据库之一,本文主要为大家详细介绍了如何使用Go连接MySQL数据库并执行基本的增删改查吧... 目录Go语言连接mysql数据库准备工作安装 MySQL 驱动代码实现运行结果注意事项Go语言执行基本的增删改查准备工作
阅读更多...
MySQL 数据库表操作完全指南:创建、读取、更新与删除实战

MySQL 数据库表操作完全指南:创建、读取、更新与删除实战

《MySQL数据库表操作完全指南:创建、读取、更新与删除实战》本文系统讲解MySQL表的增删查改（CURD）操作,涵盖创建、更新、查询、删除及插入查询结果,也是贯穿各类项目开发全流程的基础数据交互原... 目录mysql系列前言一、Create(创建)并插入数据1.1 单行数据 + 全列插入1.2 多行数据
阅读更多...
MySQL 数据库表与查询操作实战案例

MySQL 数据库表与查询操作实战案例

《MySQL数据库表与查询操作实战案例》本文将通过实际案例,详细介绍MySQL中数据库表的设计、数据插入以及常用的查询操作,帮助初学者快速上手,感兴趣的朋友跟随小编一起看看吧... 目录mysql 数据库表操作与查询实战案例项目一：产品相关数据库设计与创建一、数据库及表结构设计二、数据库与表的创建项目二：员
阅读更多...
MybatisPlus中removeById删除数据库未变解决方案

MybatisPlus中removeById删除数据库未变解决方案

《MybatisPlus中removeById删除数据库未变解决方案》MyBatisPlus中,removeById需实体类标注@TableId注解以识别数据库主键,若字段名不一致,应通过value属... 目录MyBATisPlus中removeBypythonId删除数据库未变removeById(Se
阅读更多...
在 Spring Boot 中连接 MySQL 数据库的详细步骤

在 Spring Boot 中连接 MySQL 数据库的详细步骤

《在SpringBoot中连接MySQL数据库的详细步骤》本文介绍了SpringBoot连接MySQL数据库的流程,添加依赖、配置连接信息、创建实体类与仓库接口,通过自动配置实现数据库操作,... 目录一、添加依赖二、配置数据库连接三、创建实体类四、创建仓库接口五、创建服务类六、创建控制器七、运行应用程序八
阅读更多...
Oracle数据库定时备份脚本方式(Linux)

Oracle数据库定时备份脚本方式(Linux)

《Oracle数据库定时备份脚本方式(Linux)》文章介绍Oracle数据库自动备份方案,包含主机备份传输与备机解压导入流程,强调需提前全量删除原库数据避免报错,并需配置无密传输、定时任务及验证脚本... 目录说明主机脚本备机上自动导库脚本整个自动备份oracle数据库的过程（建议全程用root用户）总结
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2