11 KiB
什么是实时数仓Hologres
更新时间:
__我的收藏
本文为您介绍什么是实时数仓Hologres以及Hologres的功能。
Hologres是阿里巴巴自主研发的一站式实时数仓引擎(Real-Time Data Warehouse),支持海量数据实时写入、实时更新、实时加工、实时分析,支持标准[SQL](https://www.aliyun.com/getting- started/what-is/what-is-sql)(兼容[PostgreSQL](https://www.aliyun.com/getting- started/what-is/what-is- postgresql)协议和语法,支持大部分PostgreSQL函数),支持PB级数据多维分析([OLAP](https://www.aliyun.com/getting- started/what-is/what-is-olap))与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),支持多种负载的细粒度隔离与企业级安全能力,与[MaxCompute](https://help.aliyun.com/zh/maxcompute/product- overview/what-is-maxcompute)、[Flink](https://help.aliyun.com/zh/flink/product- overview/what-is-alibaba-cloud-realtime-compute-for-apache- flink)、[DataWorks](https://help.aliyun.com/zh/dataworks/product-overview/what- is-dataworks)深度融合,提供企业级离在线一体化全栈数仓解决方案。
Hologres致力于高性能、高可靠、低成本、可扩展的实时数仓引擎研发,为用户提供海量数据的实时数据仓库解决方案和亚秒级交互式查询服务,广泛应用在实时数据中台建设、精细化分析、自助式分析、营销画像、人群圈选、实时风控等场景。
前置概念
阅读本文前,您可按需了解基础概念:[什么是数据仓库?](https://www.aliyun.com/getting-started/what- is/what-is-a-data-warehouse)
功能特性
- 多场景查询分析
Hologres支持行存、列存、行列共存等多种存储模式和索引类型,同时满足简单查询、复杂查询、即席查询等多样化的分析查询需求。Hologres使用大规模并行处理架构,分布式处理SQL,提高资源利用率,实现海量数据极速分析。
* 亚秒级交互式分析
Hologres采用可扩展的大规模并行处理(MPP)架构全并行计算,通过向量化算子发挥[CPU](https://www.aliyun.com/getting- started/what-is/what-is-cpu)最佳算力,基于AliORC压缩存储,面向SSD存储优化IO吞吐,支持PB级数据亚秒级交互式分析体验。
* 在线高性能主键点查
基于行存表的主键索引和查询引擎的短路径优化,Hologres支持每秒数十万QPS高性能在线点查、前缀扫描,支持高吞吐实时更新,相比开源系统性能提升10倍以上,可用于实时加工链路的维表关联、ID- Mapping等场景。
* 联邦查询,[数据湖](https://www.aliyun.com/getting-started/what-is/what-is-data-lake)加速
Hologres无缝对接MaxCompute,支持外部表透明加速查询和元数据自动导入,相比原生MaxCompute访问加速5-10倍,支持冷热数据关联分析,同时支持MaxCompute与Hologres之间百万行每秒高速同步,支持OSS数据湖格式读写,简化数据入湖入仓。
* 半结构数据分析
原生支持半结构化JSON数据类型,支持JSONB列式存储压缩,支持丰富的JSON相关表达算子,使JSON数据存储和分析效率接近原生列存效率。
- 原生实时数仓
针对实时数仓数据更新频繁、数据模型简单和分析场景敏捷的特性,Hologres支持高并发实时写入与更新,支持事务隔离与原子性,数据写入即可查。
* 高吞吐实时写入与更新
Hologres与Flink、Spark等计算框架原生集成,通过内置Connector,支持高通量数据实时写入与更新,支持源表、结果表、维度表多种场景,支持多流合并等复杂操作。
* 所见即所得的开发
数据实时写入即可查询,支持DB、Schema、Table三级体系,支持视图View,原生支持Update/Delete/Upsert,支持关联、嵌套、窗口等丰富表达能力,原生支持半结构化JSON数据分析,支持[MySQL](https://www.aliyun.com/getting- started/what-is/what-is-mysql)等数据库数据整库一键入库,实时同步。
* 全链路事件驱动
支持表更新事件的Binlog透出能力,通过Flink消费Hologres Binlog,实现数仓层次间全链路实时开发,满足分层治理的前提下,缩短数据加工端到端延迟。
* 实时物化视图
支持定义实时物化视图,简化数据加工聚合等开发,数据实时写入,聚合实时更新,完善支持实时加工场景。
- 企业级运维能力
支持计算负载、访问权限等细粒度管控要求,提供丰富的监控和告警指标,支持计算资源弹性扩展,支持系统热升级,满足企业级安全可靠的运维需求。
* 数据安全
支持细粒度访问控制策略,支持BYOK数据存储加密和数据脱敏,支持数据保护伞、IP白名单,支持RAM、STS及独立账号等多种认证体系,通过PCI- DSS安全认证。支持[数据备份](https://www.aliyun.com/getting-started/what-is/what-is-data- backup)与恢复。
* 负载隔离
多个计算实例组成一主多从模式,实例间共享一份存储,计算资源隔离,实现写入和读取隔离,查询和服务隔离,实现故障管理,支持故障节点快速自动恢复。无需本地盘,盘古三副本高可靠冗余存储。
* 自运维能力
内置查询历史、元仓表等运维诊断信息,用户可以基于查询历史和表的元数据,快速定位系统瓶颈和风险点,提升自运维能力。
- 生态与可扩展性
兼容PostgreSQL生态,与大数据计算引擎及大数据智能研发平台DataWorks无缝打通。无需额外学习,即可上手开发。
* 兼容PostgreSQL生态
Hologres兼容PostgreSQL生态,提供JDBC/ODBC接口,轻松对接第三方[ETL](https://www.aliyun.com/getting- started/what-is/what-is-etl)和BI工具,包括Quick BI、DataV、Tableau、帆软等。支持GIS空间数据分析,支持Oracle函数扩展包。
* DataWorks开发集成
Hologres与DataWorks深度集成,提供图形化、智能化、一站式的数仓搭建和交互式分析服务工具,支持数据资产、数据血缘、数据实时同步、数据服务等企业级能力。
* Hadoop生态集成
支持Hive/Spark Connector,通过Hadoop平台加工的数据可以高吞吐导入Hologres,并对外提供服务。支持加速读取外部表OSS- HDFS格式存储,支持Hudi、Delta等存储格式。
* 达摩院Proxima向量检索
Hologres与人工智能平台 PAI紧密结合,内置达摩院Proxima向量检索插件,支持在线实时特征存储、实时召回、向量检索。
该文章对您有帮助吗?
______反馈
为什么选择阿里云
[什么是云计算](https://www.aliyun.com/about/what-is-cloud- computing)全球基础设施[技术领先](https://www.aliyun.com/why- us/leading-technology)[稳定可靠](https://www.aliyun.com/why- us/reliability)[安全合规](https://www.aliyun.com/why-us/security- compliance)分析师报告
产品和定价
全部产品免费试用产品动态产品定价配置报价器[云上成本管理](https://www.aliyun.com/price/cost- management)
解决方案
文档与社区
权益中心
支持与服务
关注阿里云
关注阿里云公众号或下载阿里云APP,关注云资讯,随时随地运维管控云服务
联系我们:4008013260
法律声明[Cookies政策](https://terms.alicdn.com/legal- agreement/terms/platform_service/20220906101446934/20220906101446934.html)廉正举报安全举报联系我们加入我们
友情链接
阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么
© 2009-2025 Aliyun.com 版权所有 增值电信业务经营许可证: 浙B2-20080101 域名注册服务机构许可: 浙D3-20210002