Dremio 2.0增加了数据反射的改进 对查找器的支持和对Azure数据湖存储的连接

Dremio是一个数据虚拟化和查询加速层,它将标准BI工具与关系、NoSql和云数据源集合以及各种大型文件系统连接起来。该产品利用Apache Arrow的技术来创建所谓的数据反射,这在不复制查询数据的情况下大大加快了查询速度。

该公司的创始人,CEO Tomer Shiran和CTO Jaques Nadeau都来自MapR,除了在阿帕奇绿箭项目中担任领导角色外,他们都积极参与了阿帕奇钻井项目。

也读:阿帕奇箭头统一内存大数据系统也读:启动Dremio从隐形,启动基于内存的BI查询引擎

Arrow提供了一种表示内存中柱状数据的统一格式,允许支持Arrow的应用程序共享这些数据,而无需将其从一个应用程序的柱状格式转换为行存储格式,然后在另一个应用程序的柱状表示中重新编码。

Dremio利用Apache Arrow的技术来创建所谓的数据反射,这在不复制查询数据的情况下大大加快了查询速度。本质上,通过提供用于聚合分析的数据的柱状

在这个新版本的产品中,反射在几个方面得到了改进。首先,他们现在可以识别和优化源数据系统中存储在星型或雪花型模式中的数据(其中,指标存储在单个“事实表”中,而向下钻取类别存储在自己的相关“维度表”中)。这种改进允许Dremio通过连接来加速对事实表和维度表集合的查询,而不是只对单个表进行优化。这个新的Dremio版本还增加了向量处理能力,以获得更快的性能。

Dremio学习代理添加了一个新的学习引擎,它可以观察用户执行的查询,并且基于常见的观察模式,可以建议将某些其他的表引入到给定的查询中。此外,通过添加对Azure数据湖存储和Amazon S3的支持,该产品实现了其与其他数据库和数据存储产品一起分析基于云的数据湖的承诺。

Lookie remio 2.0还添加了对Looker作为前端的显式支持。因此,虽然你仍然可以使用Tableau、Power BI和Qlik等工具,但业内新的可视化数据宠儿也会发挥作用。这项工作是建立在两家公司正式合作的基础上的。

一个与Dremio中的数据相连接的仪表盘。

安全,连接和更多!其他新特性包括将Dremio自己的基于角色的访问控制安全性与LDAP商店(如Microsoft Active Directory)集成。这允许对存储在Dremio自己的用户管理系统中的特定行或列的权限级别的访问控制,但是集成了在Active Directory中创建的用户和组,以及其他类似的存储。Dremio 2.0还增加了对ElasticSearch和MongoDB的支持。

这对于一个版本来说是很多的,但是请记住,这是一个真正的升级,而不仅仅是一个安全补丁。下载和安装将会花费更多的时间,但是这应该是值得的。

(0)
上一篇 2022年4月6日
下一篇 2022年4月6日

相关推荐