大数据综合平台

产品功能

大数据综合平台主要提供5款核心产品:大数据分析数据库DI Inceptor,实时计算引擎Slipstream,数据挖掘工具Discover,NoSQL数据库Hyperbase,企业搜素引擎Search.

大数据综合平台主要使用星环信息科技(上海)有限公司研发的企业级大数据平台(Transwarp Data Hub, 简称TDH),经过这些年的快速成长,不断发展成熟,在邮政、交通、金融等行业获得了大量的部署实施经验,同时向新生的大数据技术领域进行积极的拓展和探索。

产品优势

极致的性能与可扩展性

TDH的批处理速度是开源Hadoop的10-100倍,是MPP的5-10倍,可以对从GB到PB级的数据量实现复制的查询和分析。TDH具有高可扩展性,用户可以通过增加集群节点数量,线性提高系统的处理能力。

丰富的机器学习功能

Transwarp Discover支持用户通过R语言和Python开发机器学习项目,也可以用图形化的工具做分析,提供了多种算法和行业模型。

大数据上的全文搜索

Transwarp Search支持通过SQL实现大数据上的秒级全文搜索,它利用层次化存储、堆外内存管理等创新技术,极大的提高了系统的可用性。此外,Search还可以结合Inceptor提供较强的数据分析能力。

统一的安全多租户管理

Transwarp Guardian是TDH平台中实现安全控制和资源管理的中央服务平台,它支持Kerberos和LDAP认证,可以做细粒度的权限控制,并且提供租户管理功能。

低延迟的流处理

Transwarp Slipstream是同时支持事件驱动和微批处理的流处理引擎,计算延迟最低可至5ms。它提供标准的SQL编程接口,还支持高可用性(HA)和Exactly-Once的语义,从而支持7×24小时的生产业务。

容器技术与大数据平台

TDH可部署于TOS之上。TOS是为大数据应用量身订做的云操作系统,基于Docker和Kubernetes,支持一键部署TDH、扩容、缩容、同时支持基于优先级的抢占式资源调度和细粒度资源分配。

完整的SQL和ACID支持

Transwarp Inceptor是第一个实现完整SQL支持的Hadoop发行产品。它不仅支持SQL2003,Oracle PL/SQL PL,还实现了完整的ACID和CRUD功能。TDH提供JDBC和ODBC驱动连接,方便第三方工具运行于TDH之上。

多样化的数据处理功能

Transwarp Hyperbase用于存储和计算结构化或非结构化数据,包括日志记录、JSON/XML文件以及二进制数据(如图像和视频)。Hyperbase底层是KV数据库,因此其非常适合高频次的数据入库、高并发精确检索等业务。

简易的操作和管理

Transwarp Manager是专门用于部署、管理和运维TDH集群的组件。它支持产品一键安装、一键升级和图形化运维,并提供了预警和健康监测功能,帮助用户简化运维过程。

图形化的大数据开发工具套件

Transwarp Studio是TDH中的大数据开发工具Transporter、Cube设计工具Rubik、报表工具Pilot、日志监控工具Milano以及数据分析平台Zeppelin。用户可以使用这些图形工具来提高大数据的开发效率,降低技术门槛。