大数据综合平台
产品功能
大数据综合平台主要提供5款核心产品:大数据分析数据库DI Inceptor,实时计算引擎Slipstream,数据挖掘工具Discover,NoSQL数据库Hyperbase,企业搜素引擎Search.
大数据综合平台主要使用星环信息科技(上海)有限公司研发的企业级大数据平台(Transwarp Data Hub, 简称TDH),经过这些年的快速成长,不断发展成熟,在邮政、交通、金融等行业获得了大量的部署实施经验,同时向新生的大数据技术领域进行积极的拓展和探索。
产品优势
极致的性能与可扩展性
TDH的批处理速度是开源Hadoop的10-100倍,是MPP的5-10倍,可以对从GB到PB级的数据量实现复制的查询和分析。TDH具有高可扩展性,用户可以通过增加集群节点数量,线性提高系统的处理能力。
丰富的机器学习功能
Transwarp Discover支持用户通过R语言和Python开发机器学习项目,也可以用图形化的工具做分析,提供了多种算法和行业模型。
大数据上的全文搜索
Transwarp Search支持通过SQL实现大数据上的秒级全文搜索,它利用层次化存储、堆外内存管理等创新技术,极大的提高了系统的可用性。此外,Search还可以结合Inceptor提供较强的数据分析能力。
统一的安全多租户管理
Transwarp Guardian是TDH平台中实现安全控制和资源管理的中央服务平台,它支持Kerberos和LDAP认证,可以做细粒度的权限控制,并且提供租户管理功能。
低延迟的流处理
Transwarp Slipstream是同时支持事件驱动和微批处理的流处理引擎,计算延迟最低可至5ms。它提供标准的SQL编程接口,还支持高可用性(HA)和Exactly-Once的语义,从而支持7×24小时的生产业务。
容器技术与大数据平台
TDH可部署于TOS之上。TOS是为大数据应用量身订做的云操作系统,基于Docker和Kubernetes,支持一键部署TDH、扩容、缩容、同时支持基于优先级的抢占式资源调度和细粒度资源分配。
完整的SQL和ACID支持
Transwarp Inceptor是第一个实现完整SQL支持的Hadoop发行产品。它不仅支持SQL2003,Oracle PL/SQL PL,还实现了完整的ACID和CRUD功能。TDH提供JDBC和ODBC驱动连接,方便第三方工具运行于TDH之上。
多样化的数据处理功能
Transwarp Hyperbase用于存储和计算结构化或非结构化数据,包括日志记录、JSON/XML文件以及二进制数据(如图像和视频)。Hyperbase底层是KV数据库,因此其非常适合高频次的数据入库、高并发精确检索等业务。
简易的操作和管理
Transwarp Manager是专门用于部署、管理和运维TDH集群的组件。它支持产品一键安装、一键升级和图形化运维,并提供了预警和健康监测功能,帮助用户简化运维过程。
图形化的大数据开发工具套件
Transwarp Studio是TDH中的大数据开发工具Transporter、Cube设计工具Rubik、报表工具Pilot、日志监控工具Milano以及数据分析平台Zeppelin。用户可以使用这些图形工具来提高大数据的开发效率,降低技术门槛。