腾讯大数据处理套件TBDS

腾讯大数据处理套件（TencentBig Data Suite，TBDS）是基于腾讯多年海量数据处理经验，对外提供的可靠、安全、易用的大数据处理平台。您可以借助TBDS在公有云、私有云、非云化环境，根据不同数据处理需求选择合适的大数据分析引擎和相应的实时数据开发、离线数据开发以及算法开发服务，来构建您的数据仓库、用户画像、精准推荐、风险管控等大数据应用服务。   

功能

腾讯大数据套件TBDS 是可靠、安全、易用的一站式大数据处理平台，能够用于构建数据仓库、用户画像、精准推荐等大数据应用。

全链路数据开发

易用、安全、稳定、高性能的全链路大数据开发引擎。提供拖拽式的可视化数据开发IDE，为用户的大数据集成、存储、计算环节提供完整而稳定的企业级解决方案。用户能借助于大数据套件获取到强大的大数据开发能力，聚焦于进行企业的业务创新。

多渠道数据集成

• 支持Tube、Kafka 的数据实时接入。

• 支持Mysql、Postgre、Oracle 等主流关系数据库高效导入，支持文本类日志数据离线导入。

• 支持高强度数据压缩及加密传输，历经每天峰值1.46P、5万亿条数据接入考验。

企业级大数据存储解决方案

• 支持块存储、分布式文件、对象存储、SQL、NoSQL从 GB 到 PB 量级的存储解决方案，满足企业客户复杂存储应用场景。

• 存储系统高可靠容灾设计,可靠性可达99.996%，用户按需选择数据热备数量，支持冷热数据分治，支持数据冷备策略自定义。

• 高可扩展设计，存储系统可动态随企业数据量增加从G 到 P 级的动态扩容，支持系统不停机动态扩容。集群数据平衡成本Zui小化。

离线批处理计算

• 支持MapReduce、Hive 等批处理计算作业。

• 支持Spark 分布式内存计算框架，以支持复杂的数据挖掘算法和图计算算法。

• 支持丰富的作业调度策略，包含分钟、小时、天、月级周期或非周期的任务执行策略。

实时流处理计算

• 支持TStorm（腾讯对社区 Storm 流处理引擎重写的 java 版本）、Storm流式任务作业引擎，覆盖实时要求极高的流式作业场景。

• 支持基于Spark 上的 Spark Streaming，满足毫秒级的实时计算场景需求，如实时推荐、用户行为分析等。

可视化工作流开发IDE

拖拽式的工作流开发IDE，简单 Web 式拖拽操作来完成整个大数据工作流的任务开发。内置丰富的处理器，囊括离线数据导入导出、在线实时数据接入、Java程序、Shell 脚本、机器学习等多种任务的配置集成。

文本检索及检索分析

迁级纬度、千亿数据规模下向用户提供毫秒级高性能检索分析服务，满足用户的检索分析场景需求。