Basho 数据平台支持内存内分析、缓存、搜索及集成 NoSQL 数据库

  • Srini Penchikala
  • 谢丽

2015 年 7 月 9 日

话题:DevOps大数据语言 & 开发架构AI

Basho 数据平台支持集成像Redis这样的 NoSQL 数据库、内存在分析、缓存及搜索。Basho Technologies 是 Riak NoSQL 数据库的母公司。它在 5 月份宣布,其数据平台可以用于部署和管理大数据、IoT 和混合云应用程序。该平台集成了分布式 NoSQL 数据库Riak KV(以前的 Riak)和Riak S2(以前的 Riak CS),并集成了Apache Spark用于内存内分析,集成 Redis 作为缓存以提升性能,集成 Apache Solr 实现查询功能。

Basho 数据平台服务分为三类:核心服务存储实例服务实例。有些组织需要数据库具有可扩展性和多模型支持,并集成像 Redis 和 Apache Solr 这样的配套技术,该平台的构建目标就是简化他们的操作。缓存和内存内分析有助于针对活动负载的数据处理。

下面是 Basho 数据平台特性的一些细节:

实时内存内分析:该平台借助Apache Spark 连接器实现实时内存内分析,具有数据高可用、集群同步等特性,而且 Spark 集群管理不需要使用 Zookeeper。Spark 连接器会自动在 Apache Spark 实例和 Riak KV 数据库之间同步数据,用于批处理和实时分析。

集成缓存:通过集成 Redis 缓存提高读性能,让用户可以从 Riak KV 向 Redis 缓存复制和同步数据。Redis 服务由 Basho 数据平台管理,简化了当前大数据应用程序中所需要的手工编码。另外,该平台还内置了集群管理、高可用性和自动数据分片等功能。

搜索Apache Solr 附加组件将 Riak 分布式数据库的优势与 Apache Solr 的全文搜索功能相结合。当数据发生变化时,搜索索引会自动同步(transparent indexing),而一体化查询让使用 Apache Solr 查询 Riak KV 数据集变得非常容易。另外,该平台还支持 Solr 客户端查询 API,便于同现有的软件解决方案相集成。

通过“编排服务(Orchestration Services)”操作:Basho 数据平台集群管理允许下载和部署 Riak KV、Apache Spark 和 Redis 实例。自动检测和自动重启故障实例优化了操作,保证了高可用性。它使用 Spark 维护配置信息、命名及提供分布式同步,而不需要 Zookeeper。对于 Redis,用户可以自动在多个缓存服务器之间进行数据分片,与人工实现分片相比,缩短了时间,并减少了相关错误。

数据复制和同步:这些分布式应用程序组件之间的数据复制和同步由平台控制,而且平台支持多数据模型,包括键值存储和对象存储。数据及索引的复制与同步确保了数据访问和数据准确性,假如 Redis 或 Spark 实例因为网络、系统故障或其它连接故障而不可用,也不会丢失数据。该特性还包含 Solr 和 Riak KV 索引的自动同步,以及 Riak KV 和 Redis 缓存之间的数据复制和同步。

查看英文原文:Basho Data Platform Supports In-Memory Analytics, Caching, Search and Integration with NoSQL

DevOps大数据语言 & 开发架构AI