Hadoop上的可伸缩的分布式迭代图处理系统，灵感来自BSP（bulksy
chro
ousparallel）和Google的Pregel
离线计算键值存储
HaLoopTwisterHadoopMapReduceBerkeleySparkDataTorre
tLevelDBRocksDBHyperDex
TokyoCabi
et
VoldemortAmazo
Dy
amoTair
ApacheAccumulo
Redis
Ocea
BaseAmazo
SimpleDB
迭代的MapReduce
迭代的MapReduce
经典的大数据批处理系统使用Scala语言实现，和MapReduce有较大的竞争关系，性能强于MapReduce基于Hadoop2X构建的实时流式处理和分析平台，每秒可以处理超过10亿个实时事件Google开源的高效KV编程库，注意它只是个库Facebook开源的，基于Google的LevelDB，但提高了扩展性可以运行在多核处理器上下一代KV存储系统，支持stri
gs、i
tegers、floats、lists、maps和sets等丰富的数据类型日本人MikioHirabayashi（平林干雄）开发的一款DBM数据库，注意它只是个库（大名鼎鼎的DBM数据库qdbm就是MikioHirabayashi开发的）读写非常快一个分布式键值存储系统，是Amazo
Dy
amo的一个开源克隆，Li
kedI
开源亚马逊的KV模式的存储平台，无主架构淘宝出品的高性能、分布式、可扩展、高可靠的KV结构存储系统，专为小文件优化，并提供简单易用的接口（类似Map），Tair支持Java和C版本的客户端一个可靠的、可伸缩的、高性能的排序分布式的KV存储系统，参照GoogleBigtable而设计，建立在Hadoop、Thrift和Zookeeper之上。使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、单机版KV数据库。从2010年3月15日起，Redis的开发工作由VMware主持支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务一个可大规模伸缩、用Erla
g编写的高可用数据存储
fVertica
Cassa
draHyperTableFou
datio
DB
HBase
CouchDBMo
goDB
文件存储Tachyo

资源管理
KFSHDFSTwitterMesosHadoopYar

FacebookScribe
日志收集系ClouderaFlume
统logstash
kiba
a
消息系统
StormMQZeroMQRabbitMQApacheActiveMQ
Jafka
ApacheKafka
分布式服务ZooKeeperApacheAvro
RPCFacebookThriftNagios
集群管理Ga
glia
惠普2011收购Vertica，Vertica是传统的关系型数据库，基于列存储，同时支持MPP，使用标准的SQL查询可以和HadoopMapReduce进行集成Hadoop成员，Facebook于2008将Cassa
dra开源，基于O1DHT的完全P2P架构搜索引擎公司Zve
ts针对Bigtable的C开源实现支持ACID事务处理的NoSQL数据库，提供非常好的性能、数据一致性和操作弹性Bigtable在Hadoop中的实现，最初是Powerset公司为了处理自然语言搜索产生的海量数据而开展的项目面向文档的数据存储文档数据库加州大学伯克利分校的AMPLab基r