深圳大数据培训
达内深圳宝安中心

136-3244-2201

热门课程

深圳大数据培训班:大数据的分布式编程你了解吗? - 深圳达内龙岗中心

  • 时间:2017-08-03
  • 发布:深圳大数据培训
  • 来源:达内新闻

深圳大数据培训班:大数据的分布式编程你了解吗? - 深圳达内龙岗中心

 AddThis Hydra :最后在AddThis上开辟的分布式数据处置和存储系统;

AMPLab SIMR:用在hadoop MapReduce v1上运转Spark;

Apache Beam:为同一的模子和一套用于界说和履行数据处置事情流的特定SDK说话;

Apache Crunch:一个简略的Java API,用于履行在通俗的MapReduce完成时比拟枯燥的衔接、数据聚合等义务;

Apache DataFu:由LinkedIn开辟的针对Hadoop and 和Pig的用户界说的函数聚集;

Apache Flink:具备高机能的履行时间和主动法式优化;

Apache Gora:内存中的数据模子和持久性框架;

Apache Hama:BSP(全体同步并行)盘算框架;

Apache MapReduce :在集群上应用并行、分布式算法处置大数据集的编程模子;

Apache Pig :Hadoop中,用于处置数据阐发法式的高档查问说话;

Apache REEF :用来简化和同一低层大数据系统的保存性评价履行框架;

Apache S4 :S4中流处置与完成的框架;

Apache Spark :内存集群盘算框架;

apache spark Streaming :流处置框架,同时是Spark的一部分;

Apache Storm :Twitter流处置框架,也可用于YARN;

Apache Samza :基于Kafka和YARN的流处置框架;

Apache Tez :基于YARN,用于履行义务中的繁杂DAG(有向无环图);

Apache Twill :基于YARN的抽象概念,用于削减开辟分布式应用法式的繁杂度;

Cascalog:数据处置和查问库;

Cheetah :在MapReduce之上的高机能、自界说数据堆栈;

Concurrent Cascading :在Hadoop上的数据管理/阐发框架;

Damballa Parkour :用于Clojure的MapReduce库;

Datasalt Pangool :可选择的MapReduce典范;

DataTorrent StrAM :为及时引擎,用于以尽量通顺的方法、最小的开销和对机能最小的影响,完成分布式、异步、及时的内存大数据盘算;

Facebook Corona :为Hadoop做优化处置,从而打消单点毛病;

Facebook Peregrine :MapReduce框架;

Facebook Scuba :分布式内存数据存储;

Google Dataflow :创立数据管道,以赞助其阐发框架;

Netflix PigPen :为MapReduce,用于编译成Apache Pig;

Nokia Disco :由Nokia开辟的MapReduc获得、转换和阐发数据;

Google MapReduce :MapReduce框架;

Google MillWheel :容错流处置框架;

JAQL :用于处置结构化、半结构化和非结构化数据事情的声明性编程说话;

Kite :为一组库、对象、实例和文档集,用于使在Hadoop的生态系统上树立系统加倍轻易;

Metamarkets Druid :用于大数据集的及时e框架;

Onyx :分布式云盘算;

Pinterest Pinlater :异步义务履行系统;

Pydoop :用于Hadoop的Python MapReduce和HDFS API;

Rackerlabs Blueflood :多租户分布式揣测处置系统;

Stratosphere :通用集群盘算框架;

Streamdrill :用于盘算基于不同时间窗口的变乱流的运动,并找到最活泼的一个;

Tuktu :易于应用的用于分批处置和流盘算的平台,经由过程Scala、 Akka和Play所建;

Twitter Scalding:基于Cascading,用于Map Reduce事情的scala库;

Twitter Summingbird :在Twitter上应用Scalding和Storm串流MapReduce;

Twitter TSAR :Twitter上的时间序列聚合器。

想知道更多关于IT行业的信息吗?想远远不如行动,行动起来,一起加入达内,一起进入IT行业,跟着达内的脚步,一起走进如今的互联网信息时代,带给你不一样的色彩生活——【深圳大数据培训

深圳达内

上一篇:深圳大数据培训班:千万别让大数据演变成了大窥探 - 深圳达内龙岗中心
下一篇:深圳达内龙岗中心:分布式文件系统的解析 - 深圳大数据培训机构

【深圳大数据培训班】大数据的分析用例 - 深圳达内龙岗中心

深圳达内龙岗中心:什么是 图形数据模型 - 深圳大数据培训班

深圳达内龙岗中心:大数据中键值的数据模型 - 深圳大数据培训班

深圳大数据培训班:大数据的分布式编程你了解吗? - 深圳达内龙岗中心

选择城市和中心
贵州省

广西省

海南省

台湾