SparkStreaming通过Kafka获取数据（Receiver方式） Spark allengao 2018年2月12日2018年2月23日 Comments Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：
SparkStreaming通过Flume获取数据（单机，push和poll两种方式）的实现 Spark allengao 2018年2月12日2018年2月12日 Comments Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，
利用NetCat实现sparkstreaming按批次累加小练习 Spark allengao 2018年2月11日 Comments netcat是网络工具中的瑞士军刀，它能通过TCP和UDP在网络中读写数据。
基于Spark2.0搭建Hive on Spark环境(Mysql本地和远程两种情况) Spark allengao 2018年2月9日2018年2月9日 Comments hive on spark大体与SparkSQL结构类似，只是SQL引擎不同，但是计算引擎都是spark！
Spark项目练习（实现自定义排序） Spark allengao 2018年2月2日 Comments 在实际操作中，sortBy算子往往不能满足数据多种排序的需求，这就需要我们使用自定义排序来实现，以下是实现简单的自定义排序的两种方法，起到抛砖引玉的作用。