Hive profile

padluo

@padluo

158 followers 8 following 25 posts Reputation 31.17

padluo
@padluo Jul 19, 2018, 4:33 AM UTC

从用户连续活跃的最大天数说起

### 问题引入最近经常碰到这样的问题，每天每个城市播放最多的10首歌，某月每支股票连续下跌/上涨的最大天数，用户连续活跃的最大天数，初步看起来都和分析函数相关，考验逻辑思维和写复杂SQL的能力。 ### 以用户连续活跃的最大天数为例以Oracle的分析函数语法说明，首先模拟一些用户活跃的数据， -- 建表语句 DROP TABLE sigin; create table sigin( us…

1 upvotes 2 replies $0.00
padluo
@padluo Jul 1, 2018, 7:02 AM UTC

Series和DataFrame的数据取值与选择

### 数据取值与选择 NumPy数据取值的方法，包括取值操作（如arr[2, 1]）、切片操作（如arr[:, 1:5]）、掩码操作（如arr[arr > 0]）、花哨的索引操作（如arr[0, [1, 5]]），以及组合操作（如arr[:, [1, 5]]）。在NumPy的二维数组里，data[0]返回第一行，而在DataFrame中，data['col0']返回第一列。 pytho…

4 upvotes 3 replies $0.00
padluo
@padluo May 24, 2018, 1:35 PM UTC

Spark实战（6）_spark-sql -e -f -i命令的整合和spark-sql日常作业开发流程总结

### 背景介绍在日常工作中，我们可以在一个shell脚本里面利用spark-sql -e执行sql脚本，而且可以传参数，但是存在一个问题，shell脚本对格式要求严格，而且shell脚本和spark-sql的脚本混在一起，内容庞大凌乱，不好管理。而spark-sql -f可以执行一个hql文件，但是不能传参数进去，这就引出了一个问题，有没有一种方法，既可以把shell和hql脚本分开，she…

0 upvotes 0 replies $0.00
padluo
@padluo May 10, 2018, 10:17 AM UTC

Spark实战（5）_Spark Core核心编程

### Spark版本 cdh5.9.0集成的spark的版本1.6.0，集成的hadoop版本2.6.0。查看的网址： http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.9.0/ 如果用cdh5.9.0 parcels离线安装自带的spark(on yarn)，启动时提示缺少包，需要修改spark-env.sh的配置SPARK_DIS…

2 upvotes 2 replies $0.01
padluo
@padluo May 5, 2018, 3:55 PM UTC

Scala的Class、Object、Trait

### 开发环境 ideaIU或ideaIC。 idea的scala插件，File-Setting-Plugins，搜索scala在线安装，或下载后离线安装Install plugin from disk。加载scala的包，Project Structure，Global Libraries，添加scala-sdk。 ### 基础 scala中，break和continue的实现， pack…

1 upvotes 0 replies $0.00
padluo
@padluo Apr 30, 2018, 3:42 PM UTC

Spark实战（4）_Master原理剖析与源码分析

### 主备切换机制原理剖析 Master可以配置两个，Spark原生的standalone模式支持Master主备切换。 Spark Master主备切换可以基于两种机制，一种是基于文件系统的，一种是基于ZooKeeper的，基于文件系统的主备切换机制，需要在Active Master挂掉之后，手动去切换到Standby Master上。基于ZooKeeper的主备切换机制，可以实现自动切换M…

4 upvotes 1 replies $0.00
padluo
@padluo Apr 29, 2018, 1:29 AM UTC

Spark实战（3）_SparkContext原理剖析与源码分析

### TaskScheduler的初始化机制 TaskScheduler，如何注册Application，executor如何反向注册？ 1. createTaskScheduler()，内部会创建三个东西。 2. 一是TaskSchedulerImpl，它其实就是我们所说的TaskScheduler。 3. 二是SparkDeploySchedulerBackend，它在底层会负责接收Tas…

5 upvotes 0 replies $0.00
padluo
@padluo Apr 26, 2018, 10:01 AM UTC

Spark实战（2）_Spark内核架构剖析

### Standalone模式 1. 提交Spark应用的机器，Application（自己的Spark程序），spark-submit（shell）提交Application。 2. Driver（启动一个进程），spark-submit使用Standalone模式提交Application的时候，其实会通过反射的方式，（在本机/客户端）创建和构造一个DriverActor进程出来。 3.…

3 upvotes 1 replies $0.00
padluo
@padluo Mar 27, 2018, 3:35 AM UTC

Scala学习笔记05_面向对象编程之类和对象

### 定义一个简单的类 // 定义类，包含field及方法 scala> :paste // Entering paste mode (ctrl-D to finish) class HelloWorld { private var name = "leo" def sayHello() {print("Hello, " + name)} def getName = name } //…

4 upvotes 1 replies $0.00
padluo
@padluo Mar 26, 2018, 9:58 AM UTC

Scala学习笔记04_Map与Tuple

### 创建Map // 创建一个不可变的Map scala> val ages = Map("Leo" -> 30, "Jen" -> 25, "Jack" -> 23) scala> val ages = Map("Leo" -> 30, "Jen" -> 25, "Jack" -> 23) ages: scala.collection.imm…

1 upvotes 0 replies $0.00