Kettl基于Sakila数据库的客户兴趣邮件推送

基于Mysql的样本数据库Sakila，获取顾客消费记录和顾客信息写入数据库，并从消费记录中分析出顾客感兴趣的产品表单，定期从表单中选出产品进行Email推送。

• 项目总览
• 建立第一个转换“客户消费记录”
  “客户消费记录”转换主要目的是获取客户的个人信息，消费信息以及产品信息合并写入表customer_consumption（客户消费）表中，主要分为三次“表连接”。
  转换中读取了inventory表和rental表，都根据invnetory_id升序排列，然后进行数据连接。数据连接中，是以rental表为主表进行左连接，目的是保持消费事实，因为rantal表记录的是客户消费记录，所以一切得以事实为基础。
• “第一次表连接”：
  
  连接效果如下图：
• “第二次表连接”，在获取了消费记录的基础上，添加顾客的个人信息。
  在“第二次表连接”中，读取customer表的时候，使用了JavaScript脚本，因为顾客姓名在数据库中是以“姓”和“名”分开存储的，所以脚本的目的是将姓名拼接。然后根据customer_id升序排列，同样的将第一次连接的表根据customer_id升序排列，进行“第二次表连接”。
  连接效果如下图：
• “第三次表连接”主要是将客户消费的产品信息添加至记录中。“第三次表连接”中，在记录集连接2字后添加了一个字段选择步骤，其目的是筛选出所需要的字段，将没用的字段过滤，比如更新时间，电影角色等。表输入film_list，都根据FID（film_id）排序，进行数据连接。
  连接效果如下图：
  
  最后一步是“表输出”，将前面三次连接得到的记录，通过customer_id升序排列，在选择出所需要的字段，然后输出到表customer_consumption中。该步骤中，使用了“插入/更新”插件，是能及时更新新的客户消费记录，并添加其消费记录，并保持历史数据。插入/更新的判定条件是customer_id（顾客唯一ID）和renta_date（消费日期），这里面的customer_id的更新设置为Y值是因为customer_consumption表是自增主键。

客户消费记录的最终结果（数据库结果）如下图：

• 建立“客户兴趣记录”转换
  “客户兴趣记录”转换结构比较简单，就是表输入和表输出。通过从表customer_consumption读出数据写入表customer_Interest_record（客户兴趣记录）表中。
  但是表输入读取的却不是customer_consumption的原记录，而是经过统计得到的新记录。具体如下图：
  这段SQL查询语句的目的是，从customer_consumption表中统计每个顾客所消费的产品的种类。然后输出到表customer_Interest_record中，如下图：
• 建立“客户兴趣统计”转换
  
  和“客户兴趣记录”转换一样，“客户兴趣记录统计”转换结构简单，但是customer_Interest_record表输入，较复杂。如下图：customer_Interest_record表输入这段SQL语句的目的是，将customer_Interest_record表中客户消费产品次数最多的值查询出来，并写入表Interest中。
  这里是实现“兴趣算法”的第一步，找出客户产品消费中，产品类型最多的值，这里便初步确定了客户的兴趣。表Interest（数据库）如下图：
  
• 建立“客户兴趣横向分析”转换
  该转换实现了客户的兴趣选择，并随机从客户的兴趣产品中选出一项进行邮件推送。
  
• 数据集连接
  读取Interest表，根据customer_id排序，再读取customer_Interest_record表，根据customer_id排序，将数据连接。这里的连接是根据customer_id连接的，两者customer_id在值和数量上都是一样的，因为Interest表来自customer_Interest_record。连接效果如下图：
• JavaScript脚本处理
  这里先来看JavaScript脚本：前面合并了Interest表和customer_Interest_record表，表内容是customer_id和各category（类型）的统计，以及最后的Interest_record（是每一行统计里的最大的值），JavaScript脚本的目的是将Interest_record的值所对应的category选择出来，这样便得到了客户感兴趣的产品类型。效果如下图：注意图最左端的record字段，记录的便是客户可能感兴趣的产品类型。但是这里面的record字段记录的都是一个值，也就是说，当客户消费各种类型的产品次数相等时，就应该有多种类型产品是客户感兴趣的。当这种情况的时候，就得对客户感兴趣的类型进行随机选择一种作为推送。实现这一步，就得看上一步的“字段选择”： 分析JavaScript脚本，是通过if…else if… 语句实现对感兴趣类型的选择。也就是说，当数据的一行中有多个相同的值，而这个值也是最大的值，即Interest_record的值，record只会记录数据列里的第一个字段。这个时候为了实现对类型的不同选择，就通过字段选择来将各个字段排序，管理者可以不定期的随机排序，以便随机选择类型。由于JavaScript脚本的限制，customer_id和Interest_record始终只能排在1，2位置。
• 笛卡尔积
  这个步骤得到了客户感兴趣类型下所有的产品信息和客户信息。通过record字段和category字段相等进行连接：效果如下图：
• 数据采样
  该步骤是实现“兴趣算法”的最后一步，对客户感兴趣的产品进行随机抽取。“字段选择3”中，筛选了有用信息的字段，然后连接了分组和数据采样。
  分组，如下图：分组效果，如下图：
  数据采样，如下图：
  该步骤，**确定了所需要推送的条数（Sample size）以及每次抽取的跳数（Random seed）。**管理可以根据自己的需求确定每次所需要推送的信息量，而Random seed则需要根据分组的数据为参考，这样才使得不向同一位顾客在连续时间内发送两份兴趣推送邮件的几率减小。
• 邮件推送
  最后一个步骤就是简单的将客户感兴趣产品信息和客户信息连接在一起，向“发送邮件”插件输入字段，选择内容进行邮件发送。步骤内容与前面“表连接”一样，这里不再赘述。
• 项目代码
• “姓名拼接”JavaScript：

var allname = first_name + " " + last_name

• customer_consumption表 统计输入SQL代码：

SELECT customer_id,
sum( case when category='Action' then 1 else 0 end) as Action2,
sum( case when category='Animation' then 1 else 0 end) as Animation,
sum( case when category='Children' then 1 else 0 end) as children,
sum( case when category='Classics' then 1 else 0 end) as Classics,
sum( case when category='Comedy' then 1 else 0 end) as Comedy,
sum( case when category='Documentary' then 1 else 0 end) as Documentary,
sum( case when category='Drama' then 1 else 0 end) as Drama,
sum( case when category='Family' then 1 else 0 end) as Family,
sum( case when category='Foreign' then 1 else 0 end) as Foreign2,
sum( case when category='Games' then 1 else 0 end) as Games,
sum( case when category='Horror' then 1 else 0 end) as Horror,
sum( case when category='Music' then 1 else 0 end) as Music,
sum( case when category='New' then 1 else 0 end) as New2,
sum( case when category='Sci-Fi' then 1 else 0 end) as SciFi,
sum( case when category='Sports' then 1 else 0 end) as Sports,
sum( case when category='Travel' then 1 else 0 end) as Travel
FROM customer_consumption
group by customer_id

• customer_Interest_record表统计SQL代码：

SELECT customer_id,max(col) as Interest_record from
(select customer_id,Action2 as col from customer_Interest_record union all
select	customer_id,Animation as col from customer_Interest_record union all
select	customer_id,Children as col from customer_Interest_record union all
select	customer_id,Classics as col from customer_Interest_record union all
select	customer_id,Comedy as col from customer_Interest_record union	all
select	customer_id,Documentary as col from customer_Interest_record union all
select	customer_id,Drama as col from customer_Interest_record union all
select	customer_id,Family as col from customer_Interest_record union all
select	customer_id,Foreign2 as col from customer_Interest_record union all
select	customer_id,Games as col from customer_Interest_record union all
select	customer_id,Horror as col from customer_Interest_record union	all
select	customer_id,Music as col from customer_Interest_record union all
select	customer_id,New2  as col from customer_Interest_record  union all
select	customer_id,SciFi as col from customer_Interest_record union all
select	customer_id,Sports as col from customer_Interest_record union	all
select	customer_id,Travel as col from customer_Interest_record ) tmp
group by customer_id
order by customer_id

• JavaScript脚本处理

if(row[2] == row[1]){
var record =  "Action";
}
else if(row[3] == row[1]){
var record = "Animation";
}
else if(row[4] == row[1]){
var record =  "Children";
}
else if(row[5] == row[1]){
var record =  "Classics";
}
else if(row[6] == row[1]){
var record =  "Comedy";
}
else if(row[7] == row[1]){
var record = "Documentary";
}
else if(row[8] == row[1]){
var record =  "Drama";
}
else if(row[9] == row[1]){
var record = "Family";
}
else if(row[10] == row[1]){
var record =  "Foreign";
}
else if(row[11] == row[1]){
var record =   "Games";
}
else if(row[12] == row[1]){
var record =  "Horror";
}
else if(row[13] == row[1]){
var record =  "Music";
}
else if(row[14] == row[1]){
record =  "New";
}
else if(row[15] == row[1]){
record =  "Sci-Fi";
}
else if(row[16] == row[1]){
record =  "Sports";
}
else if(row[17] == row[1]){
record =  "Travel";
}