spark的流水线受 scikit-learn项目的启发，是对流水线式工作的一种高度抽象，通常可以包含多个机器学习流程，如：源数据ETL、数据预处理工作、指标提取、模型训练、模型验证、预测新数据等多个步骤。包含以下几个步骤：        1) DataFrame:spark.ml使用的数据格式是DataFrame，该格式可以容纳多种数据类型。DataFrame的列可以用来存储：文本，特征向量、真是标签、预测值等。(如果用过pandas，那么也可以将其类比于pandas的DataFrame)        2) Transformer: Transformer是一个抽象的概念，包含了 若干特征转换和学得模型。Transformer实现了transform()方法，该方法可以将一个DataFrame转换为另一个DataFrame。比如在一个DataFrame后面增加几个列，就属于Transformer；再比如通过一个模型为一个DataFrame增加标签，那么这个模型也属于Transformer。        3) Estimator:Estimator是一个学习算法或者算法拟合或者训练数据的一个抽象概念(有点绕，翻译的不好)。可以这么理解：由于Estimator实现了fit()方法，所以只要输入是DataFrame，然后产生一个模型，那么就可以将其理解为Estimator。比如说逻辑回归算法拟合某个DataFrame的数据，就会生成一个 LogisticRegressionModel，所以一个逻辑回归算法就是Estimator。Estimator同时也是Transformer。        4）Pipeline：将多个Transfomer和Estimator连接在一起构成一个机器学习工作流。        5） Parameter：所有Transformers和 Estimators共享用于指定参数的公共API。

       一个Pipeline由若干个阶段（ stage）组成，每个阶段要么是Transformer要么是Estimator。上一个阶段的输出是下一个阶段的输入，按顺序执行各给阶段，输入的DataFrame每经过一个阶段就会被转换一次：        1）Transformer阶段通过 transform()执行DataFrame的转换；        2）Estimator阶段先通过fit()方法转换为Transformer，转换后的这个Transformer再执行transform()方法将输入的DataFrame进行转换

       上面这张图是一个处理文本的Pipeline训练示例：        1）图中上面那一行表示有三个阶段：Tokenizer(Transformer),HashingTF(Transformer),Logistic Regression(Estimator)，两个Transformer,一个Estimator。        2）图中下面那一行表示Pipeline中数据的流向,其中每一个圆柱体表示一个DataFrame。当pipeline调用fit()方法时，从初始的DataFrame开始进行操作：               a）Tokenizer.transform()将原始文本(raw text)转换为单词(words),在原始的DataFrame中新增单词列；               b）HashingTF.transform()将单词转为特征向量(feature vectors)，将这个特征向量新增到上一步产生的DataFrame中               c）由于Logistic Regression 是一个Estimator，所以调用先LogisticRegression.fit() 生成一个 LogisticRegressionModel，然后这个 LogisticRegressionModel再调用transform()方法来对输入的DataFrame进行转换。

       训练的过程做了简要介绍，接下来再对测试过程进行讲解。

       在训练阶段，构建的流水线Pipeline调用fit()后生成一个 PipelineModel，这个 PipelineModel是一个Transformer。当要使用测试数据进行测试时，让训练阶段生成的PipelineModel调用transform()方法。上图是利用这个PipelineModel进行测试的过程，可以看到测试过程和预测过程是一样的流程，拥有相同的阶段数量，只是将测试阶段LogisticRegression这个Estimator变成了Transformer。

       第三步演示了单独进行各项操作的过程，在这里演示管道化处理。