Clementine示例05-神经网络

神经网络是一种仿生物学技术，通过建立不同类型的神经网络可以对数据进行预存、分类等操作。示例goodlearn.str通过对促销前后商品销售收入的比较，判断促销手段是否对增加商品收益有关。Clementine提供了多种预测模型，包括Nerual Net、Regression和Logistic。这里我们用神经网络结点建模，评价该模型的优良以及对新的促销方案进行评估。

Step一：读入数据，本示例的数据文件保存为GOODS1n，我们向数据流程区添加Var.File结点，并将数据文件读入该结点。

Step二、计算促销前后销售额的变化率向数据流增加一个Derive结点，将该结点命名为Increase。

在公式栏中输入(After-Before)/Before*100.0以此来计算促销前后销售额的变化

Step三：为数据设置字段格式添加一个Type结点到数据流中。由于在制定促销方案前我们并不知道促销后商品的销售额，所以将字段After的Direction属性设置为None；神经网络模型需要一个输出，这里我们将Increase字段的Direction设置为Out，除此之外的其它结点全设置为In。

Step四：神经网络学习过程

在设置好各个字段的Direction方向后我们将Neural Net结点连接入数据流。

在对Neural Net进行设置时我们选择快速建模方法（Quick），选中防止过度训练(Prevent overtraining)。同时我们还可以根据自己的需要设置训练停止的条件。在建立好神经网络学习模型后我们运行这条数据流，结果将在管理器的Models栏中显示。选择查看该结果结点，我们可以对生成的神经网络各个方面的属性有所了解。

Step四：为训练网络建立评估模型

4.1将模型结果结点连接在数据流中的Type结点后；

4.2添加字段比较预测值与实际值向数据流中增加Derive结点并将它命名为ratio，然后将它连接到Increase结果结点。设置该结点属性，将增添的字段的值设置为(abs(Increase-'$N-Increase')

/Increase)*100，其中$N-Increase是由神经网络生成的预测结果。通过该字段值的显示我们可以看出预测值与实际值之间的差异大小。

4.3评价模型可以通过观察预测值与实际值之间的差异来评价模型的优劣。从Graph栏中选择histogram 结点连接到ratio结点。设置该结点，使其输出显示ratio的值（在field的下拉列表中选择ratio），输出结果如下图所示：

该图形的横坐标为ratio的值，纵坐标表示一共有多少个样本的ratio值落在相对应的横坐标上。从ratio 的定义公式我们知道ratio越小表明预测值与实际值的差别越小，所以我们希望更多的ratio值处于一个比较小的范围。因此由输出图形我们可以看出该模型达到了一定的精度。

Step五：模型预测

5.1预测模型建立

该模型的建立就是为了预测新样本。我们现将数据源的文件改为GOODS2n；然后按alt键双击Increase结点以此来绕过该结点；断开导出Increase结点与Ratio结点之间的连接，再增添一个Table结点观察Increase 结果结点的输出。在Type结点中我们只设置字段after的Direction属性为None，其余的都为In。通过这种方法建立好的数据流如下图所示：

右键单击Table结点，选择运行数据流。运行生成的结果如下，其中$N-Increase为预测结果：

5.2输出规范化$N-Increase栏表示促销后销售额可能增减的比率。由于神经网络的最终输出需要规范到[0,1]区间，所以我们选择输出值在(0,1)内连续的S形函数将结果规范化。S型函数表达式为

f（x）=1/(1+exp(-x))。我们通过增加Derive结点将结果其规范化。

5.3选择促销方案根据神经网络模型的预测输出，我们可以选出GOODS2n文件中包含的可执行促销方案。假定预测结果经规范化后结值1的方案为可执行方案，我们需要增加一个结点来选出满足这些条件的结点。Clementine为我们提供了Select结点，它可以从数据集中筛选出满足预定条件的记录。从Record OPs栏内选择Select结点连接到Format结点后，在它的属性设置中选择包含format＝1.000的结点，整个流程图由下所示：

运行数据流后我们将得到可用于促销的方案。结果图如下所示：

如果我们只需要得到这些方案的某些字段，而不想知道它的全部细节，则可以在Select和Table键中增设Filter结点，将不需要的字段过滤。

P.S.:在神经网络示例的学习中，我们用到了Neural Net、Select结点。