基于JOONE快速开发神经网络

基于JOONE快速开发 神经网络
一. 神经网络 介绍
    20世纪70年代以来，随着计算机技术的不断发展，人工 神经网络 （ANN）的理论与实践都得到了迅猛提高。ANN的概念来源于生物 神经网络 （BNN）。限于目前的理论与技术，ANN保留了脑 神经网络 的基本结构，反映脑神经系统的工作原理。在ANN中，记忆的信息存贮在连接权上，外部刺激通过连接通道自动激活相应的神经元，以达到自动识别的目的。因而，它是与现代计算机完全不同的系统。ANN模拟生物体中 神经网络 的某些结构和功能，并反过来用于工程或其他的领域。

二．关于JOONE
    JOONE(Java Object Oriented Neural Network)是sourceforge.net上一个用java语言迅速开发 神经网络 的 开源 项目。JOONE支持很多的特性，比如多线程和分布式计算，这意味着可以JOONE可以利用多处理器或是多计算机来均衡附载。
    JOONE主要有三个大的模块：
joone-engine：joone的核心模块。
joone-editor：joone的gui开发环境。不用编写一行 代码 就建立 神经网络 模型，并可以进行训练和验证。Joone中提供了一个用joone-editor建立xor网络模型的例子，本文中的 神经网络 就是参考这个例子所完成的。
joone-distributed-environment       ：joone用于支持分布式计算的模块。
    本文使用joone-editor建立一个用于 模式识别 的 神经网络 ，进行训练，然后在一个java applet 程序中用于识别用户的输入。

三．利用JOONE快速建立 神经网络

   图1是一个简单的 神经网络 ，在joone中用layer来表示每层的所有的节点，用synapse来封装层与层之间的连接。这是相应的java 代码 ：
//建立三个sigmoid节点层和两个全连接。
SigmoidLayer layer1 = new SigmoidLayer();
SigmoidLayer layer2 = new SigmoidLayer();
SigmoidLayer layer3 = new SygmoidLayer();
FullSynapse synapse1 = new FullSynapse();
FullSynapse synapse2 = new FullSynapse();
//设置各层的节点个数
layer1.setRows(3);
layer2.setRows(3);
layer3.setRows(3);
//把各层连接起来
layer1.addOutputSynapse(synapse1);
layer2.addInputSynapse(synapse1);
layer2.addOutputSynapse(synapse2);
layer3.addInputSynapse(synapse2);
这样，一个简单的 神经网络 模型就建好了，joone会自动的随机设置连接的权系数。 当然这个网络目前还没有进行训练，没有任何实际的功能。下文将用joone建立一个 模式识别 的 神经网络 。也可以用joone-editor在可视化界面上快速建立 神经网络 ，下图是用joone-editor建立的求解异或问题的 神经网络 模型：

四．建立 模式识别 的 神经网络
[1] 程序说明
本程序是实现一个简单的 模式识别 的 神经网络 。用户在画板中用鼠标写字母，由程序进行识别并显示。用户在一个10X12的区域内绘制字母,点击【识别】按钮，对用户输入的图形进行识别。在右上方显示当前的图像所对应的 神经网络 的输入，在右下方是 神经网络 的输出和识别结果。在图5中用户输入了A，程序作出了正确的识别。

[2] 用joone-editor建立 神经网络 模型
打开joone-editor，新建一个 神经网络 ，如图所示：
该程序的 神经网络 的主要组成部分有：
1、120个输入节点所组成的输入层
2、由8个节点组成的隐层
3、由4个节点组成的输出层
4、一个joone自己的训练层以及两个文件输入层，用来输入测试数据和期望值。

[3] 训练 神经网络
    首先通过编写的程序获取训练数据。在java程序的12x10的输入框体中绘制字母，右上角的文本框会生成相应的大小为120的一维整形数组作为输入数据，用分号分隔。每次输入作为单独的一行。由于本程序要区分A、B、C、D四个字母，所以期望值是一个长度为4的数组。现在规定A对应为“1;0;0;0”，B对应“0;1;0;0”，C为“0；0；1；0”，D为“0；0；0；1”，并把这些结果添加到对应的每行输入数据的后面。在两个FileInput中设置输入文件为刚刚建立的数据文件，并设置训练数据是从第1行到第120行，训练数据是从第121行到的124行。
    打开控制面板，设置学习速率为0.7,用所用的35条记录训练10000次。点击【run】开始训练。控制面板上会显示训练的进度和收敛情况。到了400次的时候，系统的误差已经很小了（0.002260），可以点击pause来停止训练。如果权值参数选择不合理的话有可能造成网络不能收敛。这时可以选择【control】－>【randomize】，重新随机生成初始的权系数。

[4] 把完成训练的 神经网络 移植到程序中
    为了在程序中使用训练好的 神经网络 ，可以把利用java的序列化功能把完成训练的网络输出到文件中，然后在程序中读取这个文件，重新生成 神经网络 对象。选择【file】－>【export neuralNet…】，把当前 神经网络 保存到文件中去。然后就可以在程序中使用了。

下面是从文件中读取 神经网络 的 代码 ：
ObjectInputStream ois = new ObjectInputStream(new FileInputStream("D:/work/homework/ANN/final/3.snet"));
Object o = ois.readObject();
System.out.println("o is " + o);
ois.close();
NeuralNet net = (NeuralNet) o;
    然后在程序中就可以使用了。每次用户绘制的数据转换成120的一维数组作为输入，然后 神经网络 进行计算并输出一个长为4的向量作为输出。

五．测试
    绘制了9次A、B、C和8次D共35个记录作为输入数据，训练了10000次，然后输出 神经网络 。用该 神经网络 进行识别，发现对于与训练数据相似的输入，识别的准确率很高，但是对和原来的训练数据差别较大的输入，程序可能会发生误判。为了提高准确率，需要增加样本的数量和覆盖面。

六．高级特性
    joone还有很多的高级特性。它支持多种处理层（linear, sigmoid, tanh, logarithmic, context , delay, nested），多种连接方式（full synapse,direct synapse,delayed synapse,sanger synapse），还提供了一系列的工具以及script语言来帮助处理数据和分析结果。灵活的运用joone，可以迅速的开发各种 神经网络 。