一楼放水

首先，随机设定连接1,2层的权重和第二层的偏移值。

把所有数据在第二层的值算一遍，记为矩阵A。A的每一行表示一组数据，行数就是数据组的个数。

把输出记为B。B的行数和A相同（因为数据的组数相同）。
这时需要设定2,3层的权重，记为矩阵x。
显然，我们需要求解Ax=B。
根据最小二乘法，x=inv(AtA)AtB，其中t表示转置，inv表示逆。

@暗影零号
求讨论

你的目标函数为啥总是这么简单的。
不整点复杂的哪能显威力

ELM用作函数拟合器：
function elm(a,b,m)
K=a;
t=size(a,1);
W1=randc(size(a,2),m);
B1=repmat(randc(1,m),t,1);
a=[tansig(a*W1+B1) repmat(1,t,1)];
X=(a'*a)\(a'*b);
o=a*X;
hold on
plot(K,o,'r.');
plot(K,b,'g.');
end

关于5楼，B-Ax是一个矩阵，列数是第三层神经元数量，行数是t；
为什么cost function (B-Ax)'(B-Ax)是一个凸函数？

直观的理解：一个变维映射（不带反馈）加一个回归分类器。优势非常明显，整个分类过程不需要迭代，所以运算速度很快。
两层都换成梯度下降前向反馈就退化成了BP，隐含层换成核映射就变成了不考虑泛化的支持向量机（或者去学习核映射就变成了RBF神经网络）。
因为不知道19楼梯度下降是不是加在了输入层和隐含层之间，如果是的话，它就变成了一种运算量远小于BP，但是精度又好于原始ELM的回归分类器。

ELM+梯度下降，其中红圈部分抖动得很厉害。
纯梯度下降。速度远远慢于ELM+梯度下降（十几秒），但是效果却好得多。

19楼梯度下降确实被加在了输入层和隐含层之间，这使它变成了一种能力远不如BP，但是速度又慢于原始ELM的回归分类器。

1-2层连接不好选择（黑框部分为第二层输出）。

ELM结合RBF进行分类

function elm_rbf
a=randn(500,2)+repmat([-2 -2],500,1);
a=[a;randn(500,2)+repmat([2 2],500,1)];
b=randn(500,2)+repmat([3 -3],500,1);
b=[b;randn(500,2)+repmat([-3 2],500,1)];
hold on
plot(a(:,1),a(:,2),'r.');
plot(b(:,1),b(:,2),'b.');
[acidx, actrs] = kmeans(a,2);
[bcidx, bctrs] = kmeans(b,2);
data=[a;b];
ctrs=[actrs;bctrs];
pause
plot(ctrs(:,1),ctrs(:,2),'k*');
pause
labels=[ones(500,1) zeros(500,1)
zeros(500,1) ones(500,1)];
t=zeros(1000,4);
for k1=1:1000
for k2=1:4
t(k1,k2)=exp(-(sumsqr(data(k1,:)-ctrs(k2,:))/2));
end
end
clf
hold on
plot(t(:,1),'r.')
plot(t(:,2),'g.')
plot(t(:,3),'b.')
plot(t(:,4),'c.')
pause
clf
hold on
plot(a(:,1),a(:,2),'r.');
plot(b(:,1),b(:,2),'b.');
X=(t'*t)\(t'*labels);
plot(ctrs(:,1),ctrs(:,2),'k*');
Q=t*X;
for k1=1:1000
if find(Q(k1,:)==max(Q(k1,:))) ~= find(labels(k1,:)==max(labels(k1,:)))
plot(data(k1,1),data(k1,2),'g*')
end
end
end

加梯度下降效果不好的话有可能是这种方法对非线性变换（输入层到隐含层）不敏感，因为原始的算法的非线性变换就是随机的，没有学习过程。
也有可能是梯度下降陷入局部最优了。
可以考虑用启发式加梯度下降验证一下，这么做对于解决实际问题可能没什么意义，因为算法会变得很慢，原来的运算速度优点就没了，但是当成是坐而论道没事琢磨琢磨挺有意思。

楼主你好，用三层网络（即单隐层）拟合如下函数：
y=x[1] xor x[2] xor x[3]...xor x[n]试试。你也许会对三层网络彻底失望。需要的隐层数量随n的增长指数增长