学习周报第三周

霍普菲尔德网络学习周报

遗留问题解决

1.为什么霍普菲尔德网络不能处理异或问题？

霍普菲尔德网络不能处理异或问题是因为异或是一个非线性可分问题，而霍普菲尔德网络本质上是一种线性模型，无法通过简单的线性组合来区分异或问题中不同的输入组合所对应的输出类别。

注释：

什么是异或

异或（XOR）是一个经典的二元逻辑运算，其真值表如下：

输入 A	输入 B	输出 (A XOR B)
0	0	0
0	1	1
1	0	1
1	1	0

线性可分、线性不可分

线性可分：如果在一个特征空间中，能够找到一个超平面（hyperplane）将不同类别的样本点完全地分开，那么这些样本就是线性可分的。

二维空间：超平面为直线。

三维空间：超平面为平面。

更高维度空间：超平面是高维的线性边界

例如：

一个简单的AND门问题：

(0,0) -> 0
(0,1) -> 0
(1,0) -> 0
(1,1) -> 1

绿线将两类点完全分开。

线性不可分：如果在一个特征空间中，无法找到一个超平面将不同类别的样本点完全地分开，那么这些样本就是线性不可分的。

例如：

异或（XOR）问题：

(0,0) -> 0
(0,1) -> 1
(1,0) -> 1
(1,1) -> 0

没有线可以将两类点分开。

为什么无法处理异或问题

霍普菲尔德网络中单个神经元的状态更新依据其净输入： $h_i = \sum_{i \neq j} W_{ij} s_j$ 。神经元 i 的新状态将根据 h_i 的正负号（例如，若 hi≥0 则为 +1，若 hi<0 则为 −1）来确定。但是当h_i=0的时候，这个方程定义了一个线性决策边界（在多维输入空间中表现为一个超平面）。这意味着，无论网络如何通过学习调整权重 W_ij，每个神经元在决定自身状态时，都只能通过一个线性的“切割”来区分其输入模式。然而，异或 (XOR) 问题本质上是线性不可分的。它的输入-输出模式无法通过单一的直线（或更高维度的超平面）在原始输入空间中被完全区分开来。