更正：E_x[f(x)] 约等于 1/N sum_i f(x[i]), x[i] 是 第 i 个从 p(x) 上采到的样本。

更正：在回归任务中，l(x) = (f(x) - t[x])^2

@zxCoder 嗯，再引入一个新的记号，l(x)

在回归任务中，l(x) = f(x) - t[x]

其中 f(x) 是神经网络输出，t[x] 是 x 对应的标注（ label ）。

那么 L = E_x[l(x)]

就算是普普通通的回归任务还是有这个 E_x 。只是现在的人上手都是 pytorch 框架，直接写 loss='mse'，没看见它源代码里面的求平均而已。。。而这个求平均的数学意义是蒙特卡洛采样

E_x[f(x)] 约等于 1/N f(x[i]), x[i] 是 第 i 个从 p(x) 上采到的样本。

如果 x 是训练集数据，那么采样只需要取一个 mini-batch 就行了。

顺便 L = E_x[f(x)] 是神经网络很普适的写法，表示的是 x 从全部训练集上采样（也就是 mini-batch ），E_x 就是 mini-batch 上所有 f(x) 的平均，这个在代码里面也很常见才对。

你这形式化还是不太对劲。你能不能作业拍个照截个图。

f(x) = g(a) 这个肯定有问题。

f(x) = E_a[g(x,a)], a ~ q(a) 或者 a~q(a|x) 那我还能理解。

----

另外用 a 来表示分布变量，你这是在做 Reinforcement learning 的 action network 吗？

这样的话你需要用 REINFORCE 算法去蒙特卡洛采样 a 。当然具体请参照 RL 的最新文章，我不是专门做 RL 的。

不管怎么样如果你的目的是优化 f(x)，那么你的 loss 应该是


L = E_x[E_a[g(x,a)]]

其中 x ~ p(x) 是数据分布，a ~ q(a) 或者 q(a|x) 是 action network 导出的分布。当然一般而言我觉得 q(a) 应该是有条件概率 q(a|x) 的。

max L 就梯度下降 min -L

@zxCoder 每个 mini-batch

随机采样，计算 f(x[i]) 然后求平均。接着梯度下降 -(sum f(x[i]))/N

除非你的 f(x) 有值域，那么这个函数会被推向下界（或者上界）。

为了避免 f(x) 退化成常值函数，你的训练目标或者网络结构必须把数据之间的关联性发掘出来。。。所以你这个问题是不是真的不对头，不好说，得看你的问题数据本身是什么样子，以及神经网络是什么样子。

但是在我的经验中，for any x, max f(x) 很少见。至少也是 max E[f(x)]

@zxCoder 那这个问题的定义很奇怪，因为对于一个足够宽的、一个非线性层的神经网络，可以拟合任何实数域上的可测函数。也就是说，

对于任何 C ，f(x) 恒等于 C

是你这个神经网络可以拟合的函数。

最终你会得到一个 meaningless 的函数，C 在训练过程中不断被推向负无穷（或者正无穷）

@zxCoder 那行，所以你的问题是哪个

max sum_x f(x)
for any x, max f(x)

@zxCoder 你看，这不是 y=xxxxxx 我需要看你数学公式的形式化，而是问你，你的“最大化一个函数”到底形式化是什么意思。我给了两个形式：

max sum_x f(x)
for any x, max f(x)

所以你是哪个？

对于单独的 for any x, max f(x) 这个问题似乎就没有意义了

so 你是不是想要 max L=sum_x f(x)

@zxCoder 不是，那你的目标到底是什么。。。

你一直在说值最大，但是不可能没有目标啊？没目标你根本不是有监督（你说的有标签）学习。

这种东西不能靠叙述，它根本不精确。上公式啊喂

还有，两个线性层和一个激活层它顺序到底是啥？

y = A2*(u(A1*x+b1)) + b2 ？

如果是 y = u(A2*(A1*x+b1)+b2) 那是没有用的。两个线性层和一个线性层没有区别（参数可以训练的情况下）

1 、你要训练的是 f(x) 本身？ f(x) 可变？
2 、那训练了之后 y=f(x) 就变了啊。。。它可以变成任何东西。你有训练目标吗？就是 t[x] = f(x) 的正确答案 t[x]。
3 、没有目标去训练，它可以变成任何值啊。


楼主能不能用数学语言形式化一下你的问题，我无法理解。

你能不能把你的原始问题说一说。

这估计也是个 XY problem

@3dwelcome https://www.2ndquadrant.com/en/blog/postgresql-12-implementing-k-nearest-neighbor-space-partitioned-generalized-search-tree-indexes/

@3dwelcome 那就 kd-tree