文 | 追问nextquestion

大脑的活动并不是均匀分布的，而是遵循对数正态分布，显示出明显的“长尾”特征，即少数神经元非常活跃，而大多数则在积极“摸鱼”。对数正态分布这一形式在大脑中随处发生（如树突棘大小、神经突触密度等），可能是大脑进行鲁棒学习和低能耗计算的基础。

对于任何接受过中学教育的读者，最熟悉的概率分布莫过于正态分布，它描述了重复多次实验后一个受到随机因素影响的独立变量呈现的概率分布。然而在大脑中，常见的却是有着长尾特征的对数正态分布。

究竟是什么样的生物学机制会产生对数正态分布？大脑又是如何利用这种分布在不同尺度上——从细胞到感知——支持其复杂功能？遵循这一分布模式，大脑的高效运算为人工智能的发展又提供了哪些启示？本文将回顾经典综述和数篇之后的相关研究，试图一一解答这些问题。

正态分布 VS 对数正态分布

什么是对数正态分布？为了理解这个概念，你需要先参与一个虚拟股市的模拟游戏。游戏开始时，每位玩家都有相同的启动资金，玩家需要每天根据市场的随机波动买卖股票。每位玩家的决策和运气将决定他们的盈亏。第一天，玩家的盈亏会遵循一个简单的正态分布，小部分亏了很多，小部分赢了很多，大部分人处于亏一点或赢一点之间。

但随着时间的推移，你会发现，尽管每天的涨跌都是随机的（每次决策的盈亏都会呈现正态分布），最终每个人的资金量却呈现出一种非对称的、长尾的分布——这就是对数正态发布。

因为玩家的资金每次增减都是在之前资金的基础上进行的，这会形成一种累积效应。所以，大部分玩家资金量都会集中在较低的水平（大部分人盈亏均衡，小部分就算一直亏损也只会越亏越少），只有极少部分出现在高值（连续盈利的人很少，但只会越挣越多），形成长尾分布*。

▷图1.正态分布与对数正态分布的对比，绿色：正态分布；红色：对数正态分布。在股市的例子里，横轴为资金，纵轴为数量，在神经元内，横轴为激活频率，纵轴为数量。在股市的例子里，因为玩家的资金每次增减都是在之前资金的基础上进行的，每次交易玩家的资金都有可能增加或减少一个固定百分比（比如增加或减少50%）。那么将会有极少部分人连续亏损，从100到50到25到12.5到6.25；而极少部分人连续盈利，就是从100到150到225到337.5；更多的人是处于或盈或亏中，如100到150到75到112.5到56.25；100到50到75到37.5到56.25，最后大部分人都集中在较低值。

在学术界，对呈现对数正态分布的随机变量，还有诸如幂律（power law），无标度（scale-free）等描述，其背后都指向同一现象。

神经元间的激活间隔、树突棘大小、神经突触的密度都遵循对数分布

在大脑的世界里，神经元的行为有点像城市中的灯光。大多数时间，大部分灯光是关闭的，但偶尔会有一些灯光亮起来，照亮周围的一小块区域。

已有多项研究表明，这些“点亮”的间隔——也就是神经元的激活频率（firing rate）——遵循对数正态分布的模式[1]。这一规律不仅适用于小鼠，人等各个物种；兴奋性的锥体神经元，抑制性的中间神经元；还适用于从进化上更原始的小脑和执行各种高级认知功能的新皮层中的各个脑区。

由于对数正态分布的不对称特征，这意味着少部分神经元在大脑中经常激活，而剩下的大部分神经元看起来在积极“摸鱼”（时不时激活）。此外，神经元的激活后尖峰的振幅，突触的权重也遵循正态分布[1]。

▷图2.不同脑区和环境下，多种常见神经细胞其激活率都遵循对数正态分布（此处横轴，纵轴都是对数处理后的，因此呈显出线性散点图），参考文献1。

但神经元不只是简单地“开”或“关”。如果我们细看它们的结构，会发现树突分枝上的棘状突起——树突棘（dendritic spine）。一个神经元上可能包含数百个大小不同的树突棘，这些树突棘在神经元的发育过程中会发生变化（可塑性），并承担着信息存储计算等功能。

一项研究观察到，在小鼠的听觉皮层中，这些树突棘的大小也遵循对数正态分布（图4），而且它们的变化幅度与其自身大小成正比，这有点像股市中的资金波动：投入的资本越大，其波动的幅度也越大。

▷图4.树突棘大小呈对数正态分布。A，树突棘示意图，B，原始概率分布，C，D，X轴经过log转换后的树突棘数目和概率分布。

以上分析来自对单个神经元的记录，但随着连接组技术的进步，研究者能够对特定区域的神经元组成的网络进行映射。比如一项针对9种哺乳动物的研究[3]指出，其中7个物种的大脑皮层中神经元的密度（每立方毫米包含多少个神经元）都呈现出对数正态分布（图5）。这说明了对数正态分布可视为神经系统宏观组织的一项基本规律，也可以成为设计神经形态（neuromorphic）硬件时需要关注的约束。

▷图5.9种哺乳动物神经元密度的分布图，偏移程度的分布图，其中不符合对数正态分布的两个物种（GALAGO和OWL MONKEY），可能的原因是采样点不均，样本数偏少。图源：参考文献3

我们真的只用了百分之十的大脑吗？

民间心理学总是流传我们只使用了大脑的10%，但这种说法源于对大脑活动模式的误解。大脑的活动并不是均匀分布的（正态分布），而是显示出明显的“长尾”特征，即少数神经元非常活跃，而大多数则较少参与活动。对于神经元激活率分布的成因，一般的观点将其归于神经元间的相互连接[1]。

（1）神经元之间的相互作用

让我们借用大型交响乐队的比喻来进一步理解这一点。在大型交响乐队中，每个乐手都有自己的乐器和演奏节奏。在整场演出中，并不是所有乐手都在同一时刻演奏，而是根据乐曲的需要，某些乐手的演奏会非常活跃，形成音乐的高潮，而其他乐手则可能处于休息状态，等待下一个演奏时机。这种非均匀的活动模式，很好地反映了大脑中神经元的激活状态：大多数神经元在大部分时间可能较为“安静”，但每时每刻，不断变化的一小撮活跃神经元推动大脑完成复杂的思维和感知任务。

这种活动模式的科学背景是神经元之间的相互作用不是简单的相加，而是累积式，类似于乐手之间的和谐配合和相互激励，可能涉及到复杂的调节和反馈机制 。比如，在某些情况下，一个神经元的活动可能会促使与它紧密相连的其他神经元也变得活跃，形成一个活动的“热点”，这在整个神经网络中会呈现出对数正态的分布特征。

除了从神经元间的连接模式去解释累积现象外，也有研究基于“整合-发放模型” （Integrate-and-Fire Model）说明，即使是独立的单个神经元，也可能因为内部的累积调整（膜放电受到的误差累乘）而表现出对数正态的激活率[4]。

（2）赫布法则

另一种解释神经系统呈现对数正态分布的模型，来自神经元间遵循赫布法则的自组织[5]。简单来说，就像社交网络中的人际关系，神经元们如果经常在一起（一起激活），那么它们的连接就会更紧密（连接强度增强）。不论是简单的线虫还是复杂的果蝇和小鼠，其神经连接的数量和密度都显示出无标度的长尾特征——即大多数连接比较弱，而少数连接非常强。

上述解释对应模型的理论预测结果，已在真实实验中被验证，通过增强共同激活（包括直接的一阶连接，以及图6a所示的二阶和三阶间接连接）的神经元之间的连接强度，这些模型能够再现真实出现的连接强度分布（图6b中的实线）。这说明了神经系统的模块化源自连接网络的生成机制，而非物种及神经元的特异性，从而进一步解释了为何对数概率分布会如此普遍的出现。

▷图6. 基于赫布法则解释神经活动的无标度性质。

（2）耗能与演化角度

从减少大脑的能量消耗及信号传输距离的角度，对数正态分布是有利的[6]，具体来说，是通过让少数神经元聚集在某一区域，形成模块化的“富人俱乐部”，同时少部分神经元频繁激活来实现的。因此，模块化、少量计算单元的频繁激活等应该成为类脑计算应当遵循的设计原则。

而从进化上来讲，一个已准备好的、具有少数密集连接、且快速激活的神经元群体，作为大脑中的骨干连接，可以看成是时刻准备着，能够快速发挥作用的系统，这对物种的生存很有必要。然而，大脑能发挥的全部功能，取决于那些稀疏连接着的、不频繁激活的大多数神经元提供的另一套系统。这些神经元在日常活动中较少参与，但在需要适应新的或不常见的刺激时发挥作用。

因此，我们不该说我们只使用了大脑的十分之一，而应将只有10%的大脑在积极工作，视为生物为了在多个时间尺度应对常见和不常见刺激而采取的最优权衡，是大脑处于临界态（criticality）而呈现的特征[7]。

（3）其他解释

除了上述的模型，另一种解释神经系统中对数正态分布的模型[8]，考虑了两种不同类型的神经元。该模型将神经元分为两类，一类接受了过多的“静音”信号（抑制性神经元的影响）而保持沉默，而另一类则因为“音量加大”（兴奋性神经元的影响）而变得非常活跃。这个模型假设所有神经元接收到的初始信号是均匀分布的，就像是从各处均匀而来的声音。但随着这些信号在神经元中的累积影响，那些更多地受到兴奋性影响的神经元会将这些信号放大，导致它们的活动输出呈现出对数正态分布。

这种模型不仅解释了兴奋性和抑制性的平衡如何塑造神经反应，也阐明了神经系统如何保持对微小信号的敏感性，同时避免对过强的输入做出过度反应。

▷图7.由于非线性增益带来的神经元间对数正态分布。

此外，还有一个由Per Bak在其著作《大自然如何运作》中提出的模型，称为“临界沙堆模型”，提供了另一种视角。在这个模型中，沙粒的积累和崩塌过程类似于神经元网络的动态变化：随着沙堆的累积，小的沙崩是随时会发生的，大的沙崩需要较多的沙子累积，所以较少发生。

科学家们通过研究细胞骨架的物理和机械特性[9]，发现神经元的聚集和分裂行为类似于沙堆的崩塌，从而导致神经元密度的分布也呈现出对数正态分布，这解释了神经网络中“少数活跃，多数沉默”的不均匀现象。

小结：考察神经系统呈现的统计特征有什么用?

通过深入分析神经系统的统计特征，研究者们能够揭示跨越不同物种和脑区的一些普遍规律，同时也能探究在不同环境刺激下这些特征如何变化。

例如，一项关于恒河猴的研究发现[10]，恒河猴在看到熟悉和陌生的视觉刺激时，大脑中的神经元激活频率都遵循对数正态分布，但不同环境下激活率的统计特征存在差异。相比看到熟悉图片，在看到陌生图片时，神经元激活率分布的长尾特征更明显，方差更大（图8)。这可以视为在看到陌生图片时，神经元的激活更加积极（努力适应新环境中的刺激），而在熟悉环境中则可以利用已构建好的模块。

然而，这项研究只考虑了神经元间的连接，没有考虑神经元上的树突棘同样可以承担存储及计算功能。也许神经系统在面对熟悉的刺激时，选择了使用不那么耗能的树突棘局部改变来保持可塑性，这有待之后的研究证实。类似的研究思路，还可以对比不同脑区神经元密度的概率分布是否存在差异，并从发育时的细胞骨架的机械/遗传/基因表达等上对可能的差异加以解释。

▷图8.恒河猴神经元面对熟悉和陌生刺激时的激活率的理论和真实概率分布。

对于神经系统呈现的对数正态分布，有一个形象的描述：神经元雪崩，即神经活动会出现持续几十毫秒的短暂爆发，之后是几秒钟的静止期。神经元雪崩对信息的存储，传输，计算能力，稀疏性及稳定性都很密切相关，是从事类脑计算时需要考虑的基本限制因素之一。例如“千脑计划”提出的皮质柱计算，其模拟大脑时能否让其模型也呈现出类似本文描述的对数正态分布，是判断其成功与否的标准之一。

对于神经系统的各类对数正态分布的生成机制，已有多种基于不同假设的模型能拟合真实数据，对其进行解释。很有可能的是，各个模型分别抓住了真实中神经系统的某个侧面，但真正的神经活动模式可能是这些机制的综合效果。

从更大的视角来看，神经系统表现出的对数正态分布反映了其内在的异质性，并且是大脑进行鲁棒学习和低能耗计算的基础。虽然“幂律”、“无标度”、“神经元雪崩”等术语各自描绘了这些现象的不同侧面，但它们本质上描述的是同一个复杂的生物逻辑。本文只在概述相关研究，对这些主题感兴趣的读者可以进一步细读参考文献1。

正如我们通过股市模拟游戏看到的那样，大脑的工作模式与我们日常生活中的许多现象惊人相似，都遵循某些基本的数学规律。从单个神经元的微观反应到整个神经网络的宏观动态，大脑都在使用对数正态分布来优化信息处理、节省能量并增强其对外部世界的适应性。这种分布的数学本质促使我们发问，自组织过程产生的长尾分布，神经元雪崩等现象，是否能够在人工神经网络中发现？Transformer中的概念激活率是否也遵循对数正态分布？

参考文献：

[1] Buzsáki, G., & Mizuseki, K. (2014). The log-dynamic brain: how skewed distributions affect network operations. Nature Reviews Neuroscience, 15(4), 264–278. https://doi.org/10.1038/nrn3687 ‌[2] Loewenstein, Y., Kuras, A., & Rumpel, S. (2011). Multiplicative Dynamics Underlie the Emergence of the Log-Normal Distribution of Spine Sizes in the Neocortex In Vivo. Journal of Neuroscience, 31(26), 9481–9488. https://doi.org/10.1523/jneurosci.6130-10.2011 ‌[3] Aitor Morales-Gregorio, Alexander van Meegen, & Sacha. (2023). Ubiquitous lognormal distribution of neuron densities in mammalian cerebral cortex. Cerebral Cortex, 33(16), 9439–9449. https://doi.org/10.1093/cercor/bhad160 ‌[4] Kish, E. A., Granqvist, C.-G., Dér, A., & Kish, L. B. (2015). Lognormal distribution of firing time and rate from a single neuron? Cognitive Neurodynamics, 9(4), 459–462. https://doi.org/10.1007/s11571-015-9332-6 ‌[5] Lynn, C. W., Holmes, C. M., & Palmer, S. E. (2024). Heavy-tailed neuronal connectivity arises from Hebbian self-organization. Nature Physics, 1–8. https://doi.org/10.1038/s41567-023-02332-9 ‌[6] Bullmore, E., & Sporns, O. (2012). The economy of brain network organization. Nature Reviews Neuroscience, 13(5), 336–349. https://doi.org/10.1038/nrn3214 ‌[7] Robinson, P. A., Gao, X., & Han, Y. (2021). Relationships between lognormal distributions of neural properties, activity, criticality, and connectivity. Biological Cybernetics, 115(2), 121–130. https://doi.org/10.1007/s00422-021-00871-z ‌[8] Berg, R. W. (2017). Neuronal Population Activity in Spinal Motor Circuits: Greater Than the Sum of Its Parts. Frontiers in Neural Circuits, 11. https://doi.org/10.3389/fncir.2017.00103 ‌[9] Polizzi, S., Arneodo, A., Pérez-Reche, F.-J., & Argoul, F. (2021). Emergence of Log-Normal Type Distributions in Avalanche Processes in Living Systems: A Network Model. Frontiers in Applied Mathematics and Statistics. https://doi.org/10.3389/fams.2020.613962 ‌[10] Lim, S., McKee, J. L., Woloszyn, L., Amit, Y., Freedman, D. J., Sheinberg, D. L., & Brunel, N. (2015). Inferring learning rules from distributions of firing rates in cortical neurons. Nature Neuroscience, 18(12), 1804–1810. https://doi.org/10.1038/nn.4158