Entropic Neuronal Summation

Context

These notes are part of the Assothink project.

Natural intelligences, like the human brain, and artificial intelligences, like Assothink, involve numerous nodes exchanging signals.

Focusing on one node, it is assumed that this node receives a finite (discrete) number of input signals (inflows). The input signals may be considered and described as positive real values.

These signals determine the local excitation level of the node.

The question is purely mathematical: how do the various inflow units combine into a global inflow value ?

[ Note: les notations mathématiques utilisées ici sont construites à partir de cette aide ] 

Principle

The first answer to the question above is 'summation'. Neuroscience document do not discuss this point (as far as we know), but it is generally assumed that summation effects occur. It would be hard to prove that the summation effect is the correct model for the combination of inflows, but hard also to prove that it is not the correct model. So we can just make assumptions.

In this document, another assumption is built: the ENS (Entropic Neuronal Summation).

Obviously the model is quite similar to a simple summation model, but there is one point attracting our attention. The inflow coming from two different sources operates more than the inflow coming from one single source, event when the simple summation of the values is identical. There is no demonstration for this. It is based on introspective considerations.

But anyway, why would it be worse than the simple summation model ?

The critical point mentioned above, the difference between the summation model and the ENS model is that we want for the ENS a function Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \Psi()} , such that, when Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle a > 0}

Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \Psi(a/2,a/2) > \Psi(a)}

In other words, the Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \Psi()} function has (besides some properties common with the simple summation model) some specific properties.

Properties

The Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \psi()} function shares these properties with the simple summation model:

Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \psi(...) \ge 0} Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \psi() = 0} Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \psi(0) = 0} Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \psi(...,0) = \psi(...)}

We also want some additional properties:

Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \Psi(a/2,a/2) > \Psi(a)} Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \Psi(a,a) > \Psi(x,2a-x)\ \ \;(0 < x < a)}

ENS model

Let us first define various writings. The arguments of the functions (all Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle a_i} positive) are written

Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \Psi(a_i)\ \ or\ \ \Psi(a_0,a_1,a_2,...)}

The sum of the arguments (the simple summation value) is

Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \Sigma = \Sigma(a_0,a_1,a_2,...) = \Sigma_i(a_i)}

The relative weight of the arguments are

Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle p_i = a_i / \Sigma}

And we also define

Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle q_i = \Sigma / a_i = p_i^{-1}}

In this document all logarithms use base 2

Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle log(x) = log_2(x)}

As a convenient short writing, we also use

Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle flog(x) = x\ log(x)}

Let Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \Epsilon} be the entropic uncertainty measure (see explanations there) of the Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle p_i} values

Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \Epsilon(a_i) = - \Sigma (p_i\ log(p_i)) = - \Sigma (flog(p_i))}

Now we define our ENS function:

Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \Psi(a_i) = \Sigma(a_i)\ (\kappa\ +\ (1-\kappa)\ \Epsilon(a_i))}

where the Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \kappa} value is a null or positive real parameter value.

Developments

Some simple mathematical steps allow to transform the Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \Psi} formulation. They lead to:

Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \Psi = \kappa\Sigma\ +(1-\kappa)(flog(\Sigma)\ -\ \Sigma_i(flog(a_i)))}

When the Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \kappa} parameters is 1.0 the ENS function falls back to the simple summation model. When the Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \kappa} parameter is 0.0, it turns into a strictly entropic summation, involving for instance Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \Psi(x) = 0} (null when only 1 argument is provided). Realistic values used for the Assothink developments should reside around Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle \kappa} = 0.5.

Computation

The ENS formula has a practical convenient property. It may be computed incrementally. In other words, it is not necessary to memorize all the input values before computing the ENS result. It is sufficient to accumulate the sum of the Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle a_i} values and the sum of the Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://wikimedia.org/api/rest_v1/ » :): {\displaystyle flog(a_i)} values.

Conclusion

As part of the Assothink model, it is assumed (believed?) that the ENS function is a useful model for the computation of excitation flows between nodes of the active jelly. It is integrated into the Assothink software implementation from April 2013.