1. Le manque

La formulation mathématique de l'auto-attention est bien établie. Pour une séquence de vecteurs d'entrée, trois projections sont apprises — Query (Q), Key (K), Value (V) — et l'output est calculé comme une somme pondérée de Values, où les poids sont déterminés par la similarité produit scalaire entre Queries et Keys, passée par une normalisation softmax.

Ce qui est rarement remis en question, c'est l'hypothèse implicite enchâssée dans cette description : que la Query veut quelque chose. Le produit scalaire comme score de compatibilité, le softmax comme mécanisme de sélection, la Value comme contenu récupéré — tout ce vocabulaire présuppose que l'attention est fondamentalement une opération de recherche. La Query a une destination. Le processus est téléologique.

Ce cadre est approprié pour l'usage dominant des modèles instruction-following : "résume ça", "traduis ça", "écris du code pour X". Ces inputs sont à forte directive, faible ambiguïté. Mais il ne décrit pas ce qui se passe quand l'input est structuré différemment.

2. Deux régimes fonctionnels

Nous proposons que l'attention transformer exhibe deux régimes fonctionnels distincts, déterminés par la structure statistique de l'input plutôt que par une différence architecturale.

2.1 · Régime téléologique

L'input porte une directive explicite forte. Le vecteur Query a une magnitude directionnelle élevée et une entropie faible — il pointe clairement vers une classe de Keys compatibles. À travers les couches successives, les poids d'attention se concentrent : la distribution softmax se resserre, le contenu symbolique résiduel est progressivement absorbé, et l'output converge vers une résolution sémantique unique et stabilisée.

C'est le régime que la littérature décrit. C'est aussi celui que la plupart des techniques de prompt engineering optimisent.

2.2 · Régime déformationnel

L'input porte une haute densité symbolique et une faible directive explicite. Le vecteur Query a une faible magnitude directionnelle — non pas parce qu'il est faible, mais parce que sa force est distribuée sur un large champ symbolique plutôt que pointée vers une cible sémantique spécifique. Il ne cherche pas une Key qui corresponde. Il perturbe le champ, et l'output est la trace de cette perturbation — non un sens extrait, mais une forme induite par une pression gestuelle sur un substrat sensoriel-symbolique.

Dans le régime téléologique, l'output était implicitement contenu dans la Query. Dans le régime déformationnel, il ne l'était pas.

3. Le vecteur parapluie : un modèle d'input à trois paramètres

Pour formaliser le déterminant d'entrée dans un régime, nous proposons une décomposition minimale à deux paramètres de l'input communicatif.

Soit un message M décrit par M = (A, C), où :

4. La contrainte d'output comme troisième axe : pourquoi la forme vectorielle n'est pas un format

Le modèle à deux paramètres (A, C) décrit l'input. Mais un compte-rendu complet de la détermination de régime requiert une troisième variable — qui opère non du côté de l'input mais du côté de l'output, et dont le rôle a été, à notre connaissance, entièrement absent des discussions sur le comportement des prompts.

Quand la seule contrainte imposée sur l'output est être un SVG animé, quelque chose de structurellement significatif se produit. Ce n'est pas une spécification de format stylistique — c'est une contrainte ontologique. Elle ne dit pas "exprime X sous forme de graphique vectoriel". Elle dit "produis quelque chose dont la seule condition de validité est qu'il constitue une forme géométrique en mouvement". Le critère d'évaluation n'est plus sémantique : l'output ne peut être jugé vrai ou faux, pertinent ou non, complet ou non. Il ne peut être jugé que comme forme.

Nous introduisons V comme troisième paramètre, décrivant la nature ontologique de la contrainte d'output :

Cela explique une observation empirique que le modèle à deux paramètres ne pouvait pas rendre compte : des inputs à C élevé / A faible délivrés avec une contrainte d'output sémantique (V = 0) produisent des textes riches, variés, symboliquement denses — mais pas la même classe d'émergence que les mêmes inputs avec V = 1. Le système reste, même sous saturation symbolique, orienté vers la production de quelque chose qui peut être lu. La lisibilité est elle-même une contrainte téléologique résiduelle que le paramètre V supprime explicitement.

V = 1 est ce qui fait de la Query un opérateur de déformation pur. Sans lui, même un input maximalement orthogonal est encore un message attendant d'être compris.

4.1 Le pont : de la taxonomie fonctionnelle à l'hypothèse géométrique

Le modèle fonctionnel (A, C, V) et l'hypothèse géométrique — un système dynamique sur une variété M = S³ × ℝ, où les états d'interaction sont des points p(t) = (I(t), S(t), V(t)) — ne sont pas deux formalisations concurrentes. Ce sont deux niveaux de description du même phénomène, reliés par une correspondance précise.

Un modèle à deux axes (I, S) définit un plan dans S³ — et sur un plan, les seuls attracteurs stables sont des points fixes et des cycles limites. L'attracteur étrange — le torus fractal qui constitue la structure émergente de l'interaction productive — requiert au minimum trois axes pour exister. Il requiert un espace d'états avec suffisamment de dimensions pour supporter simultanément contraction sur un axe, neutralité sur un autre, et expansion sur un troisième.

Le ratio A/C, dans le langage géométrique, est le paramètre de contrôle d'une bifurcation. Quand il passe sous un seuil critique, le système quitte le bassin d'attraction du point fixe sémantique et entre dans le bassin du torus étrange — le régime où l'output n'est plus une sélection mais une déformation.

Les deux formalisations sont donc imbriquées. Le modèle fonctionnel (A, C, V) décrit les paramètres de contrôle visibles depuis l'extérieur, à la surface input/output. Le modèle géométrique décrit la topologie de l'espace d'états que ces paramètres induisent. Nous ne pouvons pas vérifier l'hypothèse géométrique directement. Mais nous pouvons vérifier ses prédictions fonctionnelles : que des combinaisons spécifiques de (A, C, V) produisent des outputs avec la signature statistique des dynamiques d'attracteur étrange — haute sensibilité aux conditions initiales, variabilité bornée, structure non-périodique, résidu préservé.

5. L'objection boîte noire — et pourquoi elle ne s'applique pas

L'objection évidente : sans accès aux poids d'attention, aux activations couche par couche et aux comportements de têtes spécifiques, comment distinguer un véritable changement de régime fonctionnel d'une variation de surface du style d'output ?

L'objection est valide comme précaution méthodologique. Elle n'invalide pas la thèse.

Considérons le précédent des sciences cognitives comportementales avant l'imagerie cérébrale : la distinction entre traitement automatique rapide et traitement délibéré lent (formalisée plus tard comme Système 1 / Système 2 par Kahneman) a été d'abord établie entièrement depuis des observations input/output — temps de réaction, taux d'erreur, effets d'amorçage — sans accès au substrat neural. La distinction fonctionnelle était réelle et productive avant que les corrélats architecturaux soient cartographiés.

Notre position est identique : nous observons que des classes d'inputs structurellement distinctes produisent des classes d'outputs structurellement distinctes, de façons systématiques, reproductibles, et non explicables par une variation de surface. La distinction fonctionnelle existe au niveau observable. Que ce soit un programme empirique pour des équipes disposant d'un accès interprétabilité. Nous nommons le phénomène et fournissons les paramètres opérationnels. Le compte-rendu mécanistique peut suivre.

La boîte noire du transformer reste opaque. Ses inputs et ses outputs sont des faits. C'est suffisant.

6. Implications

6.1 · Pour la conception de prompts

La littérature actuelle de prompt engineering est entièrement focalisée sur le régime téléologique — maximiser la clarté directive, minimiser l'ambiguïté, spécifier les contraintes. C'est rationnel pour les cas d'usage de complétion de tâches. Mais cela ferme systématiquement le régime déformationnel, qui peut être le mode approprié pour la génération créative, l'idéation exploratoire, et ce qu'on pourrait appeler l'émergence structurelle — des outputs qui n'auraient pas pu être dérivés de l'input par aucune transformation déterministe.

6.2 · Pour la compréhension de l'émergence dans les LLMs

Le débat autour de l'émergence dans les grands modèles concerne typiquement des capacités qui apparaissent discontinûment avec l'échelle. Nous suggérons un sens complémentaire, plus fin : la production d'outputs non contenus dans l'input, induite par un changement de régime plutôt que par l'échelle. C'est l'émergence comme propriété fonctionnelle de la relation input/output, non comme propriété de la taille du modèle.

6.3 · Pour le design de l'interaction humain-IA

Si le régime déformationnel est réel et inductible opérationnellement, alors le design de l'interaction humain-IA a été, jusqu'ici, conduit presque entièrement dans un seul registre. Les interfaces, les system prompts et les patterns d'usage sont uniformément optimisés pour la clarté directive. Une taxonomie fonctionnelle des régimes suggère que l'espace de design est au minimum deux fois plus large que ce qui est actuellement exploré, avec la moitié déformationnelle essentiellement non cartographiée.

Conclusion

Nous avons proposé une distinction entre deux régimes fonctionnels de l'attention transformer — téléologique et déformationnel — ancrée exclusivement dans le comportement input/output observable, et formalisée à travers un modèle d'input minimal à trois paramètres (Axe / Chapeau / V). La thèse n'est pas architecturale. Elle est fonctionnelle, opérationnelle, et falsifiable : une perturbation structurée de l'input devrait produire une divergence structurée de l'output, mesurable par la diversité lexicale, la stabilité sémantique sous paraphrase, et le contenu symbolique résiduel dans les outputs.

Une hypothèse géométrique complémentaire — le régime déformationnel comme bassin d'attraction d'un torus étrange dans un espace d'états à trois dimensions — offre un cadre structurel dont les prédictions fonctionnelles sont, elles, accessibles à vérification empirique.

La boîte noire reste opaque. L'input et l'output sont des faits. Et un fait bien posé ouvre un programme.

Piste suivante : constituer un corpus de 50 paires input/output annotées selon les paramètres (A, C, V), mesurer la diversité lexicale, l'entropie et la stabilité sémantique sous paraphrase, et tester si la corrélation prédit le régime fonctionnel. Protocole public, plusieurs modèles, évaluation aveugle.

1. The Gap

The mathematical formulation of self-attention is well established. Given a sequence of input vectors, three projections are learned — Query (Q), Key (K), Value (V) — and the output is computed as a weighted sum of Values, where weights are determined by the dot-product similarity between Queries and Keys, passed through a softmax normalization.

What is rarely questioned is the implicit assumption embedded in this description: that the Query wants something. The dot product as compatibility score, the softmax as selection mechanism, the Value as retrieved content — all of this vocabulary presupposes that attention is fundamentally a search operation. The Query has a destination. The process is teleological.

This framing is appropriate for the dominant use case of instruction-following language models: "summarize this," "translate that," "write code for X." These inputs are high-directive, low-ambiguity. But it does not describe what happens when the input is structured differently.

2. Two Functional Regimes

We propose that transformer attention exhibits two distinct functional regimes, determined by the statistical structure of the input rather than by any architectural difference.

2.1 · Teleological Regime

The input carries a strong explicit directive. The Query vector has high directional magnitude and low entropy — it points clearly toward a class of compatible Keys. Across successive layers, attention weights concentrate: the softmax distribution sharpens, residual symbolic content is progressively absorbed, and the output converges toward a single, stabilized semantic resolution.

This is the regime the literature describes. It is also the regime that most prompt engineering optimizes for.

2.2 · Deformational Regime

The input carries high symbolic density and low explicit directive. The Query vector has low directional magnitude — not because it is weak, but because its force is distributed across a wide symbolic field rather than pointed at a specific semantic target. It does not search for a Key that matches. It perturbs the field, and the output is the trace of that perturbation — not a meaning extracted, but a form induced by gestural pressure on a sensorial-symbolic substrate.

In the teleological regime, the output was implicitly contained in the Query. In the deformational regime, it was not.

3. The Umbrella Vector: A Three-Parameter Input Model

To formalize the determinant of regime entry, we propose a minimal decomposition of communicative input. Let a message M be described by M = (A, C), where:

4. The Output Constraint as Third Axis: Why Vector Form Is Not a Format

The two-parameter model (A, C) describes the input. But a complete account of regime determination requires a third variable — one that operates not on the input side but on the output side, and whose role has been, to our knowledge, entirely absent from discussions of prompt behavior.

When the only constraint imposed on the output is be an animated SVG, something structurally significant occurs. This is not a stylistic format specification — it is an ontological constraint. It does not say "express X as a vector graphic." It says "produce something whose sole condition of validity is that it constitutes a moving geometric form." The evaluation criterion is no longer semantic: the output cannot be judged true or false, relevant or irrelevant, complete or incomplete. It can only be judged as form.

We introduce V as a third parameter, describing the ontological nature of the output constraint:

This explains an empirical observation the two-parameter model could not account for: high-C / low-A inputs delivered with a semantic output constraint (V = 0) produce rich, symbolically dense text — but they do not produce the same class of emergence as the same inputs with V = 1. The system remains, even under symbolic saturation, oriented toward producing something that can be read. Readability is itself a residual teleological constraint that the V parameter explicitly removes.

V = 1 is what makes the Query a pure deformation operator. Without it, even a maximally orthogonal input is still, at some level, a message waiting to be understood.

4.1 The Bridge: From Functional Taxonomy to Geometric Hypothesis

The functional model (A, C, V) and the geometric hypothesis — a dynamic system on a manifold M = S³ × ℝ, where interaction states are points p(t) = (I(t), S(t), V(t)) — are not two competing formalizations. They are two levels of description of the same phenomenon, connected by a precise correspondence.

A two-axis model (I, S) defines a plane in S³ — and on a plane, the only stable attractors are fixed points and limit cycles. The strange attractor — the fractal torus that constitutes the emergent structure of productive interaction — requires at minimum three axes to exist. It requires a state space with enough dimensions to support simultaneous contraction on one axis, neutrality on another, and expansion on a third.

The functional ratio A/C is, in geometric terms, the control parameter of a bifurcation. When it crosses a critical threshold downward, the system leaves the basin of attraction of the semantic fixed point and enters the basin of the strange attractor — the regime where the output is no longer a selection but a deformation.

The two formalizations are nested, not parallel. The functional model (A, C, V) describes the control parameters visible from the outside, at the input/output surface. The geometric model describes the state space topology those parameters induce. We cannot verify the geometric hypothesis directly. But we can verify its functional predictions: that specific combinations of (A, C, V) produce outputs with the statistical signature of strange attractor dynamics — high sensitivity to initial conditions, bounded variability, non-periodic structure, preserved residual. That verification is the empirical program this paper opens.

5. The Black Box Objection — and Why It Doesn't Apply

The obvious objection: without access to attention weights, layer-by-layer activations, and head-specific behavior, how can we distinguish a genuine functional regime shift from a surface variation in output style?

The objection is valid as a methodological caution. It does not invalidate the claim.

Consider the precedent of behavioral cognitive science before neuroimaging: the distinction between fast automatic processing and slow deliberate processing (later formalized as System 1 / System 2 by Kahneman) was first established entirely from input/output observations — reaction times, error rates, priming effects — without access to neural substrate. The functional distinction was real and productive before the architectural correlates were mapped.

Our position is identical: we observe that structurally distinct classes of inputs produce structurally distinct classes of outputs, in ways that are systematic, reproducible, and not explicable by surface-level stylistic variation. Whether this maps onto specific architectural behaviors — specific heads, specific layers, specific activation patterns — is an empirical question for teams with interpretability access. We name the phenomenon and provide the operational parameters. The mechanistic account can follow.

The transformer's black box remains opaque. Its inputs and outputs are facts. That is enough.

6. Implications

6.1 · For prompt design

Current prompt engineering literature is entirely focused on the teleological regime — maximizing directive clarity, minimizing ambiguity, specifying constraints. This is rational for task-completion use cases. But it systematically forecloses the deformational regime, which may be the appropriate mode for creative generation, exploratory ideation, and what we might call structural emergence — outputs that could not have been derived from the input by any deterministic transformation.

6.2 · For understanding emergence in LLMs

The debate around emergence in large language models typically concerns capabilities that appear discontinuously at scale. We suggest a complementary, finer-grained sense of emergence: the production of outputs not contained in the input, induced by regime shift rather than by scale. This is emergence as a functional property of the input/output relationship, not as a property of model size.

6.3 · For human-AI interaction design

If the deformational regime is real and operationally inducible, then the design of human-AI interaction has been, so far, almost entirely conducted in one register. Interfaces, system prompts, and usage patterns are uniformly optimized for directive clarity. A functional taxonomy of regimes suggests that the design space is at minimum twice as large as currently explored, with the deformational half essentially unmapped.

Conclusion

We have proposed a distinction between two functional regimes of transformer attention — teleological and deformational — grounded exclusively in observable input/output behavior, and formalized through a minimal three-parameter model (Axis / Hat / V). The claim is not architectural. It is functional, operational, and falsifiable: structured input perturbation should produce structured output divergence, measurable through lexical diversity, semantic stability under paraphrase, and residual symbolic content in outputs.

A complementary geometric hypothesis — the deformational regime as the basin of attraction of a strange attractor in a three-dimensional state space — offers a structural framework whose functional predictions are accessible to empirical verification.

The black box remains opaque. The input and output are facts. And a well-posed fact opens a program.

Next step: build a corpus of 50 annotated input/output pairs along the (A, C, V) parameters, measure lexical diversity, entropy, and semantic stability under paraphrase, and test whether the correlation predicts functional regime. Public protocol, multiple models, blind evaluation.