[{"data":1,"prerenderedAt":137},["ShallowReactive",2],{"post-fr-contre-les-perroquets-stochastiques-le-role-du-sens-dans-l-evaluation-de-l-intelligence-de-l-ia":3,"translation-fr-contre-les-perroquets-stochastiques-le-role-du-sens-dans-l-evaluation-de-l-intelligence-de-l-ia":136},["Reactive",4],{"id":5,"date":6,"date_gmt":7,"guid":8,"modified":10,"modified_gmt":11,"slug":12,"status":13,"type":14,"link":15,"title":16,"content":18,"excerpt":21,"author":23,"featured_media":24,"comment_status":25,"ping_status":25,"sticky":20,"template":26,"format":27,"meta":28,"categories":29,"tags":31,"class_list":32,"_links":39,"_embedded":81,"tagsResolved":122,"translations":123},965,"08. 08. 2026","2026-08-08T21:45:10",{"rendered":9},"https:\u002F\u002Fcms.local.test\u002F?p=965","2026-08-09T00:05:59","2026-08-08T22:05:59","contra-stochastic-parrots-the-role-of-meaning-in-assessing-ai-intelligence","publish","post","https:\u002F\u002Fcms.local.test\u002Fcontra-stochastic-parrots-the-role-of-meaning-in-assessing-ai-intelligence\u002F",{"rendered":17},"Contra Stochastic Parrots: the role of meaning in assessing AI intelligence",{"rendered":19,"protected":20},"\u003Cp>In this essay, I argue that LLMs are not stochastic parrots by evaluating the claims by (Bender et al., 2021) who coined the term “stochastic parrot” to express the view that the output of LLMs is 1) haphazard, 2) incoherent, 3) meaningless, because, following (Harnad, 1990), it produces symbols that are not grounded in the human phenomenal existence inside a physical world. I present a concept of “meaning networks”, a network-based account of the meaning of terms that consists in weighted, multimodal, socially stabilized associations that constitute what a term means for a language user. The main argument of the essay is to show that LLMs produce outputs that inherit grounding indirectly from human produced language, which is itself grounded. The use of linguistic data as an interface into human existence in the physical world suffers from a lossy compression: any interface that translates the human existence, which is a “continuous signal” (following computer science terminology), into discrete units, such as linguistic symbols, loses the richness of the detail. The grounding is therefore both indirect and lossy. Compared to human-level intelligence and meaning-use, LLMs occupy a never-before seen niche of systems that produce a human-level linguistic output whose meaning has a purely symbol-based modality. The meaning networks generated by LLMs can be understood as an extreme example of language-laden human intelligence.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_geao7idfhv2\">\u003C\u002Fa>Intro\u003C\u002Fh2>\n\u003Cp>Since at least the second half of the 20th century, our society has been labeled the information society, network society, post-industrial society, etc.\u003Csup>\u003Csup>\u003Ca id=\"post-965-footnote-ref-0\" href=\"#post-965-footnote-0\">[1]\u003C\u002Fa>\u003C\u002Fsup>\u003C\u002Fsup> All of the terms reflect the dominant mode of how society works. Information, networks, abstractions, and symbolic knowledge are the currencies of the day. Highly educated individuals with an aptitude for analytical, abstract thought and processing information are the sought-after professionals. The advent of cognitivism in philosophy of mind and cognitive sciences marked the beginning of the era when the metaphor of humans as information processors started to be taken seriously even at the frontier of our search for understanding who we are and how our minds work. Simon and Newell’s work on Logic Theorist and General Problem Solver software systems, Weizenbaum’s ELIZA, Winograd’s SHRDLU, and even Chomsky’s Syntactic structures and later the biological turn in linguistics were a few of many theories and projects to explain human cognition by appeal to logic and language as the essential ingredients of human intelligence. It is true that since then, the cognitive sciences and AI fields underwent major changes. The connectionist and 4E paradigm shifts emphasized the use of neural nets and the role of the embedded body in situated and broader cultural-societal contexts for creating a more faithful model of how brain processes and human cognition work. But the focus on understanding \u003Cem>intelligence\u003C\u002Fem>, both human and artificial, stays primary.\u003C\u002Fp>\n\u003Cp>Yet, the introduction of ChatGPT, Bard, Claude, and other chatbots based on the large language model (LLM) architecture forces us to re-consider who we are. LLMs show that the use of language, being the most distinct human feature compared to \u003Cem>all \u003C\u002Fem>other animal species, can be automatized to produce human-like responses, passing a Turing test with ease, surpassing the average human at handling factual data, logical reasoning or language abilities. If LLMs beat humans in the tasks that we consider uniquely human, is a LLM-based artificial intelligence becoming more like us than we are? It seems preposterous to claim that the LLM, a formal symbol-string prediction machine, can attain a status of being human. Unless we are hypocrites, we cannot stop praising human intelligence and language competency as the highest \u003Cem>human\u003C\u002Fem> cognitive values the moment another entity becomes superior to us. To avoid an ontological conundrum of what it means to be human, I will ask differently: can LLMs even in theory become more intelligent than humans? To again avoid defining what intelligence is, I will narrow down my inquiry further still: Whatever being intelligent means, I presuppose that the human-like intelligence requires understanding; and understanding requires the grasp of what words, sentences, or concepts mean. Without an understanding of the meaning, there cannot be intelligence.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_hy70hds010iq\">\u003C\u002Fa>Meaning networks: an intersection of phenomenology and linguistic meanings\u003C\u002Fh2>\n\u003Cp>It is important to clarify what I mean by the meaning. I will not present here an overview of theories of meaning in analytical philosophy. What I \u003Cem>can\u003C\u002Fem> outline here is a minimal theory of meaning that clashes both with \u003Cem>referential theory of meaning\u003C\u002Fem> and \u003Cem>truth-conditional\u003C\u002Fem> \u003Cem>theory of meaning\u003C\u002Fem>.\u003C\u002Fp>\n\u003Cp>Imagine that we want to talk about the meaning of the word “mother”. My mother passed away a few months ago. What my mind generates when thinking about the meaning of the word is as follows: I remember a visual image of a sullen face of my mother and the coldness of her forehead while I kissed her when she lay in the coffin at the church. I remember the smell of the incense, while hearing the notes of Dancing Queen by ABBA played by the string quartet on a viola, violins, and cello. I have tactile memories of hugging my ill mother a few days before her passing. I feel non-objectifiable feelings of sadness, remorse, and happiness when thinking about the word. Also, my mind gravitates towards the topic of what it means to be a mother I discussed with my pregnant fiancée. My mind is also aware of purely linguistic links the word “mother” has with other words like “father”, “pregnancy”, “female”, “children”, etc. and linguistic relationships between the word “mother” and other features of the language (“my” pronoun, “mothers” plural, “not breathing” gerund, etc.). I am also aware of connotations of the word “mother” that I assimilated into my understanding of the word when reading newspapers, literature or learning intersubjectively what mothers can do or are like when talking to other people.\u003C\u002Fp>\n\u003Cp>The meaning of the word “mother” is for me both private and public. The private meaning consists of elements of various perceptual modalities and linguistic symbols. The public, external meaning consists of what I heard and assimilated from my community and society at large usually in the form of linguistic symbols (i.e. words and sentences), which may have affected my existing non-linguistic, perception-derived sub-meanings via a feedback loop (e.g. when I heard how badly someone’s mother behaved, I started to appreciate my mother more and feel more love for her, modifying my prior feeling-derived sub-meanings).\u003C\u002Fp>\n\u003Cp>If we borrow further from the network theory the basic terms “node” and “edges”, their equivalent would be\u003C\u002Fp>\n\u003Cp>node = words \u002F concepts\u003C\u002Fp>\n\u003Cp>edge = meaning element that can be of many modalities: perceptual or symbolic representations, feelings, other nodes mediated by the symbolic representations\u003C\u002Fp>\n\u003Cp>As we can see, the meaning of a word is primarily a meaning for me, existing in my mind. It is a multi-modal “meaning network” of both perceptual and linguistic elements. This “meaning network” is not static, but dynamically reacts to my situated existence in the world, any new perceptual or linguistic elements can be added or possibly removed (or rather overridden) at any time.\u003C\u002Fp>\n\u003Cp>The term “mother” cannot refer to just one existing “object” in the world. I set aside the Fregean distinction of “sense” and “reference”, which presupposes stable referents and sense. Instead, I want to propose a multi-modal, network-based semantics where the meaning of terms equals the meaning networks themselves. With that, I can integrate sense data, feelings, visual imaginary, false beliefs, words, concepts, memories of many modalities for which I have distinct and clear sense that they constitute what I mean when I use the term “mother”, or terms like “my mother” or “Helena Ferencová”.\u003C\u002Fp>\n\u003Cp>The meaning network is amenable to the influence of the public and shared meanings of the word “mother” and it helps to defend the theory of meaning proposed here against the accusation of the private meaning, which as argued by Wittgenstein is impossible\u003Csup>\u003Csup>\u003Ca id=\"post-965-footnote-ref-1\" href=\"#post-965-footnote-1\">[2]\u003C\u002Fa>\u003C\u002Fsup>\u003C\u002Fsup>. The community I am a member of does participate in the constitution of what “mother” means for me and I’m aware that our personal experiences and thinking about mothers co-constitute each other’s meaning networks and the shared culture influences our meaning networks to have considerable overlaps. That implies there must be stable elements that are fixed or their stability is dynamically and continually enforced by the linguistic or perceptual interaction with others. In other words, the meaning networks can be dynamic, yet their stability is constantly negotiated via interaction with others. I cannot change the whole meaning network of what I mean by “mother” because I would be talking about someone or something else. If the language is to keep a communicative function, I need to keep the contents of my meaning networks (in other words, the meaning of terms I use) rather stable so that I am reasonably understood by most people. If what I mean differs radically from anyone else, I need to explain myself to others and by that update their own meaning networks, provided they are open to cognitively integrate new information.\u003C\u002Fp>\n\u003Cp>As far as truth-conditions go, the truth may be an element in my meaning network, but does not exhaust the entire concept of meaning. My subjective feeling of sorrow is right now more meaning-bearing than any conception of truth. It is not to say that a truth-condition does not participate in the meaning of terms, but is moved down, as it were, to the level of other meaning elements.\u003C\u002Fp>\n\u003Cp>It seems plausible that the dynamic aspect of meaning networks is partially realised by the external world influencing my meaning elements stored in my memory. But my meaning elements can change due to my memory going wrong, when I forget about words or experiences that are related to my mother. Also, due to the effects of time, it is likely that some meaning elements will partially fade away, whereas others will remain strong or even stronger. If we borrow terminology from neural networks that LLMs themselves are based on, we can assign each meaning element a \u003Cem>weight\u003C\u002Fem> that signals how strongly or weakly a given meaning element participates in constituting the meaning. If I burn an incense stick at home tomorrow, it may increase the weight of the meaning elements related to smell, church, coffin, funeral in the meaning of the word “mother”.\u003C\u002Fp>\n\u003Cp>The individual meaning elements may also be false. I may have started associating black velvet jackets with the meaning of “mother” due to my belief that she was clothed in this dress at the funeral. In fact, it may have been a dark navy velvet dress, but due to poor lighting conditions, the color appeared to me black. Some meaning elements thus may be added to my meaning network on the basis of a false belief. But what is indubitably true is that this false meaning element participates in the meaning of “mother”. I think the same can be said of meaning elements derived from references to hallucinations or things that have no proven existence, yet they are part of my meaning networks, such as the concept of “heaven” or “God”.\u003C\u002Fp>\n\u003Cp>Importantly, there is still a place for purely symbolic or linguistic meaning in the meaning network. Other words and linguistic features that can be purely formal (based on the position of words in a sentence, as required by the syntactical rules of a language) do help co-constitute the overall meaning network. But again, the linguistic meaning is only a part of the meaning network. It does not exhaust the full meaning of the word “mother” either.\u003C\u002Fp>\n\u003Cp>I remain agnostic as to what percentage of the overall meaning networks is constituted by a given modality. Some people may be more visually inclined, others rely on linguistic elements in their meaning networks. Not all modalities described here will be present in others‘ meaning networks. For example, a person suffering from a condition called aphantasia is unable to generate mental imagery. We can expect that their meaning network will not rely on any visual sense-data, or the influence of visual sense-data will be greatly diminished.\u003C\u002Fp>\n\u003Cp>The theory of meaning vis-à-vis the concept of meaning network relies on a few minimal requirements: it is not just formal-symbolic or purely linguistic, it is both internal\u002Fprivate and external\u002Fcommunity-shared, it is constituted by several modalities, among them, a linguistic symbols and relations are just one of many meaning-constituting elements. Meaning elements that constitute the meaning have weights that signal how strongly or weakly the given meaning element participates in the overall meaning.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_my37juc1t5pp\">\u003C\u002Fa>Chinese room and Stochastic parrots\u003C\u002Fh2>\n\u003Cp>Not all meaning networks are created equally. There are people with deeper understanding of concepts, things, bodily actions etc. than others. What is going on exactly when we say that someone’s understanding is deep or shallow?\u003C\u002Fp>\n\u003Cp>In the famous Chinese room experiment\u003Csup>\u003Csup>\u003Ca id=\"post-965-footnote-ref-2\" href=\"#post-965-footnote-2\">[3]\u003C\u002Fa>\u003C\u002Fsup>\u003C\u002Fsup> Searle shows us what it means to have exactly zero understanding of the meaning of words and sentences. Searle, who does not understand any Chinese, sits in a sealed room. From one side he is given a set of Chinese symbols that represent a written input by a native Chinese speaker. He is also given a set of Chinese symbols for answers and the instructions written in English that he understands how to correlate the input symbols with the output symbols, pretending to have a natural conversation in Chinese with a person outside of the room. Searle has no understanding of the meaning of the Chinese symbols; he correlates them purely formally based on their shape (i.e. form). Searle argues that such manipulation of formal symbols based on a fixed set of rules is analogous to how computers work. Because computers also work with formal symbols only, they have no understanding of the meaning of the symbols. Searle, like computers, does not understand Chinese because they work on the formal and syntactical level that lacks understanding of the meaning of words, or as Searle would put it: rule-based manipulation of formal symbols lacks mental states, which are preconditions for an intrinsic intentionality\u003Csup>\u003Csup>\u003Ca id=\"post-965-footnote-ref-3\" href=\"#post-965-footnote-3\">[4]\u003C\u002Fa>\u003C\u002Fsup>\u003C\u002Fsup>. Intentionality is a property of mental states, pointing out that each mental state has a content; they are about something.\u003C\u002Fp>\n\u003Cp>In a way, we could answer the question if LLM-based AI is intelligent right here by saying that LLMs have no mental states, therefore whatever they do lacks intentionality, aboutness or mental content. And if their states are not about anything, they cannot understand the meaning.\u003C\u002Fp>\n\u003Cp>I will not argue here if LLMs have mental states or intentionality. Let’s say it is a question of definition or empirical question. I want to imagine what kind of mental states, or rather what kind of meaning networks do LLMs work with, whether they have mental states or not.\u003C\u002Fp>\n\u003Cp>LLMs work by stitching together strings of words based on the probability of such a combination derived from high-dimensional representations latent in the large corpus of linguistic data. (Bender et al., 2021) coined the term “stochastic parrot” to describe that the LLM architecture produces seemingly coherent strings of words, but without any reference to the meaning of those strings of data, just like the parrot animal, which has no linguistic competence and just repeats the phonetic sounds it heard back to humans who interpret the mechanically repeated sounds as distinct phoneme units of distinguishable word(s). (Bender et al., 2021) argue that LLMs generate those strings stitched together “haphazardly” and that their coherence is purely “in the eyes of the beholder”, suggesting the coherence is not inherent in the output of LLMs itself, but rather externally given by the human interpreters of LLM-produced outputs. (Bender & Koller, 2020) then elucidate their understanding of the meaning by subscribing to the referential theory of meaning where they take the meaning to be “the relation between the form and something external to language…” (p. 5187). In other words, for a human or computer to be a competent speaker and understand the meaning of words used, they have to “ground” their understanding of words in the real world. (Bender & Koller, 2020) cite (Harnad, 1990) and his “Symbol grounding problem” to argue that, without the grounding of meanings in the physical world, the system (human, computer) cannot understand the language; it would be analogous to learning a language just by studying a dictionary. Meaningful responses must make connections between the words and the physical world.\u003C\u002Fp>\n\u003Cp>As I attempt to explain below, I disagree with Bender et al. in three specific cases:\u003C\u002Fp>\n\u003Col>\n\u003Cli>meaning must refer to something outside of language\u003C\u002Fli>\n\u003Cli>LLMs produce outputs haphazardly\u003C\u002Fli>\n\u003Cli>coherence is in the eyes of beholder\u003C\u002Fli>\n\u003C\u002Fol>\n\u003Ch2>\u003Ca id=\"post-965-_gknh07wai9q7\">\u003C\u002Fa>Grounded and Ungrounded Meanings\u003C\u002Fh2>\n\u003Cp>(Harnad, 1990) in the era of the symbolic AI paradigm and in line with Searle’s Chinese room argument writes contra the idea that the purely formal manipulation of symbols can lead to understanding. The main thrust of his argumentation is that for symbolic systems to understand a language, they must ground the bottom level meaning of words in non-symbolic representations coming from sense-data of our perception of and interaction with the physical world.\u003C\u002Fp>\n\u003Cp>To “ground” their meanings, the systems must feature equivalents of two features that Harnad calls 1) Iconic representations and 2) Categorical representations and only then it is possible to give a linguistic label on top of them through 3) Symbolic representation.\u003C\u002Fp>\n\u003Cp>\u003Cem>1 Iconic representations\u003C\u002Fem>\u003C\u002Fp>\n\u003Cp>Iconic representations are raw perceptual data of some specific objects, which we yet cannot identify or name. In the case of vision, iconic representations would be the shapes that objects, such as horses, following Harnad’s own example, cast on our retinas. The mind would keep iconic representations of horses as analogs of their real shapes. At this level, the only functions that are needed according to Harnad are the ones to discriminate stored shapes of horses based on similarity\u002Fdifference. The important fact is that there is a non-arbitrary, isomorphic relationship between the icon and what it refers to, because the iconic representation has a structural relationship to its origin.\u003C\u002Fp>\n\u003Cp>\u003Cem>2 Categorical representation\u003C\u002Fem>\u003C\u002Fp>\n\u003Cp>According to Harnad, the icons are not enough for meaning. The world is too complex and we need faster identification of what shapes and sense data from our sensory organs are of a specific category. For that, we need to abstract invariant features from the iconic representations and create categories from these invariants, so that in future when we encounter a horse-like shaped object, we can identify faster if this object belongs to the category that has horse-like attributes. At this level, we still do not use the word “horse” to describe the categorical representation, but we identify horses by \u003Cem>the shape of their heads, being four-legged, having a tail\u003C\u002Fem>, etc.\u003C\u002Fp>\n\u003Cp>\u003Cem>3 Symbolic representation\u003C\u002Fem>\u003C\u002Fp>\n\u003Cp>Only at this level does the language come into a play. Once we have the “horse” as a set of abstracted features of what resembles a real-life horse, we associate the symbol “horse” in our mind with our perceptually grounded and experiential understanding of a horse. Despite the fact that symbols at this level are completely arbitrary – the shape of the symbol\u002Fword “horse” bears no resemblance to the actual horse – they are meaningful because their semantic content (meaning) is inherited from the iconic and categorical representations. On this view, what makes symbols meaningful is indeed their perceptually-derived references to the external world.\u003C\u002Fp>\n\u003Cp>Harnad interestingly allows for the possibility that we can create meaningful symbols that have no direct iconic and categorical representations. Harnad gives an example of a word \u003Cem>“zebra”\u003C\u002Fem>:\u003C\u002Fp>\n\u003Cp>\u003Cem>“zebra”\u003C\u002Fem> = “horse” + “stripes”.\u003C\u002Fp>\n\u003Cp>If the system has iconic and categorical representations of the word “stripes”, then Harnad admits that the symbolic representation will \u003Cem>inherit \u003C\u002Fem>its grounding based on the grounded symbolic representations of “horse” and “stripes”. What does it mean? The system will have a meaningful word “zebra” despite not having any direct perceptual reference of a zebra in the external world. The meaning is inherited, or derivative. Its only direct meanings are references to the linguistic symbols “horse” and “stripes”.\u003C\u002Fp>\n\u003Cp>It seems to me that (Bender & Koller, 2020), who rely on (Harnad, 1990), incorrectly assume that Harnad disallows meanings other than those that are grounded. But based on my reading of (Harnad, 1990), he allows meanings of symbols\u002Fwords not having a direct reference to the physical world, provided that its real references are symbols\u002Fwords whose meanings are grounded in the physical world. Exactly like the example of zebra = “horse” + “stripes”.\u003C\u002Fp>\n\u003Cp>Once we break apart the necessity of a direct connection between the meaning of a word\u002Fsymbol and its relationship with the physical world, there appears nothing that prevents us from injecting a number of intermediate symbols as the only real meanings of an original symbol, provided some symbol, a last one, is grounded in the physical world.\u003C\u002Fp>\n\u003Cp>I think we have undermined the first claim \u003Cem>1) meaning must refer to something outside of language\u003C\u002Fem>. We just saw that a meaning \u003Cem>can refer to something inside of language\u003C\u002Fem>, but to be in line with (Harnad, 1990), must \u003Cem>eventually\u003C\u002Fem> jump out of the linguistic space into a physical space of perceptions and iconic and categorical representations to be grounded, which for (Harnad, 1990) is a necessary a way out of an infinite regress of linguistic symbols referring \u003Cem>only \u003C\u002Fem>to other linguistic symbols, never outside of the language system.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_yni9wq403zva\">\u003C\u002Fa>Sparse and dense meaning networks\u003C\u002Fh2>\n\u003Cp>Returning to our concept of meaning networks, how can we improve our understanding of which meanings are \u003Cem>deep\u003C\u002Fem> or \u003Cem>dense\u003C\u002Fem>, and which ones are \u003Cem>shallow or sparse\u003C\u002Fem>?\u003C\u002Fp>\n\u003Cp>Using the symbol grounding theory by (Harnad, 1990), I think we can claim that my descriptions of the meaning network representing the meaning of the word “mother”, as used by me, are a case of a \u003Cem>grounded meaning par excellence\u003C\u002Fem>.\u003C\u002Fp>\n\u003Cp>Now imagine that I never had a mother. In fact, I have never read anything about mothers, except for the information that a mother is a human female that has at least one child. Imagine further that I have a grounded understanding of symbols “human”, “female” and “child”. How does such a shallow understanding of “mother” differ compared to my personal and deeper understanding?\u003C\u002Fp>\n\u003Cp>In the first case, the meaning network would be rather sparse. It would consist only of potentially three linguistic symbols. In the second example, the graphical schema of the meaning of “mother” as used by myself would be a dense network of perceptually derived data, lots of linguistic symbols that are grounded, and perhaps also ungrounded symbols such as “heaven” or “God” with which, for the sake of the argument, even in theory I cannot have any experiential relationship and all direct meanings tied to these two words are linguistic symbols. Some of them may be grounded at lower levels.\u003C\u002Fp>\n\u003Cp>As we said, we can have \u003Cem>weighted\u003C\u002Fem> edges (meaning elements) of the meaning network connected to a node (word\u002Fsymbol), as the standard graph theory in mathematics allows. The density and sparseness of meaning networks would not be calculated merely by the number of meaning elements. But the weight of participation of individual meaning elements in the constitution of the overall meaning must be taken into account.\u003C\u002Fp>\n\u003Cp>The modelling of meaning as networks also entails that the meaning is not a binary value. Towards the left side of the spectrum, the meaning is increasingly sparse. Towards the other side, the meaning is getting higher in its density.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_ovq933hufu4w\">\u003C\u002Fa>Coherence and haphazardness of LLMs\u003C\u002Fh2>\n\u003Cp>Previously, we said that (Bender et al., 2021) claim that\u003C\u002Fp>\n\u003Cp>2) LLMs produce outputs haphazardly\u003C\u002Fp>\n\u003Cp>3) coherence is in the eyes of beholder\u003C\u002Fp>\n\u003Cp>The claims 2) and 3) are in fact logically inter-dependent. If LLMs produce outputs haphazardly, any coherence and meaning that there is must be either by sheer chance, or reconstructed by the external system interpreting the output of LLMs. Such system can be, for example, humans.\u003C\u002Fp>\n\u003Cp>LLMs are symbol prediction machines. And their success in statistical prediction and pattern matching is dependent on the size of the corpus of data, supplemented by humans. The use of statistics and prediction does not make LLMs haphazard\u003Csup>\u003Csup>\u003Ca id=\"post-965-footnote-ref-4\" href=\"#post-965-footnote-4\">[5]\u003C\u002Fa>\u003C\u002Fsup>\u003C\u002Fsup>.\u003C\u002Fp>\n\u003Cp>Unless we are concerned with the fact that the data themselves are haphazard and incoherent. But that is not the case that (Bender et al., 2021) argue for. Whatever we can say about the quality of human discourse, especially the one coming from the online sources, if the data used by LLMs are derived from discourse of native speakers, the coherence is not in the eyes of the beholder, it is objectively embedded within the corpus of the data that LLMs work with, exactly because the coherence is initially created by humans themselves. What LLMs do, it appears to me, is that they apply statistics and prediction to the corpus of data that are linguistic compressions of all kinds of sparse and dense meaning networks created by humans themselves. LLMs can tap into the meaning networks through the exploitation of a fact that \u003Cem>all grounded meanings \u003C\u002Fem>or \u003Cem>all meaning networks\u003C\u002Fem> can be made explicit by a transformation into pure symbolic forms, i.e. into a language. The language is a window, or an interface into human meaning networks and all meanings grounded in an external physical world.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_yg0v14k93zld\">\u003C\u002Fa>Language as an interface into human meaning networks\u003C\u002Fh2>\n\u003Cp>We do know that LLMs work by statistically predicting the best next word that fits previously generated strings of texts and their context. If we mean by “stochastic” in the accusation of “stochastic parrot” to merely say that LLMs use statistics to generate their responses, it cannot be considered an argument against LLMs on its own, especially when human brains do certainly employ their own statistical prediction processes.\u003Csup>\u003Csup>\u003Ca id=\"post-965-footnote-ref-5\" href=\"#post-965-footnote-5\">[6]\u003C\u002Fa>\u003C\u002Fsup>\u003C\u002Fsup> Then, what is left is to critique the idea of LLMs being mere “parrots”? Those parrots that can talk imitate human speech sounds rather faithfully but cannot go beyond the data they heard and also, the sounds have no meaning to the parrots themselves. LLMs clearly go beyond the data, generating novel sentences. We can dismiss the first part of the accusations of being a parrot. What about the meaning of the accusation?\u003C\u002Fp>\n\u003Cp>LLMs have no bodies, so far. The meaning of their words and utterances cannot be \u003Cem>grounded\u003C\u002Fem> in the physical world. This in itself, as we have argued previously, does not constitute a problem leading to meaninglessness, if the words that LLMs output are at some level grounded in the physical world occupied and experienced by humans. Are they? I want to argue that indeed the words produced by LLMs are grounded, albeit by proxy of symbolic mediators that function as an interface into human meaning networks.\u003C\u002Fp>\n\u003Cp>Imagine that each human has a meaning network for each word. We admitted that the meaning networks are not fully private, but partially shared within the language community. When we talk and write and want to “get the meaning across”, we compress our complex and messy meaning networks into a language. By its design, the language compresses and makes complex things discrete and separated into graspable units. I can keep in my mind an overwhelming experience of a funeral. Yet, when I wrote into my diary about the funeral, I was forced to strip down the experience into words and sentences. In fact, all sources of writing, from newspapers to poetry and novels are artifacts in which we use the cognitive technology of writing to make seemingly indescribable amenable to linguistic description.\u003C\u002Fp>\n\u003Cp>After the compression that comes with using a language, we transform all the meaning elements that are not linguistic into some form of linguistic strings. These strings will be grounded because their meaning eventually refers back to other symbolic representations that are grounded or refer to iconic and categorical representations directly. The more meaning networks overlap for some words, the faster the invariant features of the meaning of the word will get into LLMs, because they are such powerful statistical machines that capture regularities and patterns in the data that even humans do not notice.\u003C\u002Fp>\n\u003Cp>After the grounded meanings from human physical experience in the world are compressed into the linguistic symbols that may or may not constitute meaning networks of other words, LLMs can tap into this linguistically compressed groundedness of the words.\u003C\u002Fp>\n\u003Cp>By proxy and being parasitic on human groundedness of the meaning, the LLMs use a language as an \u003Cem>interface\u003C\u002Fem> \u003Cem>to\u003C\u002Fem> \u003Cem>tap\u003C\u002Fem> into our meaning networks mediated by all the language output that we as humanity produced and used as input data for the LLMs to learn from. But using an interface comes with a price we have to pay. This act of using an interface – I previously called it \u003Cem>interfaciality\u003Csup>\u003Csup>\u003Ca id=\"post-965-footnote-ref-6\" href=\"#post-965-footnote-6\">[7]\u003C\u002Fa>\u003C\u002Fsup>\u003C\u002Fsup> –\u003C\u002Fem> is a lossy compression because the interface inevitably simplifies and reduces. Let me give an example. My feelings and memories and ideas constituting the meaning of the word “mother” I keep in my mind have no specific discrete forms. They are, to use a computer science term, a continuous signal exactly because my experiential (phenomenal) reality that co-constitutes the memory network (along with symbolic representations) is not discrete either. But by using a language as an interface into the meaning network of the word “mother”, I am reducing the continuous signals into discrete forms of words to create discrete, symbolic representations. Inevitably, a lot of detail is lost due to the fact that to make a linguistic representation of a phenomenal reality is a lossy process.\u003C\u002Fp>\n\u003Cp>How lossy is it? Depends on the density of a linguistic representation and how deep it taps into the entirety of the meaning networks for each word, and higher order elements like a sentence or paragraph. What are the meanings of these higher order elements? As I see it, the meaning is constituted by a process of merging together meaning networks of each word and \u003Cem>traversing\u003C\u002Fem> through the merged meaning networks where the valid rules for such traversing are governed by the syntactic rules of a given language. The lossiness of a linguistic representation would be different between an average person and, say, a Nobel laureate in literature. Whatever the ontological status of experiential reality is, a masterful writer or speaker can use their skill of using the language to bring closer the continuous and irreducible phenomenal reality into something that is graspable and meaningful for us.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_osctxq6frn4d\">\u003C\u002Fa>LLMs have dense, modally superficial meaning networks\u003C\u002Fh2>\n\u003Cp>For us humans it is normal to enrich our own meaning networks by a cross-pollution that happens when we interact only with linguistic representations of others, such as the literature, that makes the meaning networks denser, despite the fact we have no direct experiential (iconic, categorical representations) references with whatever we read in great novels or poetry or philosophy. Most people who read about neuroscience have no iconic or categorical representations of the terms like “frontal lobes”, “predictive coding”, or “glia cells”. Yet, we are happy to talk about it. A random person who talks about neuroscience has a very sparse meaning network regarding the topic, most likely having few if any symbolic representations that are grounded in an experiential reality. Presumably, most if not all meaning elements in her meaning networks related to the topic would be ungrounded symbolic\u002Flinguistic representations, with a few examples of films, photos or interviews with brain patients co-constituting what the topic means to her. If this neuroscience student told us anything about the brains, she would lack the meaning grounded in experiential reality of seeing and operating on the brain, lacking emotional connections to the patients etc, but would be able to recite latest theories, concepts, whole books on the topic. Our neuroscientist would be an expert theoretician on the topic: would analyze concepts, find similarities and differences, could offer criticism based on the coherence to the existing body of knowledge, and may even predict new theories based on seeing patterns and connections in the body of knowledge which no one else could see. Our neuroscience theoretician could even pass a medical school, but we would think that something is missing in her understanding of the topic.\u003C\u002Fp>\n\u003Cp>The LLMs are an extreme case of our neuroscience theoretician as far as meaning networks are concerned. Out of the coherent and structured linguistic data that we humans historically produced, LLMs reconstruct patterns that exist in our meaning networks and easily find new ones that no human could possibly do. Through the language, LLMs have an accessible \u003Cem>interface\u003C\u002Fem> into our discrete symbolic representation of continuous and irreducible phenomenal reality, which is inevitably a lossy process, but again the sheer amount of the linguistic data may shed more light on the existential reality than any person could possibly hope for. Any modification of meaning networks of LLMs consists of adding, removing, or modifying symbolic representations only. LLMs thus have extremely dense meaning networks with an unimaginable amount of weighted meaning elements. But what they lack, similarly to our theoretical neuroscientist, is a diversity in modality of those meaning elements. Most meaning elements in the meaning networks of the theoretical neuroscientist are symbolic representations. Whereas LLMs are the extreme limit of such “modally superficial” meaning networks where only one of the modalities – symbolic representation – can be used for coding the meaning elements.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_xtrzflbprc93\">\u003C\u002Fa>Discussion as summary\u003C\u002Fh2>\n\u003Cp>We never encountered an entity that would readily cite, analyse and synthetise the history of human experiential reality mediated through the lossy compression of linguistic representations. To answer whether LLMs can achieve a human-like intelligence depends, of course, on what we mean by “human”. Because of our societal tendency to privilege cognitive and intellectual processes, with the language endowment distinctly a human ability, the language abilities are at a top position on the list of what separates us from the rest of the animal kingdom. In that regard, LLMs have surpassed us. No human will ever be able to hold, analyse, synthesize, and traverse across the meaning networks built from the entire corpus of human knowledge and experience. Despite the fact that LLMs exhibit quantitatively dense but modally superficial meaning networks, the meaning of the output that LLMs generate is not stochastic, nor repetitive. For that reason, I suggest we should reject the current claim of LMMs being stochastic parrots. Instead, the meaning networks latent in the linguistic corpus and embedded in the higher dimensional networks of LLMs has a solid pedigree based on the grounded symbols referencing the human experiential reality. So what, if LLMs themselves did not experience it? We humans, with theoreticians and philosophers at the forefront, readily use words\u002Fsymbolic representations whose meaning network consists only of other words and concepts represented linguistically, because we have no other experience with it except for other words and concepts.\u003C\u002Fp>\n\u003Cp>The density of meaning networks embedded in LLMs is far superior to what our brains can hold. So what, if the meaning networks are implemented in silicon rather than carbon?\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_za3x0518451d\">\u003C\u002Fa>References\u003C\u002Fh2>\n\u003Cp>Bell, D. (1999). \u003Cem>The coming of post-industrial society: a venture in social forecasting\u003C\u002Fem> (Special anniversary ed. \u002F). Basic Books.\u003C\u002Fp>\n\u003Cp>Bender, E. M., & Koller, A. (2020). Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data. In \u003Cem>Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics\u003C\u002Fem>. Association for Computational Linguistics. https:\u002F\u002Fdoi.org\u002F10.18653\u002Fv1\u002F2020.acl-main.463\u003C\u002Fp>\n\u003Cp>Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots, 610-623. https:\u002F\u002Fdoi.org\u002F10.1145\u002F3442188.3445922\u003C\u002Fp>\n\u003Cp>Castells, M., & Cardoso, G. (2006). \u003Cem>The network society: from knowledge to policy\u003C\u002Fem>. Johns Hopkins Center for Transatlantic Relations.\u003C\u002Fp>\n\u003Cp>Clark, A. (2013a). Are we predictive engines? Perils, prospects, and the puzzle of the porous perceiver. \u003Cem>Behavioral and Brain Sciences\u003C\u002Fem>, \u003Cem>36\u003C\u002Fem>(3), 233-253. https:\u002F\u002Fdoi.org\u002F10.1017\u002Fs0140525x12002440\u003C\u002Fp>\n\u003Cp>Clark, A. (2013b). Whatever next? Predictive brains, situated agents, and the future of cognitive science. \u003Cem>Behavioral and Brain Sciences\u003C\u002Fem>, \u003Cem>36\u003C\u002Fem>(3), 181-204. https:\u002F\u002Fdoi.org\u002F10.1017\u002Fs0140525x12000477\u003C\u002Fp>\n\u003Cp>Dijk, J. van. (2006). \u003Cem>The network society: social aspects of new media\u003C\u002Fem> (2nd ed.). Sage Publications.\u003C\u002Fp>\n\u003Cp>Ferenc, J. (2018). \u003Cem>Postkognitivistické HCI: Vidět interface jako sociotechnický vztah\u003C\u002Fem> [Diplomová práce]. Univerzita Karlova.\u003C\u002Fp>\n\u003Cp>Harnad, S. (1990). The symbol grounding problem. \u003Cem>Physica D: Nonlinear Phenomena\u003C\u002Fem>, \u003Cem>42\u003C\u002Fem>(1-3), 335-346. \u003Ca href=\"https:\u002F\u002Fdoi.org\u002F10.1016\u002F0167-2789(90)90087-6\">https:\u002F\u002Fdoi.org\u002F10.1016\u002F0167-2789(90)90087-6\u003C\u002Fa>\u003C\u002Fp>\n\u003Cp>Searle, J. R. (1980). Minds, brains, and programs. \u003Cem>Behavioral and Brain Sciences\u003C\u002Fem>, \u003Cem>3\u003C\u002Fem>(3), 417-424. https:\u002F\u002Fdoi.org\u002F10.1017\u002FS0140525X00005756\u003C\u002Fp>\n\u003Cp>Webster, F. (2006). \u003Cem>Theories of the information society\u003C\u002Fem> (3rd ed.). Routledge.\u003C\u002Fp>\n\u003Cp>Wittgenstein, L. (2009). \u003Cem>Philosophical investigations\u003C\u002Fem> (Rev. 4th ed.). Wiley-Blackwell.\u003C\u002Fp>\n\u003Col>\n\u003Cli id=\"post-965-footnote-0\">Bell, 1999; Castells, 2006; Dijk, 2006; Webster, 2006 \u003Ca href=\"#post-965-footnote-ref-0\">↑\u003C\u002Fa>\u003C\u002Fli>\n\u003Cli id=\"post-965-footnote-1\">Wittgenstein, 2009 \u003Ca href=\"#post-965-footnote-ref-1\">↑\u003C\u002Fa>\u003C\u002Fli>\n\u003Cli id=\"post-965-footnote-2\">Searle, 1980 \u003Ca href=\"#post-965-footnote-ref-2\">↑\u003C\u002Fa>\u003C\u002Fli>\n\u003Cli id=\"post-965-footnote-3\">ibid, Searle, 1980 \u003Ca href=\"#post-965-footnote-ref-3\">↑\u003C\u002Fa>\u003C\u002Fli>\n\u003Cli id=\"post-965-footnote-4\">If I know that you are a female from the US and your name starts with the letters “JAN”. There is a good chance that the fourth letter in your name is “E”. I cannot be sure entirely, but the answer stems from a statistical analysis of the set of all US female names and the frequency of the letters in the names. This is not a haphazard process to get to the answer. Similarly, LLMs use statistics to get to their answer. I am not sure why the use of statistical methods would constitute an haphazard process of working with data. \u003Ca href=\"#post-965-footnote-ref-4\">↑\u003C\u002Fa>\u003C\u002Fli>\n\u003Cli id=\"post-965-footnote-5\">Clark, 2013a; Clark, 2013b \u003Ca href=\"#post-965-footnote-ref-5\">↑\u003C\u002Fa>\u003C\u002Fli>\n\u003Cli id=\"post-965-footnote-6\">Ferenc, 2018 \u003Ca href=\"#post-965-footnote-ref-6\">↑\u003C\u002Fa>\u003C\u002Fli>\n\u003C\u002Fol>\n\u003Cp> \u003C\u002Fp>\n",false,{"rendered":22,"protected":20},"\u003Cp>In this essay, I argue that LLMs are not stochastic parrots by evaluating the claims by (Bender et al., 2021) who coined the term “stochastic parrot” to express the view that the output of LLMs is 1) haphazard, 2) incoherent, 3) meaningless, because, following (Harnad, 1990), it produces symbols that are not grounded in the […]\u003C\u002Fp>\n",1,0,"open","","standard",{"footnotes":26},[30],4,[],[33,14,34,35,36,37,38],"post-965","type-post","status-publish","format-standard","hentry","category-article",{"self":40,"collection":46,"about":49,"author":52,"replies":56,"version-history":59,"predecessor-version":63,"wp:attachment":67,"wp:term":70,"curies":77},[41],{"href":42,"targetHints":43},"https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Fposts\u002F965",{"allow":44},[45],"GET",[47],{"href":48},"https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Fposts",[50],{"href":51},"https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Ftypes\u002Fpost",[53],{"embeddable":54,"href":55},true,"https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Fusers\u002F1",[57],{"embeddable":54,"href":58},"https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Fcomments?post=965",[60],{"count":61,"href":62},3,"https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Fposts\u002F965\u002Frevisions",[64],{"id":65,"href":66},971,"https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Fposts\u002F965\u002Frevisions\u002F971",[68],{"href":69},"https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Fmedia?parent=965",[71,74],{"taxonomy":72,"embeddable":54,"href":73},"category","https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Fcategories?post=965",{"taxonomy":75,"embeddable":54,"href":76},"post_tag","https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Ftags?post=965",[78],{"name":79,"href":80,"templated":54},"wp","https:\u002F\u002Fapi.w.org\u002F{rel}",{"author":82,"wp:term":99},[83],{"id":23,"name":84,"url":85,"description":26,"link":86,"slug":84,"avatar_urls":87,"_links":91},"jakubferenc","https:\u002F\u002Fcms.local.test\u002Fwordpress","https:\u002F\u002Fcms.local.test\u002Fauthor\u002Fjakubferenc\u002F",{"24":88,"48":89,"96":90},"https:\u002F\u002Fsecure.gravatar.com\u002Favatar\u002Fbe0a3bc58c835417264df524152162a21507cbbd47b541b516705d259a516c1f?s=24&d=mm&r=g","https:\u002F\u002Fsecure.gravatar.com\u002Favatar\u002Fbe0a3bc58c835417264df524152162a21507cbbd47b541b516705d259a516c1f?s=48&d=mm&r=g","https:\u002F\u002Fsecure.gravatar.com\u002Favatar\u002Fbe0a3bc58c835417264df524152162a21507cbbd47b541b516705d259a516c1f?s=96&d=mm&r=g",{"self":92,"collection":96},[93],{"href":55,"targetHints":94},{"allow":95},[45],[97],{"href":98},"https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Fusers",[100,121],[101],{"id":30,"link":102,"name":103,"slug":103,"taxonomy":72,"_links":104},"https:\u002F\u002Fcms.local.test\u002Fcategory\u002Farticle\u002F","article",{"self":105,"collection":110,"about":113,"wp:post_type":116,"curies":119},[106],{"href":107,"targetHints":108},"https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Fcategories\u002F4",{"allow":109},[45],[111],{"href":112},"https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Fcategories",[114],{"href":115},"https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Ftaxonomies\u002Fcategory",[117],{"href":118},"https:\u002F\u002Fcms.local.test\u002Fwp-json\u002Fwp\u002Fv2\u002Fposts?categories=4",[120],{"name":79,"href":80,"templated":54},[],[],{"cs":124,"es":128,"fr":132},{"title":125,"slug":126,"description":127},"Proti stochastickým papouškům: role významu při posuzování inteligence AI","proti-stochastickym-papouskum-role-vyznamu-pri-posuzovani-inteligence-ai","Esej proti tezi o „stochastických papoušcích“: výstupy LLM podle mě dědí ukotvení významu nepřímo z lidského jazyka, což popisuji pomocí sítí významu.",{"title":129,"slug":130,"description":131},"Contra los loros estocásticos: el papel del significado al evaluar la inteligencia de la IA","contra-los-loros-estocasticos-el-papel-del-significado-al-evaluar-la-inteligencia-de-la-ia","Ensayo contra la tesis de los «loros estocásticos»: sostengo que los LLM heredan de forma indirecta el anclaje del significado del lenguaje humano, descrito como redes de significado.",{"title":133,"slug":134,"description":135},"Contre les perroquets stochastiques : le rôle du sens dans l’évaluation de l’intelligence de l’IA","contre-les-perroquets-stochastiques-le-role-du-sens-dans-l-evaluation-de-l-intelligence-de-l-ia","Un essai contre la thèse des « perroquets stochastiques » : les LLM héritent indirectement de l’ancrage du sens dans le langage humain, décrit comme des réseaux de sens.","\u003Cp>Dans cet essai, je soutiens que les LLM ne sont pas des perroquets stochastiques, en évaluant les thèses de (Bender et al., 2021), qui ont forgé l’expression « perroquet stochastique » pour exprimer l’idée que la production des LLM est 1) aléatoire, 2) incohérente, 3) dépourvue de sens, parce que, à la suite de (Harnad, 1990), elle produit des symboles qui ne sont pas ancrés dans l’existence phénoménale humaine au sein d’un monde physique. Je présente un concept de « réseaux de sens », une conception réticulaire du sens des termes, qui consiste en des associations pondérées, multimodales et socialement stabilisées, constituant ce qu’un terme signifie pour un locuteur. L’argument principal de l’essai consiste à montrer que les LLM produisent des résultats qui héritent indirectement de l’ancrage du langage produit par les humains, lequel est lui-même ancré. L’usage des données linguistiques comme interface vers l’existence humaine dans le monde physique souffre d’une compression avec perte : toute interface qui traduit l’existence humaine, qui est un « signal continu » (pour reprendre la terminologie de l’informatique), en unités discrètes, comme les symboles linguistiques, perd la richesse du détail. L’ancrage est donc à la fois indirect et avec perte. Comparés à l’intelligence et à l’usage du sens au niveau humain, les LLM occupent une niche jamais vue auparavant : celle de systèmes qui produisent une production linguistique de niveau humain dont le sens a une modalité purement symbolique. Les réseaux de sens générés par les LLM peuvent être compris comme un exemple extrême d’intelligence humaine chargée de langage.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_geao7idfhv2\">\u003C\u002Fa>Introduction\u003C\u002Fh2>\n\u003Cp>Depuis au moins la seconde moitié du XXe siècle, notre société a été qualifiée de société de l’information, de société en réseaux, de société postindustrielle, etc.\u003Csup>\u003Csup>\u003Ca id=\"post-965-footnote-ref-0\" href=\"#post-965-footnote-0\">[1]\u003C\u002Fa>\u003C\u002Fsup>\u003C\u002Fsup> Tous ces termes reflètent le mode dominant de fonctionnement de la société. L’information, les réseaux, les abstractions et le savoir symbolique sont les monnaies du jour. Les individus très instruits, doués pour la pensée analytique et abstraite et pour le traitement de l’information, sont les professionnels recherchés. L’avènement du cognitivisme en philosophie de l’esprit et dans les sciences cognitives a marqué le début de l’ère où la métaphore de l’homme comme processeur d’information a commencé à être prise au sérieux, jusqu’à la pointe de notre quête pour comprendre qui nous sommes et comment fonctionne notre esprit. Les travaux de Simon et Newell sur les logiciels Logic Theorist et General Problem Solver, l’ELIZA de Weizenbaum, le SHRDLU de Winograd, et même les Syntactic Structures de Chomsky puis le tournant biologique en linguistique, ne furent que quelques-unes des nombreuses théories et des nombreux projets visant à expliquer la cognition humaine en invoquant la logique et le langage comme ingrédients essentiels de l’intelligence humaine. Il est vrai que, depuis, les sciences cognitives et l’IA ont connu des changements majeurs. Les changements de paradigme connexionniste et 4E ont mis l’accent sur l’usage des réseaux de neurones et sur le rôle du corps enchâssé dans des contextes situés et, plus largement, culturels et sociaux, pour créer un modèle plus fidèle du fonctionnement des processus cérébraux et de la cognition humaine. Mais l’attention portée à la compréhension de l’\u003Cem>intelligence\u003C\u002Fem>, humaine comme artificielle, reste primordiale.\u003C\u002Fp>\n\u003Cp>Pourtant, l’arrivée de ChatGPT, Bard, Claude et d’autres chatbots fondés sur l’architecture des grands modèles de langage (LLM) nous oblige à reconsidérer qui nous sommes. Les LLM montrent que l’usage du langage, qui est le trait le plus distinctif de l’homme par rapport à \u003Cem>toutes \u003C\u002Fem>les autres espèces animales, peut être automatisé pour produire des réponses semblables à celles d’un humain, passant le test de Turing avec aisance, surpassant l’humain moyen dans le traitement des données factuelles, le raisonnement logique ou les capacités langagières. Si les LLM battent les humains dans les tâches que nous considérons comme proprement humaines, une intelligence artificielle fondée sur les LLM ne devient-elle pas plus semblable à nous que nous-mêmes ? Il semble absurde de prétendre que le LLM, une machine formelle de prédiction de chaînes de symboles, puisse atteindre le statut d’être humain. À moins d’être hypocrites, nous ne pouvons pas cesser de louer l’intelligence et la compétence linguistique humaines comme les plus hautes valeurs cognitives \u003Cem>humaines\u003C\u002Fem> au moment même où une autre entité nous devient supérieure. Pour éviter l’énigme ontologique de ce que signifie être humain, je poserai la question autrement : les LLM peuvent-ils, même en théorie, devenir plus intelligents que les humains ? Pour éviter, là encore, de définir ce qu’est l’intelligence, je restreindrai encore mon enquête : quoi que signifie être intelligent, je présuppose que l’intelligence de type humain exige la compréhension ; et la compréhension exige de saisir ce que signifient les mots, les phrases ou les concepts. Sans compréhension du sens, il ne peut y avoir d’intelligence.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_hy70hds010iq\">\u003C\u002Fa>Réseaux de sens : une intersection de la phénoménologie et des significations linguistiques\u003C\u002Fh2>\n\u003Cp>Il est important de clarifier ce que j’entends par sens. Je ne présenterai pas ici un panorama des théories du sens en philosophie analytique. Ce que je \u003Cem>peux\u003C\u002Fem> esquisser ici, c’est une théorie minimale du sens qui se heurte à la fois à la \u003Cem>théorie référentielle du sens\u003C\u002Fem> et à la \u003Cem>théorie vériconditionnelle\u003C\u002Fem> \u003Cem>du sens\u003C\u002Fem>.\u003C\u002Fp>\n\u003Cp>Imaginons que nous voulions parler du sens du mot « mère ». Ma mère est décédée il y a quelques mois. Voici ce que génère mon esprit lorsque je pense au sens de ce mot : je me souviens de l’image visuelle du visage sombre de ma mère et de la froideur de son front lorsque je l’ai embrassée, alors qu’elle reposait dans le cercueil à l’église. Je me souviens de l’odeur de l’encens, tandis que j’entendais les notes de Dancing Queen d’ABBA jouées par le quatuor à cordes, à l’alto, aux violons et au violoncelle. J’ai des souvenirs tactiles d’avoir serré dans mes bras ma mère malade quelques jours avant sa mort. J’éprouve des sentiments non objectivables de tristesse, de remords et de bonheur en pensant à ce mot. Mon esprit gravite aussi autour de la question de ce que signifie être mère, dont j’ai discuté avec ma fiancée enceinte. Mon esprit est également conscient des liens purement linguistiques que le mot « mère » entretient avec d’autres mots comme « père », « grossesse », « femme », « enfants », etc., et des relations linguistiques entre le mot « mère » et d’autres traits de la langue (le pronom « ma », le pluriel « mères », le gérondif « ne respirant plus », etc.). Je suis aussi conscient des connotations du mot « mère » que j’ai assimilées dans ma compréhension du mot en lisant des journaux, de la littérature, ou en apprenant de manière intersubjective, en parlant avec d’autres gens, ce que les mères peuvent faire ou à quoi elles ressemblent.\u003C\u002Fp>\n\u003Cp>Le sens du mot « mère » est pour moi à la fois privé et public. Le sens privé se compose d’éléments relevant de diverses modalités perceptives et de symboles linguistiques. Le sens public, externe, se compose de ce que j’ai entendu et assimilé de ma communauté et de la société en général, habituellement sous la forme de symboles linguistiques (c’est-à-dire de mots et de phrases), qui ont pu affecter mes sous-significations existantes, non linguistiques et issues de la perception, par une boucle de rétroaction (par exemple, lorsque j’ai entendu combien la mère de quelqu’un s’était mal comportée, j’ai commencé à apprécier davantage ma mère et à ressentir plus d’amour pour elle, modifiant mes sous-significations antérieures issues des sentiments).\u003C\u002Fp>\n\u003Cp>Si nous empruntons en outre à la théorie des réseaux les termes de base de « nœud » et d’« arêtes », leur équivalent serait\u003C\u002Fp>\n\u003Cp>nœud = mots \u002F concepts\u003C\u002Fp>\n\u003Cp>arête = élément de sens pouvant relever de nombreuses modalités : représentations perceptives ou symboliques, sentiments, autres nœuds médiatisés par les représentations symboliques\u003C\u002Fp>\n\u003Cp>Comme nous pouvons le voir, le sens d’un mot est avant tout un sens pour moi, qui existe dans mon esprit. C’est un « réseau de sens » multimodal, fait d’éléments à la fois perceptifs et linguistiques. Ce « réseau de sens » n’est pas statique : il réagit dynamiquement à mon existence située dans le monde, et de nouveaux éléments perceptifs ou linguistiques peuvent y être ajoutés ou éventuellement retirés (ou plutôt supplantés) à tout moment.\u003C\u002Fp>\n\u003Cp>Le terme « mère » ne peut pas renvoyer à un seul « objet » existant dans le monde. Je laisse de côté la distinction frégéenne entre « sens » et « référence », qui présuppose des référents et un sens stables. Je veux proposer à la place une sémantique multimodale et réticulaire, où le sens des termes est égal aux réseaux de sens eux-mêmes. Je peux ainsi intégrer des données sensorielles, des sentiments, de l’imagerie visuelle, de fausses croyances, des mots, des concepts, des souvenirs de nombreuses modalités dont j’ai le sentiment net et clair qu’ils constituent ce que je veux dire lorsque j’emploie le terme « mère », ou des termes comme « ma mère » ou « Helena Ferencová ».\u003C\u002Fp>\n\u003Cp>Le réseau de sens est sensible à l’influence des significations publiques et partagées du mot « mère », et cela aide à défendre la théorie du sens proposée ici contre l’accusation de sens privé, lequel, comme l’a soutenu Wittgenstein, est impossible\u003Csup>\u003Csup>\u003Ca id=\"post-965-footnote-ref-1\" href=\"#post-965-footnote-1\">[2]\u003C\u002Fa>\u003C\u002Fsup>\u003C\u002Fsup>. La communauté dont je suis membre participe bel et bien à la constitution de ce que « mère » signifie pour moi, et je suis conscient que nos expériences personnelles et nos pensées sur les mères co-constituent nos réseaux de sens respectifs, et que la culture partagée fait que nos réseaux de sens se recoupent considérablement. Cela implique qu’il doit exister des éléments stables, qui sont fixes ou dont la stabilité est dynamiquement et continuellement imposée par l’interaction linguistique ou perceptive avec autrui. En d’autres termes, les réseaux de sens peuvent être dynamiques, mais leur stabilité est constamment négociée à travers l’interaction avec les autres. Je ne peux pas changer tout le réseau de sens de ce que j’entends par « mère », car je parlerais alors de quelqu’un ou de quelque chose d’autre. Si le langage doit conserver une fonction communicative, je dois garder le contenu de mes réseaux de sens (autrement dit, le sens des termes que j’emploie) plutôt stable, afin d’être raisonnablement compris par la plupart des gens. Si ce que je veux dire diffère radicalement de ce que veut dire n’importe qui d’autre, je dois m’expliquer auprès des autres et, par là, mettre à jour leurs propres réseaux de sens, pourvu qu’ils soient disposés à intégrer cognitivement de nouvelles informations.\u003C\u002Fp>\n\u003Cp>Quant aux conditions de vérité, la vérité peut être un élément de mon réseau de sens, mais elle n’épuise pas le concept entier de sens. Mon sentiment subjectif de chagrin est en ce moment plus porteur de sens que n’importe quelle conception de la vérité. Cela ne veut pas dire qu’une condition de vérité ne participe pas au sens des termes, mais elle est pour ainsi dire rétrogradée au niveau des autres éléments de sens.\u003C\u002Fp>\n\u003Cp>Il semble plausible que l’aspect dynamique des réseaux de sens soit en partie réalisé par l’influence du monde extérieur sur mes éléments de sens stockés dans ma mémoire. Mais mes éléments de sens peuvent changer parce que ma mémoire me trahit, lorsque j’oublie des mots ou des expériences liés à ma mère. De plus, sous l’effet du temps, il est probable que certains éléments de sens s’estomperont en partie, tandis que d’autres resteront forts, voire deviendront plus forts. Si nous empruntons la terminologie des réseaux de neurones sur lesquels reposent les LLM eux-mêmes, nous pouvons attribuer à chaque élément de sens un \u003Cem>poids\u003C\u002Fem> qui indique avec quelle force ou quelle faiblesse un élément de sens donné participe à la constitution du sens. Si je fais brûler un bâton d’encens chez moi demain, cela pourra augmenter le poids des éléments de sens liés à l’odeur, à l’église, au cercueil, aux funérailles dans le sens du mot « mère ».\u003C\u002Fp>\n\u003Cp>Les éléments de sens individuels peuvent aussi être faux. J’ai peut-être commencé à associer les vestes de velours noir au sens de « mère » parce que je crois qu’elle portait ce vêtement lors des funérailles. En réalité, il s’agissait peut-être d’une robe de velours bleu marine foncé, mais en raison d’un mauvais éclairage, la couleur m’a paru noire. Certains éléments de sens peuvent donc être ajoutés à mon réseau de sens sur la base d’une fausse croyance. Mais ce qui est indubitablement vrai, c’est que cet élément de sens faux participe au sens de « mère ». Je pense qu’on peut en dire autant des éléments de sens issus de références à des hallucinations ou à des choses dont l’existence n’est pas prouvée, et qui font pourtant partie de mes réseaux de sens, comme le concept de « paradis » ou de « Dieu ».\u003C\u002Fp>\n\u003Cp>Il importe de noter qu’il reste une place, dans le réseau de sens, pour un sens purement symbolique ou linguistique. D’autres mots et traits linguistiques, qui peuvent être purement formels (fondés sur la position des mots dans une phrase, comme l’exigent les règles syntaxiques d’une langue), contribuent bel et bien à co-constituer le réseau de sens global. Mais là encore, le sens linguistique n’est qu’une partie du réseau de sens. Il n’épuise pas non plus le sens complet du mot « mère ».\u003C\u002Fp>\n\u003Cp>Je reste agnostique quant au pourcentage du réseau de sens global constitué par une modalité donnée. Certaines personnes sont peut-être plus enclines au visuel, d’autres s’appuient sur des éléments linguistiques dans leurs réseaux de sens. Toutes les modalités décrites ici ne seront pas présentes dans les réseaux de sens des autres. Par exemple, une personne atteinte d’une affection appelée aphantasie est incapable de générer des images mentales. Nous pouvons nous attendre à ce que son réseau de sens ne repose sur aucune donnée sensorielle visuelle, ou que l’influence des données sensorielles visuelles y soit fortement réduite.\u003C\u002Fp>\n\u003Cp>La théorie du sens, telle qu’elle se présente au regard du concept de réseau de sens, repose sur quelques exigences minimales : elle n’est pas seulement formelle et symbolique ni purement linguistique ; elle est à la fois interne\u002Fprivée et externe\u002Fpartagée par la communauté ; elle est constituée de plusieurs modalités, parmi lesquelles les symboles et les relations linguistiques ne sont qu’un élément constitutif du sens parmi beaucoup d’autres. Les éléments de sens qui constituent le sens ont des poids qui indiquent avec quelle force ou quelle faiblesse l’élément de sens donné participe au sens global.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_my37juc1t5pp\">\u003C\u002Fa>La chambre chinoise et les perroquets stochastiques\u003C\u002Fh2>\n\u003Cp>Tous les réseaux de sens ne naissent pas égaux. Il y a des gens qui ont une compréhension plus profonde que d’autres des concepts, des choses, des actions corporelles, etc. Que se passe-t-il exactement lorsque nous disons que la compréhension de quelqu’un est profonde ou superficielle ?\u003C\u002Fp>\n\u003Cp>Dans la célèbre expérience de la chambre chinoise\u003Csup>\u003Csup>\u003Ca id=\"post-965-footnote-ref-2\" href=\"#post-965-footnote-2\">[3]\u003C\u002Fa>\u003C\u002Fsup>\u003C\u002Fsup>, Searle nous montre ce que signifie n’avoir exactement aucune compréhension du sens des mots et des phrases. Searle, qui ne comprend pas un mot de chinois, est assis dans une pièce fermée. D’un côté, on lui remet un ensemble de symboles chinois qui représentent un message écrit par un locuteur natif du chinois. On lui remet aussi un ensemble de symboles chinois pour les réponses, ainsi que des instructions rédigées en anglais, qu’il comprend, indiquant comment mettre en corrélation les symboles d’entrée avec les symboles de sortie, de manière à feindre une conversation naturelle en chinois avec une personne se trouvant hors de la pièce. Searle ne comprend pas du tout le sens des symboles chinois ; il les met en corrélation de manière purement formelle, d’après leur forme. Searle soutient qu’une telle manipulation de symboles formels selon un ensemble fixe de règles est analogue au fonctionnement des ordinateurs. Parce que les ordinateurs ne travaillent eux aussi qu’avec des symboles formels, ils n’ont aucune compréhension du sens des symboles. Searle, comme les ordinateurs, ne comprend pas le chinois, parce qu’ils opèrent au niveau formel et syntaxique, qui manque de compréhension du sens des mots, ou, comme le dirait Searle : la manipulation de symboles formels selon des règles est dépourvue d’états mentaux, qui sont les conditions préalables d’une intentionnalité intrinsèque\u003Csup>\u003Csup>\u003Ca id=\"post-965-footnote-ref-3\" href=\"#post-965-footnote-3\">[4]\u003C\u002Fa>\u003C\u002Fsup>\u003C\u002Fsup>. L’intentionnalité est une propriété des états mentaux, qui indique que chaque état mental a un contenu ; ils portent sur quelque chose.\u003C\u002Fp>\n\u003Cp>D’une certaine manière, nous pourrions répondre ici même à la question de savoir si l’IA fondée sur les LLM est intelligente, en disant que les LLM n’ont pas d’états mentaux et que, par conséquent, quoi qu’ils fassent, cela manque d’intentionnalité, d’« aboutness » ou de contenu mental. Et si leurs états ne portent sur rien, ils ne peuvent pas comprendre le sens.\u003C\u002Fp>\n\u003Cp>Je ne discuterai pas ici de la question de savoir si les LLM ont des états mentaux ou une intentionnalité. Disons que c’est une question de définition, ou une question empirique. Je veux imaginer avec quelle sorte d’états mentaux, ou plutôt avec quelle sorte de réseaux de sens travaillent les LLM, qu’ils aient des états mentaux ou non.\u003C\u002Fp>\n\u003Cp>Les LLM fonctionnent en assemblant des chaînes de mots sur la base de la probabilité d’une telle combinaison, dérivée de représentations de grande dimension latentes dans le vaste corpus de données linguistiques. (Bender et al., 2021) ont forgé l’expression « perroquet stochastique » pour décrire le fait que l’architecture des LLM produit des chaînes de mots apparemment cohérentes, mais sans aucune référence au sens de ces chaînes de données, exactement comme le perroquet, l’animal, qui n’a aucune compétence linguistique et ne fait que répéter les sons phonétiques qu’il a entendus à des humains qui interprètent ces sons répétés mécaniquement comme des unités phonémiques distinctes de mots reconnaissables. (Bender et al., 2021) soutiennent que les LLM génèrent ces chaînes assemblées « au hasard » et que leur cohérence est purement « dans l’œil de celui qui regarde », suggérant que la cohérence n’est pas inhérente à la production des LLM elle-même, mais plutôt donnée de l’extérieur par les interprètes humains des productions des LLM. (Bender & Koller, 2020) précisent ensuite leur compréhension du sens en souscrivant à la théorie référentielle du sens, selon laquelle ils tiennent le sens pour « la relation entre la forme et quelque chose d’extérieur au langage… » (p. 5187). En d’autres termes, pour qu’un humain ou un ordinateur soit un locuteur compétent et comprenne le sens des mots employés, il doit « ancrer » sa compréhension des mots dans le monde réel. (Bender & Koller, 2020) citent (Harnad, 1990) et son « problème de l’ancrage des symboles » pour soutenir que, sans l’ancrage des significations dans le monde physique, le système (humain, ordinateur) ne peut pas comprendre le langage ; ce serait analogue à apprendre une langue en étudiant seulement un dictionnaire. Des réponses sensées doivent établir des liens entre les mots et le monde physique.\u003C\u002Fp>\n\u003Cp>Comme je tente de l’expliquer ci-dessous, je suis en désaccord avec Bender et al. sur trois points précis :\u003C\u002Fp>\n\u003Col>\n\u003Cli>le sens doit renvoyer à quelque chose d’extérieur au langage\u003C\u002Fli>\n\u003Cli>les LLM produisent leurs résultats au hasard\u003C\u002Fli>\n\u003Cli>la cohérence est dans l’œil de celui qui regarde\u003C\u002Fli>\n\u003C\u002Fol>\n\u003Ch2>\u003Ca id=\"post-965-_gknh07wai9q7\">\u003C\u002Fa>Significations ancrées et non ancrées\u003C\u002Fh2>\n\u003Cp>(Harnad, 1990), à l’époque du paradigme de l’IA symbolique et dans la ligne de l’argument de la chambre chinoise de Searle, écrit contre l’idée que la manipulation purement formelle de symboles puisse mener à la compréhension. Le ressort principal de son argumentation est que, pour que des systèmes symboliques comprennent un langage, ils doivent ancrer le sens des mots, au niveau le plus bas, dans des représentations non symboliques issues des données sensorielles de notre perception du monde physique et de notre interaction avec lui.\u003C\u002Fp>\n\u003Cp>Pour « ancrer » leurs significations, les systèmes doivent disposer d’équivalents de deux éléments que Harnad appelle 1) représentations iconiques et 2) représentations catégorielles, et ce n’est qu’ensuite qu’il est possible de leur apposer une étiquette linguistique par le biais de 3) la représentation symbolique.\u003C\u002Fp>\n\u003Cp>\u003Cem>1 Représentations iconiques\u003C\u002Fem>\u003C\u002Fp>\n\u003Cp>Les représentations iconiques sont des données perceptives brutes de certains objets spécifiques, que nous ne pouvons pas encore identifier ni nommer. Dans le cas de la vision, les représentations iconiques seraient les formes que des objets, comme des chevaux, pour reprendre l’exemple de Harnad lui-même, projettent sur nos rétines. L’esprit conserverait les représentations iconiques des chevaux comme des analogues de leurs formes réelles. À ce niveau, les seules fonctions nécessaires selon Harnad sont celles qui permettent de discriminer les formes de chevaux stockées sur la base de la similarité ou de la différence. Le fait important est qu’il existe une relation non arbitraire, isomorphe, entre l’icône et ce à quoi elle renvoie, parce que la représentation iconique a une relation structurelle avec son origine.\u003C\u002Fp>\n\u003Cp>\u003Cem>2 Représentation catégorielle\u003C\u002Fem>\u003C\u002Fp>\n\u003Cp>Selon Harnad, les icônes ne suffisent pas au sens. Le monde est trop complexe et nous avons besoin d’identifier plus rapidement quelles formes et quelles données sensorielles issues de nos organes des sens appartiennent à une catégorie spécifique. Pour cela, nous devons abstraire des représentations iconiques des traits invariants et créer des catégories à partir de ces invariants, afin qu’à l’avenir, lorsque nous rencontrerons un objet ayant la forme d’un cheval, nous puissions identifier plus rapidement si cet objet appartient à la catégorie dotée d’attributs chevalins. À ce niveau, nous n’utilisons toujours pas le mot « cheval » pour décrire la représentation catégorielle, mais nous identifions les chevaux par \u003Cem>la forme de leur tête, le fait d’avoir quatre pattes, une queue\u003C\u002Fem>, etc.\u003C\u002Fp>\n\u003Cp>\u003Cem>3 Représentation symbolique\u003C\u002Fem>\u003C\u002Fp>\n\u003Cp>Ce n’est qu’à ce niveau que le langage entre en jeu. Une fois que nous avons le « cheval » comme ensemble de traits abstraits de ce qui ressemble à un cheval réel, nous associons dans notre esprit le symbole « cheval » à notre compréhension perceptivement ancrée et expérientielle d’un cheval. Bien que les symboles soient, à ce niveau, entièrement arbitraires – la forme du symbole\u002Fmot « cheval » ne ressemble en rien au cheval réel –, ils ont un sens parce que leur contenu sémantique (leur sens) est hérité des représentations iconiques et catégorielles. Dans cette perspective, ce qui donne leur sens aux symboles, ce sont bien leurs références au monde extérieur, issues de la perception.\u003C\u002Fp>\n\u003Cp>Il est intéressant de noter que Harnad admet la possibilité que nous puissions créer des symboles dotés de sens qui n’ont pas de représentations iconiques et catégorielles directes. Harnad donne l’exemple du mot \u003Cem>« zèbre »\u003C\u002Fem> :\u003C\u002Fp>\n\u003Cp>\u003Cem>« zèbre »\u003C\u002Fem> = « cheval » + « rayures ».\u003C\u002Fp>\n\u003Cp>Si le système dispose de représentations iconiques et catégorielles du mot « rayures », alors Harnad admet que la représentation symbolique \u003Cem>héritera \u003C\u002Fem>de son ancrage à partir des représentations symboliques ancrées de « cheval » et de « rayures ». Qu’est-ce que cela signifie ? Le système disposera d’un mot « zèbre » doté de sens, bien qu’il n’ait aucune référence perceptive directe à un zèbre dans le monde extérieur. Le sens est hérité, ou dérivé. Ses seules significations directes sont des références aux symboles linguistiques « cheval » et « rayures ».\u003C\u002Fp>\n\u003Cp>Il me semble que (Bender & Koller, 2020), qui s’appuient sur (Harnad, 1990), supposent à tort que Harnad exclut toute signification autre que celles qui sont ancrées. Mais d’après ma lecture de (Harnad, 1990), il admet des significations de symboles\u002Fmots qui n’ont pas de référence directe au monde physique, pourvu que leurs références réelles soient des symboles\u002Fmots dont les significations sont ancrées dans le monde physique. Exactement comme dans l’exemple du zèbre = « cheval » + « rayures ».\u003C\u002Fp>\n\u003Cp>Une fois que nous avons brisé la nécessité d’un lien direct entre le sens d’un mot\u002Fsymbole et sa relation au monde physique, rien ne semble nous empêcher d’injecter un certain nombre de symboles intermédiaires comme seules significations réelles d’un symbole d’origine, pourvu qu’un symbole, le dernier, soit ancré dans le monde physique.\u003C\u002Fp>\n\u003Cp>Je pense que nous avons sapé la première thèse, \u003Cem>1) le sens doit renvoyer à quelque chose d’extérieur au langage\u003C\u002Fem>. Nous venons de voir qu’un sens \u003Cem>peut renvoyer à quelque chose d’intérieur au langage\u003C\u002Fem>, mais que, pour rester en accord avec (Harnad, 1990), il doit \u003Cem>finalement\u003C\u002Fem> sauter hors de l’espace linguistique vers un espace physique de perceptions et de représentations iconiques et catégorielles pour être ancré, ce qui est pour (Harnad, 1990) une issue nécessaire à une régression à l’infini de symboles linguistiques renvoyant \u003Cem>seulement \u003C\u002Fem>à d’autres symboles linguistiques, jamais à l’extérieur du système de la langue.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_yni9wq403zva\">\u003C\u002Fa>Réseaux de sens épars et denses\u003C\u002Fh2>\n\u003Cp>Pour revenir à notre concept de réseaux de sens, comment pouvons-nous mieux comprendre quelles significations sont \u003Cem>profondes\u003C\u002Fem> ou \u003Cem>denses\u003C\u002Fem>, et lesquelles sont \u003Cem>superficielles ou éparses\u003C\u002Fem> ?\u003C\u002Fp>\n\u003Cp>En nous servant de la théorie de l’ancrage des symboles de (Harnad, 1990), je pense que nous pouvons affirmer que mes descriptions du réseau de sens représentant le sens du mot « mère », tel que je l’emploie, sont un cas de \u003Cem>sens ancré par excellence\u003C\u002Fem>.\u003C\u002Fp>\n\u003Cp>Imaginons maintenant que je n’aie jamais eu de mère. En fait, je n’ai jamais rien lu sur les mères, hormis l’information qu’une mère est un être humain de sexe féminin qui a au moins un enfant. Imaginons en outre que j’aie une compréhension ancrée des symboles « humain », « femme » et « enfant ». En quoi une compréhension aussi superficielle de « mère » diffère-t-elle de ma compréhension personnelle et plus profonde ?\u003C\u002Fp>\n\u003Cp>Dans le premier cas, le réseau de sens serait plutôt épars. Il ne se composerait que de trois symboles linguistiques potentiels. Dans le second exemple, le schéma graphique du sens de « mère » tel que je l’emploie serait un réseau dense de données issues de la perception, de nombreux symboles linguistiques ancrés, et peut-être aussi de symboles non ancrés comme « paradis » ou « Dieu », avec lesquels, pour les besoins de l’argument, je ne peux même en théorie avoir aucune relation expérientielle, et dont toutes les significations directes liées à ces deux mots sont des symboles linguistiques. Certains d’entre eux peuvent être ancrés à des niveaux inférieurs.\u003C\u002Fp>\n\u003Cp>Comme nous l’avons dit, nous pouvons avoir des arêtes \u003Cem>pondérées\u003C\u002Fem> (éléments de sens) du réseau de sens reliées à un nœud (mot\u002Fsymbole), comme le permet la théorie des graphes standard en mathématiques. La densité et le caractère épars des réseaux de sens ne se calculeraient pas seulement par le nombre d’éléments de sens. Il faut aussi tenir compte du poids de la participation des éléments de sens individuels à la constitution du sens global.\u003C\u002Fp>\n\u003Cp>La modélisation du sens sous forme de réseaux implique aussi que le sens n’est pas une valeur binaire. Vers le côté gauche du spectre, le sens est de plus en plus épars. Vers l’autre côté, le sens gagne en densité.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_ovq933hufu4w\">\u003C\u002Fa>Cohérence et caractère aléatoire des LLM\u003C\u002Fh2>\n\u003Cp>Nous avons dit plus haut que (Bender et al., 2021) affirment que\u003C\u002Fp>\n\u003Cp>2) les LLM produisent leurs résultats au hasard\u003C\u002Fp>\n\u003Cp>3) la cohérence est dans l’œil de celui qui regarde\u003C\u002Fp>\n\u003Cp>Les thèses 2) et 3) sont en fait logiquement interdépendantes. Si les LLM produisent leurs résultats au hasard, toute cohérence et tout sens qu’il y aurait doivent être soit le fruit du pur hasard, soit reconstruits par le système extérieur qui interprète la production des LLM. Ce système peut être, par exemple, les humains.\u003C\u002Fp>\n\u003Cp>Les LLM sont des machines de prédiction de symboles. Et leur succès en matière de prédiction statistique et de reconnaissance de motifs dépend de la taille du corpus de données fourni par les humains. L’usage de la statistique et de la prédiction ne rend pas les LLM aléatoires\u003Csup>\u003Csup>\u003Ca id=\"post-965-footnote-ref-4\" href=\"#post-965-footnote-4\">[5]\u003C\u002Fa>\u003C\u002Fsup>\u003C\u002Fsup>.\u003C\u002Fp>\n\u003Cp>À moins que nous ne soyons préoccupés par le fait que les données elles-mêmes soient aléatoires et incohérentes. Mais ce n’est pas ce que soutiennent (Bender et al., 2021). Quoi que nous puissions dire de la qualité du discours humain, en particulier de celui qui provient des sources en ligne, si les données utilisées par les LLM sont issues du discours de locuteurs natifs, la cohérence n’est pas dans l’œil de celui qui regarde : elle est objectivement enchâssée dans le corpus de données avec lequel travaillent les LLM, précisément parce que la cohérence est initialement créée par les humains eux-mêmes. Ce que font les LLM, me semble-t-il, c’est appliquer la statistique et la prédiction au corpus de données, qui sont des compressions linguistiques de toutes sortes de réseaux de sens épars et denses créés par les humains eux-mêmes. Les LLM peuvent puiser dans les réseaux de sens en exploitant le fait que \u003Cem>toutes les significations ancrées \u003C\u002Fem>ou \u003Cem>tous les réseaux de sens\u003C\u002Fem> peuvent être rendus explicites par une transformation en formes purement symboliques, c’est-à-dire en une langue. Le langage est une fenêtre, ou une interface, vers les réseaux de sens humains et toutes les significations ancrées dans un monde physique extérieur.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_yg0v14k93zld\">\u003C\u002Fa>Le langage comme interface vers les réseaux de sens humains\u003C\u002Fh2>\n\u003Cp>Nous savons que les LLM fonctionnent en prédisant statistiquement le meilleur mot suivant, celui qui s’accorde avec les chaînes de texte générées précédemment et avec leur contexte. Si, par « stochastique » dans l’accusation de « perroquet stochastique », nous voulons simplement dire que les LLM utilisent la statistique pour générer leurs réponses, cela ne peut pas être considéré en soi comme un argument contre les LLM, d’autant que les cerveaux humains emploient certainement leurs propres processus de prédiction statistique.\u003Csup>\u003Csup>\u003Ca id=\"post-965-footnote-ref-5\" href=\"#post-965-footnote-5\">[6]\u003C\u002Fa>\u003C\u002Fsup>\u003C\u002Fsup> Que reste-t-il alors, sinon critiquer l’idée que les LLM seraient de simples « perroquets » ? Les perroquets qui savent parler imitent assez fidèlement les sons de la parole humaine, mais ne peuvent pas aller au-delà des données qu’ils ont entendues, et de plus, ces sons n’ont aucun sens pour les perroquets eux-mêmes. Les LLM vont clairement au-delà des données, en générant des phrases nouvelles. Nous pouvons écarter la première partie de l’accusation d’être un perroquet. Qu’en est-il du sens dans cette accusation ?\u003C\u002Fp>\n\u003Cp>Les LLM n’ont pas de corps, pour l’instant. Le sens de leurs mots et de leurs énoncés ne peut pas être \u003Cem>ancré\u003C\u002Fem> dans le monde physique. Cela ne constitue pas en soi, comme nous l’avons soutenu plus haut, un problème conduisant à l’absence de sens, si les mots que produisent les LLM sont, à un certain niveau, ancrés dans le monde physique habité et vécu par les humains. Le sont-ils ? Je veux soutenir que les mots produits par les LLM sont bel et bien ancrés, quoique par l’intermédiaire de médiateurs symboliques qui fonctionnent comme une interface vers les réseaux de sens humains.\u003C\u002Fp>\n\u003Cp>Imaginons que chaque humain ait un réseau de sens pour chaque mot. Nous avons admis que les réseaux de sens ne sont pas entièrement privés, mais partiellement partagés au sein de la communauté linguistique. Lorsque nous parlons et écrivons et voulons « faire passer le sens », nous compressons nos réseaux de sens complexes et désordonnés dans une langue. Par sa conception même, la langue compresse et rend les choses complexes discrètes, séparées en unités saisissables. Je peux garder à l’esprit l’expérience bouleversante de funérailles. Pourtant, lorsque j’ai écrit sur les funérailles dans mon journal, j’ai été contraint de dépouiller l’expérience pour la réduire à des mots et à des phrases. En fait, toutes les sources écrites, des journaux à la poésie et aux romans, sont des artefacts dans lesquels nous utilisons la technologie cognitive de l’écriture pour rendre ce qui semble indescriptible accessible à la description linguistique.\u003C\u002Fp>\n\u003Cp>Après la compression qu’implique l’usage d’une langue, nous transformons tous les éléments de sens non linguistiques en une forme de chaînes linguistiques. Ces chaînes seront ancrées, parce que leur sens renvoie finalement à d’autres représentations symboliques qui sont ancrées, ou renvoie directement à des représentations iconiques et catégorielles. Plus les réseaux de sens se recoupent pour certains mots, plus vite les traits invariants du sens du mot passeront dans les LLM, parce que ce sont des machines statistiques si puissantes qu’elles capturent dans les données des régularités et des motifs que même les humains ne remarquent pas.\u003C\u002Fp>\n\u003Cp>Une fois que les significations ancrées issues de l’expérience physique humaine du monde ont été compressées dans les symboles linguistiques, qui peuvent ou non constituer les réseaux de sens d’autres mots, les LLM peuvent puiser dans cet ancrage linguistiquement compressé des mots.\u003C\u002Fp>\n\u003Cp>Par procuration, en parasitant l’ancrage humain du sens, les LLM utilisent une langue comme une \u003Cem>interface\u003C\u002Fem> \u003Cem>pour\u003C\u002Fem> \u003Cem>puiser\u003C\u002Fem> dans nos réseaux de sens, médiatisés par toute la production linguistique que nous, en tant qu’humanité, avons produite et qui a servi de données d’entrée à partir desquelles les LLM apprennent. Mais l’usage d’une interface a un prix qu’il faut payer. Cet acte d’utiliser une interface – je l’ai précédemment appelé \u003Cem>interfacialité\u003Csup>\u003Csup>\u003Ca id=\"post-965-footnote-ref-6\" href=\"#post-965-footnote-6\">[7]\u003C\u002Fa>\u003C\u002Fsup>\u003C\u002Fsup> –\u003C\u002Fem> est une compression avec perte, parce que l’interface simplifie et réduit inévitablement. Prenons un exemple. Mes sentiments, mes souvenirs et mes idées qui constituent le sens du mot « mère », et que je garde dans mon esprit, n’ont pas de formes discrètes spécifiques. Ils sont, pour employer un terme d’informatique, un signal continu, précisément parce que ma réalité expérientielle (phénoménale), qui co-constitue le réseau mémoriel (avec les représentations symboliques), n’est pas discrète non plus. Mais en utilisant une langue comme interface vers le réseau de sens du mot « mère », je réduis les signaux continus aux formes discrètes des mots pour créer des représentations discrètes, symboliques. Inévitablement, beaucoup de détails se perdent, du fait que produire une représentation linguistique d’une réalité phénoménale est un processus avec perte.\u003C\u002Fp>\n\u003Cp>Avec quelle perte ? Cela dépend de la densité d’une représentation linguistique et de la profondeur à laquelle elle puise dans l’intégralité des réseaux de sens de chaque mot, et des éléments d’ordre supérieur comme une phrase ou un paragraphe. Quels sont les sens de ces éléments d’ordre supérieur ? Tel que je le vois, le sens est constitué par un processus de fusion des réseaux de sens de chaque mot et de \u003Cem>parcours\u003C\u002Fem> à travers les réseaux de sens fusionnés, où les règles valides d’un tel parcours sont régies par les règles syntaxiques d’une langue donnée. La perte d’une représentation linguistique serait différente chez une personne moyenne et chez, disons, un lauréat du prix Nobel de littérature. Quel que soit le statut ontologique de la réalité expérientielle, un écrivain ou un orateur de talent peut se servir de sa maîtrise de la langue pour rapprocher la réalité phénoménale continue et irréductible de quelque chose qui soit saisissable et sensé pour nous.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_osctxq6frn4d\">\u003C\u002Fa>Les LLM ont des réseaux de sens denses, mais modalement superficiels\u003C\u002Fh2>\n\u003Cp>Pour nous, humains, il est normal d’enrichir nos propres réseaux de sens par une pollinisation croisée qui se produit lorsque nous interagissons uniquement avec les représentations linguistiques d’autrui, comme la littérature, ce qui rend les réseaux de sens plus denses, bien que nous n’ayons aucune référence expérientielle directe (représentations iconiques, catégorielles) à ce que nous lisons dans les grands romans, la poésie ou la philosophie. La plupart des gens qui lisent des ouvrages de neurosciences n’ont aucune représentation iconique ou catégorielle de termes comme « lobes frontaux », « codage prédictif » ou « cellules gliales ». Pourtant, nous en parlons volontiers. Une personne quelconque qui parle de neurosciences a un réseau de sens très épars sur le sujet, avec très probablement peu de représentations symboliques ancrées dans une réalité expérientielle, voire aucune. Vraisemblablement, la plupart des éléments de sens de ses réseaux de sens liés au sujet, sinon tous, seraient des représentations symboliques\u002Flinguistiques non ancrées, avec quelques exemples de films, de photos ou d’entretiens avec des patients atteints de lésions cérébrales qui co-constituent ce que le sujet signifie pour elle. Si cette étudiante en neurosciences nous disait quoi que ce soit sur le cerveau, il lui manquerait le sens ancré dans la réalité expérientielle de voir et d’opérer un cerveau, il lui manquerait les liens émotionnels avec les patients, etc., mais elle serait capable de réciter les dernières théories, les derniers concepts, des livres entiers sur le sujet. Notre neuroscientifique serait une théoricienne experte du sujet : elle analyserait des concepts, trouverait des similitudes et des différences, pourrait formuler des critiques fondées sur la cohérence avec le corpus de connaissances existant, et pourrait même prédire de nouvelles théories en voyant dans ce corpus des motifs et des liens que personne d’autre ne pourrait voir. Notre théoricienne des neurosciences pourrait même réussir des études de médecine, mais nous penserions qu’il manque quelque chose à sa compréhension du sujet.\u003C\u002Fp>\n\u003Cp>Les LLM sont un cas extrême de notre théoricienne des neurosciences, pour ce qui est des réseaux de sens. À partir des données linguistiques cohérentes et structurées que nous, humains, avons produites au cours de l’histoire, les LLM reconstruisent les motifs qui existent dans nos réseaux de sens et en trouvent facilement de nouveaux, ce dont aucun humain ne serait capable. À travers le langage, les LLM disposent d’une \u003Cem>interface\u003C\u002Fem> accessible vers notre représentation symbolique discrète de la réalité phénoménale continue et irréductible, ce qui est inévitablement un processus avec perte ; mais là encore, la masse même des données linguistiques peut jeter sur la réalité existentielle plus de lumière qu’aucune personne ne pourrait l’espérer. Toute modification des réseaux de sens des LLM consiste uniquement à ajouter, retirer ou modifier des représentations symboliques. Les LLM ont donc des réseaux de sens extrêmement denses, avec une quantité inimaginable d’éléments de sens pondérés. Mais ce qui leur manque, comme à notre neuroscientifique théoricienne, c’est une diversité dans la modalité de ces éléments de sens. La plupart des éléments de sens des réseaux de sens de la neuroscientifique théoricienne sont des représentations symboliques. Tandis que les LLM sont la limite extrême de tels réseaux de sens « modalement superficiels », où une seule des modalités – la représentation symbolique – peut servir à coder les éléments de sens.\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_xtrzflbprc93\">\u003C\u002Fa>Discussion en guise de conclusion\u003C\u002Fh2>\n\u003Cp>Nous n’avons jamais rencontré d’entité qui puisse d’emblée citer, analyser et synthétiser l’histoire de la réalité expérientielle humaine, médiatisée par la compression avec perte des représentations linguistiques. Répondre à la question de savoir si les LLM peuvent atteindre une intelligence de type humain dépend, bien sûr, de ce que nous entendons par « humain ». En raison de la tendance de notre société à privilégier les processus cognitifs et intellectuels, et le don du langage étant une capacité distinctement humaine, les capacités langagières occupent la première place sur la liste de ce qui nous sépare du reste du règne animal. À cet égard, les LLM nous ont dépassés. Aucun humain ne sera jamais capable de contenir, d’analyser, de synthétiser et de parcourir les réseaux de sens construits à partir de l’ensemble du corpus de la connaissance et de l’expérience humaines. Bien que les LLM présentent des réseaux de sens quantitativement denses, mais modalement superficiels, le sens de la production que génèrent les LLM n’est ni stochastique ni répétitif. Pour cette raison, je suggère que nous rejetions la thèse actuelle selon laquelle les LLM seraient des perroquets stochastiques. Au contraire, les réseaux de sens latents dans le corpus linguistique et enchâssés dans les réseaux de plus grande dimension des LLM ont un solide pedigree, fondé sur les symboles ancrés qui renvoient à la réalité expérientielle humaine. Et alors, si les LLM eux-mêmes ne l’ont pas vécue ? Nous, humains, théoriciens et philosophes en tête, utilisons volontiers des mots\u002Freprésentations symboliques dont le réseau de sens ne se compose que d’autres mots et concepts représentés linguistiquement, parce que nous n’en avons aucune autre expérience que d’autres mots et concepts.\u003C\u002Fp>\n\u003Cp>La densité des réseaux de sens enchâssés dans les LLM est de loin supérieure à ce que nos cerveaux peuvent contenir. Et alors, si les réseaux de sens sont implémentés dans le silicium plutôt que dans le carbone ?\u003C\u002Fp>\n\u003Ch2>\u003Ca id=\"post-965-_za3x0518451d\">\u003C\u002Fa>Références\u003C\u002Fh2>\n\u003Cp>Bell, D. (1999). \u003Cem>The coming of post-industrial society: a venture in social forecasting\u003C\u002Fem> (Special anniversary ed. \u002F). Basic Books.\u003C\u002Fp>\n\u003Cp>Bender, E. M., & Koller, A. (2020). Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data. In \u003Cem>Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics\u003C\u002Fem>. Association for Computational Linguistics. https:\u002F\u002Fdoi.org\u002F10.18653\u002Fv1\u002F2020.acl-main.463\u003C\u002Fp>\n\u003Cp>Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots, 610-623. https:\u002F\u002Fdoi.org\u002F10.1145\u002F3442188.3445922\u003C\u002Fp>\n\u003Cp>Castells, M., & Cardoso, G. (2006). \u003Cem>The network society: from knowledge to policy\u003C\u002Fem>. Johns Hopkins Center for Transatlantic Relations.\u003C\u002Fp>\n\u003Cp>Clark, A. (2013a). Are we predictive engines? Perils, prospects, and the puzzle of the porous perceiver. \u003Cem>Behavioral and Brain Sciences\u003C\u002Fem>, \u003Cem>36\u003C\u002Fem>(3), 233-253. https:\u002F\u002Fdoi.org\u002F10.1017\u002Fs0140525x12002440\u003C\u002Fp>\n\u003Cp>Clark, A. (2013b). Whatever next? Predictive brains, situated agents, and the future of cognitive science. \u003Cem>Behavioral and Brain Sciences\u003C\u002Fem>, \u003Cem>36\u003C\u002Fem>(3), 181-204. https:\u002F\u002Fdoi.org\u002F10.1017\u002Fs0140525x12000477\u003C\u002Fp>\n\u003Cp>Dijk, J. van. (2006). \u003Cem>The network society: social aspects of new media\u003C\u002Fem> (2nd ed.). Sage Publications.\u003C\u002Fp>\n\u003Cp>Ferenc, J. (2018). \u003Cem>Postkognitivistické HCI: Vidět interface jako sociotechnický vztah\u003C\u002Fem> [Mémoire de master]. Univerzita Karlova.\u003C\u002Fp>\n\u003Cp>Harnad, S. (1990). The symbol grounding problem. \u003Cem>Physica D: Nonlinear Phenomena\u003C\u002Fem>, \u003Cem>42\u003C\u002Fem>(1-3), 335-346. \u003Ca href=\"https:\u002F\u002Fdoi.org\u002F10.1016\u002F0167-2789(90)90087-6\">https:\u002F\u002Fdoi.org\u002F10.1016\u002F0167-2789(90)90087-6\u003C\u002Fa>\u003C\u002Fp>\n\u003Cp>Searle, J. R. (1980). Minds, brains, and programs. \u003Cem>Behavioral and Brain Sciences\u003C\u002Fem>, \u003Cem>3\u003C\u002Fem>(3), 417-424. https:\u002F\u002Fdoi.org\u002F10.1017\u002FS0140525X00005756\u003C\u002Fp>\n\u003Cp>Webster, F. (2006). \u003Cem>Theories of the information society\u003C\u002Fem> (3rd ed.). Routledge.\u003C\u002Fp>\n\u003Cp>Wittgenstein, L. (2009). \u003Cem>Philosophical investigations\u003C\u002Fem> (Rev. 4th ed.). Wiley-Blackwell.\u003C\u002Fp>\n\u003Col>\n\u003Cli id=\"post-965-footnote-0\">Bell, 1999 ; Castells, 2006 ; Dijk, 2006 ; Webster, 2006 \u003Ca href=\"#post-965-footnote-ref-0\">↑\u003C\u002Fa>\u003C\u002Fli>\n\u003Cli id=\"post-965-footnote-1\">Wittgenstein, 2009 \u003Ca href=\"#post-965-footnote-ref-1\">↑\u003C\u002Fa>\u003C\u002Fli>\n\u003Cli id=\"post-965-footnote-2\">Searle, 1980 \u003Ca href=\"#post-965-footnote-ref-2\">↑\u003C\u002Fa>\u003C\u002Fli>\n\u003Cli id=\"post-965-footnote-3\">ibid., Searle, 1980 \u003Ca href=\"#post-965-footnote-ref-3\">↑\u003C\u002Fa>\u003C\u002Fli>\n\u003Cli id=\"post-965-footnote-4\">Si je sais que vous êtes une femme originaire des États-Unis et que votre prénom commence par les lettres « JAN », il y a de bonnes chances que la quatrième lettre de votre prénom soit « E ». Je ne peux pas en être entièrement sûr, mais la réponse découle d’une analyse statistique de l’ensemble des prénoms féminins américains et de la fréquence des lettres dans ces prénoms. Ce n’est pas un processus aléatoire pour parvenir à la réponse. De même, les LLM utilisent la statistique pour parvenir à leur réponse. Je ne vois pas bien pourquoi l’usage de méthodes statistiques constituerait un processus aléatoire de traitement des données. \u003Ca href=\"#post-965-footnote-ref-4\">↑\u003C\u002Fa>\u003C\u002Fli>\n\u003Cli id=\"post-965-footnote-5\">Clark, 2013a ; Clark, 2013b \u003Ca href=\"#post-965-footnote-ref-5\">↑\u003C\u002Fa>\u003C\u002Fli>\n\u003Cli id=\"post-965-footnote-6\">Ferenc, 2018 \u003Ca href=\"#post-965-footnote-ref-6\">↑\u003C\u002Fa>\u003C\u002Fli>\n\u003C\u002Fol>\n\u003Cp> \u003C\u002Fp>",1790905681974]