Вот это:

почему людям так хочется увидеть в машине, оперирующей знаками, не только порождение осмысленных текстов в коммуникации с ними, не только помощь в решении интеллектуальных задач, но и субъективные переживания человеческого Я?

объясняет то, что вы и пытаетесь найти или считаете уже наличествующим у ИИ - "хочу верить". 

LLM уже уверенно демонстрируют два действия, традиционно связываемые с человеческой ментальностью: осмысленное говорение и решение интеллектуальных задач.

Я считаю, что это человек видит смысл в том, что сгенерировала предсказательная большая языковая модель, но вот предсказывает она вовсе не смыслы, а токены. Она не умеет генерировать тексты отталкиваясь от смыслов так, как это может делать человек.

Почему же в этих текстах люди видят смысл? Неужели потому, что генератор текстов обладает пониманием тех текстов, что производит, ведь нам так это хочется видеть?

Я считаю, что не понимает, что смысл не вкладывает, а производит приближенную генерацию усвоенного материала, на котором прошло обучение.

Смысл заложен человеком в его текстах, ведь люди обмениваются смыслами, а не текстами. Раз в человеческих текстах (семиотика) есть смысл (семантика), который скрыт в соотношении слов, их порядка (синтаксис), то при усвоении текстов косвенно через связи между символами, их повторяемости и закономерностей усваивается и заложенный в текстах смысл, но происходит это именно косвенно на уровне обнаружения связей между знаками текста и закономерности в их повторяемости, но происходит это без обретения какого-либо смыслового понимания.

Представьте себе, что эти языковые модели обучались бы на массиве выдуманных текстов, которые не обладали бы смыслом для людей, но все синтактические и прочие правила были бы соблюдены... Тогда модель усвоила бы все эти закономерности, выдавала бы тексты в рамках тех правил, которым подчинялся бы этот выдуманный язык, но смысла бы в нём люди бы не видели, и не наделяли бы такие модели некоторым пониманием этих текстов и смыслов.

Большие языковые модели потому только кажутся нам понимающими, потому что генерируя тексты делают это на основе научения на массивах данных, имеющих смысл. Они аппроксимировали смысл через взаимную связь символов, частоты их употребления, речевых оборотах и т.п., но аппроксимация смысла происходит без понимания этого смысла, потому что для нас смысл - это содержание, которое передаётся с помощью текста для восстановления его другим человеком. Какое содержание доступно машинам? Пока никакое. Только взаимосвязи между символами и закономерности, скрытые в них нами.

У людей это содержание есть феноменальные образы, чувства, переживания, эмоции, интуиции. Человек, который не обладает смысловым содержанием некоторых слов, способен уловить контекст, в котором эти незнакомые слова употребляются, и даже может начать сам их употреблять в том смысле, который, как ему кажется, он уловил. Однако очень часто оказывается, что смысл был угадан неточно, а то и совсем неверно, и это у человека, который не имеет понимания содержания только нескольких слов, а что же с машиной, которая не имеет понимания всех слов? Она подобна человеку, который не зная смысла слов, употребляет слова так, как это встречается в контекстах других, понимающих людей, а вот тут способности машины намного опережают возможности человека, ведь она перерабатывает огромное количество осмысленных текстов понимающих людей, а потому и генерирует тексты на основе обучения очень правдоподобно.

LLM — это смысловые машины лумановского типа, выполняющие ряд когнитивных операций на уровне человека или выше. Но сознания у них пока нет.

LLM не является смысловой машиной и не производит когнитивных операций, потому что ни смысл, ни когнитивное, в человеческом смысле, ей попросту незнакомы. Это правдоподобный предсказатель генерирующий наиболее часто употребляемые последовательности в соответствующих контекстах, наподобие последовательностей, что были в обучающих текстах, но всё же в как-то усреднённые.

Почему возникает ощущение того, что машина решает задачи? Все задачи построены на некоторых закономерностях в ряде условий, используя которые задачу можно решить. Когда машина обучается на огромной выборке осмысленных текстов, то усваивает (аппроксимирует) не просто осмысленные последовательности знаков, но и общие закономерности связанные с этими знаками - то самое, что делает тексты осмысленными. Усвоение скрытых смысловых закономерностей, которые нам очевидны, а ей нет, у машины происходит только через частотность повторений в контексте, через нагулянные веса, через векторные величины, через другие параметры и их соотношение. Эти соотношения и могут позволять улавливать скрытый смысл без его понимания, а при генерации выдавать правдоподобное. При этом существует явная вероятность того, что среди связей между усвоенных параметров могут оказаться такие, которые будут не только известными, но и новыми неизвестными пока людям решениями, ведь наши знания есть система со своими закономерностями, и система эта отражает некоторую другую систему, например, мир с его закономерностями или математику, геометрию и т.п..

Так как языковая система человека описывает закономерный мир (некую другую закономерную систему), то аппроксимация LLM улавливает и усваивает отношения не только для самой языковой системы, но и для той, что описывается языком. Потому, когда мы видим новое решение от LLM, это может оказаться следствием генерации на основе найденных отношений, которые человеку неочевидны (он не знает такого), а у LLM такая последовательность оказывается возможной именно из-за выявленных закономерностей отношений не на уровне языковой системы, а на уровне закономерностей описываемого. В результате, закономерности описываемой (не описывающей) системы влияют на генерацию текста, и LLM выдаёт новое решение, но вот сделано это не на основе человекоподобного понимания, а на основе хорошего и тонко настроенного "улавливателя" закономерностей разного уровня, способного работать как с текстовым материалом, так и с заключёнными в осмысленный текст закономерностями семантического толка. Но ни понимания у LLM нет, ни смысл ей ещё не доступен.

Так что это человек видит смысл в текстах LLM, а она смыслом оперировать так как мы не умеет. Для нас смысл - это по большей части феноменальное содержание и взаимосвязи, а для LLM - это только взаимосвязи разного уровня и выявленные закономерности. То, что у LLM улавливание таких взаимосвязей через текст и контект значительно более продвинутое, чем у человека, не даёт всё же ей наш тип понимания и смысла, но позволяет генерировать довольно осмысленные для нас тексты.

ЕИ - сопереживающий интеллект

ИИ - не сопереживающий интеллект

ЕИ и пальцем (извилиной) не шевельнёт если рассуждения не будут полезны, интересны и приятны.

LLM уже уверенно демонстрируют два действия, традиционно связываемые с человеческой ментальностью: осмысленное говорение и решение интеллектуальных задач.

Осмысленное говорение и решение интеллектуальных задач можно описать общими правилами и алгоритмами. Следовательно, все это можно имитировать.

LLM обладают ограниченной субъектностью – «субъектностью раба»

Главный признак субъектности - произвольность действий. Произвольное действие нельзя имитировать: действие либо произвольно, либо нет. А машина все время действует по указке или по правилам.

И тут опять же встает вопрос: почему людям так хочется увидеть в машине, оперирующей знаками, не только порождение осмысленных текстов в коммуникации с ними, не только помощь в решении интеллектуальных задач, но и субъективные переживания человеческого Я?

Может быть, потому что через обретение машиной своего Я человек сможет что-то понять в своей собственной природе?