2001太空漫游

把舱门打开，哈尔。Open the pod bay doors, HAL.

对不起戴夫，我恐怕不能那么做。I’m sorry, Dave. I’m afraid I can’t do that.

出什么问题了？What’s the problem?

我想你知道问题是什么，就像我一样。I think you know what the problem is just as well as I do.

哈尔（Hal）

表达遗憾精神状态的惯用说法：I'm afraid 我恐怕

对戴夫可能产生的心态表达了理解：I think you know 我想你知道

哈尔在理解当前状况的基础上，不仅形成了完整的思想，还精确地表达了它们，甚至凭直觉知道了人类的思想状态。

……在我们所有的技术中，电影中哈尔的语言能力并未体现在机器人、计算机、智能手机或其他设备上。……

早在20世纪80年代，对连续语音的机器识别似乎是技术发展的最大“绊脚石”：从高度可变的连续声音流中分离出所含单词，似乎是一项相当棘手的任务。而合理地处理输入的句子看起来则容易得多，因为英语语法和分析算法已经比较成熟了。相反，语音识别却先一步成为现实。借助于关于语音的大量统计事实，统计计算的灵巧算法以及具有千兆字节的随机存取存储器（RAM）和磁盘空间的硬件，语音识别取得了显著的成功。……我们的技术水平却几乎无法理解书面的句子。设备可以猜出你说出哪些单词，却无法加工这些单词：它们没有表现出一丁点对实际语言的理解。……计算语言学家Mark Steedman将这种基于统计的信息检索描述为“愈发擅长于回忆已经众所周知的东西，理解过去常说的话”。

————转引自《语言学为什么重要》中文版pp118-119

p154 “我想你和我一样，都知道问题是什么”这句回应之所以令人害怕，是因为这表明哈尔知道戴夫所问问题的答案，但它也认为戴夫是一个有信仰和知识等心理状态的智能实体。关于戴夫可能知道什么，哈尔已经形成了一个观点，还可以将他可能的理解水平与自己的进行比较，并且可以通过表达关于戴夫回答它的能力的猜想来回答问题。这表明这是一场独立智能思维的真实互动。

HAL, of course, does not just look for keywords in Dave Bowman’s utterances and transform them into suitable rejoinders to keep him talking. The chilling thing about HAL’s responding to ‘What’s the problem?’ that I mentioned at the beginning of the chapter (‘I think you know what the problem is just as well as I do’) is that it indicates that it knows the answer to Dave’s question, but also sees him as an intelligent entity with mental states like beliefs and knowledge, and has formed an opinion concerning what he probably knows, and can compare his probable level of understanding with its own, and can respond to a question by expressing a conjecture about Dave’s ability to answer it. This suggests true interaction of independent intelligent minds.

pp156-157 哈尔决定向戴夫说什么的策略和AlphaGo下围棋或者认输的策略是没有共同点的。哈尔无法搜索所有会话的随机样本，使其能够以“把舱门打开，哈尔”为起点继续查看会话的走向。会话“招式”的选择方式是什么？谈话中的话题转变，并不是将一个棋子从一个方格移到另一个方格，从而改变获胜概率；具有内部结构的复杂话语旨在传达一种特定的意义，其复杂的交际目标与/影响或引发/对话者的心理状态有关。话语的选择需要参考所有先前话语的内容和所有当前的现实世界里的知识，包括对话场景中的另一方之前所说话语中可能暗指的内容，以及这些暗指内容与对话的相关程度。

HAL’s strategy for deciding what to say to Dave cannot be anything like AlphaGo’s strategy for playing Go or resigning. HAL can’t be searching a random sample of all the conversations that could proceed from ‘Open the pod bay doors, HAL’ to see where they go. What would be the way to choose between conversational moves? Turns in a conversation are not like moving a stone from one square to another to alter winning probability; complex utterances with their own internal structure are designed to convey a specific meaning, with complex communicative goals relating to influencing or eliciting the interlocutor’s state of mind. Utterances are chosen by reference to the content of all the previous utterances and all current real-world knowledge, including the potential implications of the most recent utterances by the other party in the context, and how relevant those potential implications are.

p123 谷歌并不是在理解问题的基础上完成这项（6389的平方根是多少）任务。

p125 谷歌的算法不仅关注单个词汇，还关注搜索框中单词列表的子序列。（比如what is 、 capital of ）

p128 当人们训练极其复杂的计算机程序，使其熟悉从大量复杂数据中找到的模式，并通过编程将计算机的表现结果反馈给它们，帮助进行其下一阶段的学习时，它们只要处于训练制度并未确定合理输出的情况下，就会产生奇怪且明显随机的效果。

p157

【提出问题】

如果试图编写一个计算机程序，具备哈尔冷酷地表现出的那种真正的语言智能（的起步阶段），你需要做出那些努力？

【限定问题】【缩小问题】【个案举例】【问题具体化】

这将取决于语言的完整语法描述。具体来讲，让我们考虑一个具体案例，即从数据库中获取无限范围的英语问题的答案，并思考一下系统在必须完成这些事情的情况下将会需要什么。

【步骤拆解】

①建表：需要一个包含英语中所有单词的列表，包括单词、含义、所有相关的重要语法信息，弄清楚问题中每个单词的适合上下文的类别（可能需要参考经常共同出现的单词序列的统计频率）

②应对新词：处理系统以前未见过的新词并猜测这些词的类别，需要一定的规则。……我们对语法的了解与我们对单词的掌握无关：我们可以理解一个包含着我们不认识的单词的句子，在理想情况下，计算机重构句子处理时应该模仿这种能力。——②对新词意义、类别的处理似乎还不太够。

③应对语法歧义：使用标记的单词序列，找出合理的语法允许的句法结构，把它作为一个范例。在此我们遇到另一个问题：一个单词序列会有多个语法允许的结构。举例机器翻译先驱Anthony Oettinger举例Time flies like an arrow.——②③似乎都可以归为语法学。

p160 一个高效的解析器需要与能够计算可能性大小的数据库相匹配，以便猜测哪些结构和意义与这串模糊的字符串最相近。另一种方法是掌握这个世界的所有信息和分析方法。人类确实可以做到，但要用机器建模来做到这一点，恐怕比依赖分析单词序列的可能性大小的方法困难得多（只有以后的研究结果才能表明我的判断是否正确）。

An effective parser will need to be paired with a database of probabilities to help it guess which structures and meanings are most plausible for ambiguous strings of words. The alternative would be a huge stock of encyclopaedia information about the world, and ways of reasoning about it. Humans have exactly that, but modelling it with a machine would probably be much harder than relying on probabilities of sequences of words (only future research can determine whether I’m right about that).

④清晰描述最有可能的字面意义：When the syntactic processing is done, an explicit representation must be built for the most likely literal meaning corresponding to the syntactic structure that the parser has constructed. This is another major theoretical task involving many unsolved problems. 举例 I ate the enormous/occasional banana。——语义歧义。语义学③④似乎不能截然分开。

⑤同先前对话内容比对：计算机程序必须将字面意义同先前的对话内容进行比对，计算出在现有语境下相关度较高的结果。——语用学

【勘误】163没有这种常识，你甚至无法回答专有名词在句中代指何物这种简单问题。 Without such common sense you cannot even solve simple puzzles about what pronouns refer to.

以上步骤用于理解用户提出的问题，以下步骤：

⑥找出合理答案、并用人类的语言表达出来：到被数据库工作人员称为“后台”（the back end）的地方去寻求答案。基于上下文所传递的句子含义，并去除所有模糊的表达后，剩下的一些结果才能成为数据库中的合理答案。这个过程也许比较复杂，但假设我们能在系统里找到这个答案并将它呈现出来，这样我们就可以推进至用户期盼的最后一步：用英语将答案表达出来。

p165 语言学家和计算机科学家将需要编写一个程序，将信息传达给对话者，并组成一个句子，以适合上下文情景的合理方式表达出其含义。这个任务涉及语言学的所有内容：语法、语义和礼貌用语、语言的正式程度等语用问题。

————转引自《语言学为什么重要》

https://movie.douban.com/review/15797521/

————————

2024年3月4日新闻：大型语言模型遇到的困境，全文分为old code, new tricks、overfitting、start small三小节。

https://www.technologyreview.com/2024/03/04/1089403/large-language-models-amazing-but-nobody-knows-why/

2017年11月7日： It’s been a little bit of a fluke, historically, that we’re able to rely on videos as evidence that something really happened. …… 实际上，我们过去必须通过一种叙述方式来思考，谁说了什么，谁有动力说什么，谁在哪个问题上有信誉。似乎我们又回到了那种时代。……不幸的是，现在的人不太擅长批判性思维。人们往往以非常部落主义的想法看待谁可信、谁不可信。至少会有一段调整期。（转引自《深度学习革命》p208）

AI Could Set Us Back 100 Years When It Comes to How We Consume News | MIT Technology Review

谷歌Duplex

2017年Jacob Devlin领导的谷歌研究团队公布了一个BERT系统-通用语言模型。