Flow Schmidt
Forum Replies Created
-
@Friedrich @Nuomt @ErwinSanchez
为什么这里要用 DeepSeek 的模型来训练?open ai 也有開源模型,為什麼不是這個?有没有替代方案?比如AWS / Google Cloud / Hugging Face Hub或者 Azure
这里需要做一个澄清:“路德社思维模型”是一份提示词?还是一个大语言模型?还是什么别的东西?
我认为可以先用最小的代价实现路德社思维模型的效果,于是,我个人的构想是:设计一份提示词,使得任意大语言模型都能在该提示词的驱动下,按照路德社的思维方式做推理。
既然需要设计提示词,那么该任务便属于提示工程,提示工程的发展、优化、迭代一般包含以下部分:
- 需要选择一些大模型来测试提示词的效果。这里 @antoniozeng1 提议用 deepseek 的开源模型,原因也很简单,因为首先它的中文比较好,自身就懂一些中国的人情世故,其次它自带审核,如果它都能理解路德社思维模型,那其它能力强的大模型更容易理解。
- 需要构建一个数据集,其中每个样本为一条测试效果用的问题,比如一条国内新闻,或者一条时事评论等。
- 需要采集大模型在该数据集上的输出。固定一个版本的思维模型提示词后,遍历一遍以上的数据集,便可得到 deepseek 在该数据集上的输出。
- 需要一个评估方法,为大模型的输出打分。为了验证大模型是否真的在该提示词的驱动下懂了路德社思维模型,需要一种评估的方法,对大模型的输出打分。
- 持续优化提示词,提升大模型输出的表现。
所以,选择啥模型其实并不特别要紧。OpenAI 的开源模型也是可以的,看个人喜好罢了。
但是,如果愿意加大投入力度,将该任务定义为微调一个能按照路德社思维模型来思考的大模型,那么情况就大不一样了。此时的任务不再属于提示工程,而是模型微调。模型微调一般有以下部分:
- 需要构建一个微调数据集。该数据集的每个样本为 [输入, 输出] 对,输入可以是时事评论、宣传文稿、验证过的新闻等,输出则是符合路德社思维模型的分析。
- 选取一个大模型,用该数据集做微调。此时需要选取一个合适的大模型来做微调。可以选取自己用得比较趁手的模型。
- 评估微调后的模型效果。用一些该模型之前没见过的数据做微调后的评估,检验其是否真的“懂”了这个思维模型。
微调后,将得到一个“懂”路德社思维模型的大语言模型。这么做的好处是,得到的大模型发挥会比较稳定,但弊端是灵活性差,自己部署成本也高。
-
@Nuomt 糯米团你好!你说得蛮对的,认知框架的建立依赖于牢固的底层世界观,以及分析问题时逻辑的前后一致性。中共自己也有一套分析问题的叙事框架,但我不称之为认知框架,因为该叙事框架有一个最高服务指示:“伟光正”,任何分析都必须服从于该最高指示,但事实往往又和它相反,最终导致的结果就是他们不得不牺牲逻辑。而逻辑是认知框架的基石,所以我称他们的这个为某种“叙事框架”。
这里我还需要做一些澄清。我的初代“路德社思维模型”并不是将某一期路德节目交给AI然后讨论分析的,而是按照如下路径得到的:
- 我最先有了一个构建“思维模型提示词”的想法,我先和AI讨论了一会“如何设计一个引导大模型在特定世界观下进行推演的系统提示词”(此时并没有先入为主地引入任何世界观),大致确定出了“多层级思考”这种结构。
- 进一步,我们确定了思维模型中最好包含4个层级(3个层级有点少了,5个层级又稍微有点多了)。其中第1层是最基础的世界观,该世界观是几乎不随时间变化的;第2层是在该世界观下,面对信息,可以灵活使用的多个元思考模型(借鉴了查理芒格的多元思维模型);第3层是一些有前因后果的叙事,这些叙事使用了第2层的元模型,并将一些已验证的新闻信息串起来;第4层则是零散的、已验证的开源情报和新闻。
- 最后,我让AI固定住该思维模型框架,然后提供了几十期路德时评的链接,让AI持续迭代该思维模型提示词,最后得到当前版本。
按理说,该思维模型框架也可以适用于一些人文类的垂直领域(比如社会科学、政治科学、历史学等),可以基于各垂直领域做定制。当前这个版本的提示词专门用于分析时事新闻、国际地缘政治,不适用于其它任务。
其实在某种意义上,第四天的任务,重中之重是“全民认知框架的重塑”任务。而直接能够潜移默化影响一个人认知的,除了日常所刷的信息流、日常所见的人之外,就是日常所用的AI了。而AI的输出是我能通过提示工程直接影响的(前二者不是我依靠自身能力就能影响的),这也是我做这件事的原因。
-
@antoniozeng1 Antonio 你好!以上补充对我很有启发。我觉得你提出的 1.3 – 1.7 放在元模型层更合适?我再想想。
@satoshi Satoshi 你好!我也觉得这个需要开个 GitHub repo (以及 HuggingFace),我认可 Antonio 的看法,如果路德社官方账号愿意开设 repo 的话最好。如果官方不开的话,我就自己开一个,然后分享到这里。
我个人对路德社思维模型的构想是 [10^4 token 以内的系统提示 + 必要的知识库] 的模式,该阶段不涉及模型微调任务,这么做的好处是它可以让任意(30B或以上的)大模型掌握路德社思维模型。当然,如果为推理阶段的 CoT 专门训练,效果应该会更好。
-
补充:“路德思维模型”版本 V1.0 的原帖见 信息技術研習社,原帖包含了提示词的构建逻辑、使用方式等。感谢 @ErwinSanchez 专门开设本专区进行提示词的迭代工作。后续贡献者请把用户名添加在提示词的相应位置。
各模塊(政治、經濟、軍事、信息戰等)如何協同?
我认为,这几个模块都属于叙事层 (Layer 3)。叙事层的构建应当包含:高信息密度的流畅逻辑叙述 + 针对已发生的重大事件的前因后果举例。叙事层其实是需要像调用工具一样,调用上一个元模型层的各种元模型的(但是当前并没有很好地指出各元模型的应用)。当前的版本有很大的优化空间。
元模型层 (Layer 2) 的构建当前也是非常粗略的,每个元模型的功能、思维方式和应用举例并没有很好地交代。
对于事实层 (Layer 4),我认为用 markdown list 的方式罗列出各个已验证的 [时间+地点+事件+人物] 格式的新闻,可能是更利于人类维护的方式。理想情况下,每月更新一次事实层、每季度更新一下叙事层就差不多了。
P.S. 这个思维模型很可能随着时间的推移,变得越来越庞大。为了让大模型能够充分理解该思维模型,我在设计之初就用了 XML tag 的形式来做分隔。之所以用英文构建提示词,主要为了适配更多的开源模型(有些开源模型对于中文的理解并不好)。