如何训练——大语言模型研究02 发表于 2023-12-07 | 分类于 机器学习 | 阅读次数 本文主要介绍了如何训练大语言模型与人类对齐一些理论问题,最近发现RLFT实质是一个贝叶斯推断,本文基于贝叶斯推断提出了一个类似多脑区的多模型多模态训练构想。如有错误请指正。 阅读全文 »
不得不说的Chat Format——大模型CPU部署系列03 发表于 2023-10-25 | 分类于 工程实践 | 阅读次数 本文主要介绍了大模型量Chat Format的格式,如有错误请指正。 阅读全文 »
Autogen的基本框架,人工智能的管理系统——Autogen系列02 发表于 2023-10-13 | 分类于 大模型应用开发 | 阅读次数 本文主要介绍了AutoGen的入门问题,如有错误请指正。 阅读全文 »
致敬一个新时代:AI-Agent 发表于 2023-10-13 | 分类于 大模型应用开发 | 阅读次数 本文主要介绍了大模型时代的应用开发问题。若有错误,请大家指正。微软近日(2023年9月)发布的AutoGen工具的实践。这一工具旨在帮助开发者创建基于大语言模型的复杂应用程序。AutoGen 工具可以帮助开发者自动执行相关工作流程,简化搭建、优化等流程并实现自动化。非常值得研究。 阅读全文 »
理解RWKV模型一_大语言模型研究01 发表于 2023-05-18 | 分类于 机器学习 | 阅读次数 本文主要介绍了RWKV模型是实现细节和基础架构。若有错误,请大家指正。RWKV模型是一种RNN范式下的大语言模型实现范式。效果是相当不错,关键它的训练和推理要求资源低。非常值得研究。 阅读全文 »