柠檬CC

小白爱吃柠檬O(∩_∩)O


  • 首页

  • 分类

  • 归档

  • 标签

  • 诗集

  • 关于

  • 搜索
close

RNN的复兴04:线性注意力并行计算DPLR

发表于 2026-08-18   |   分类于 机器学习 , RNN的复兴   |   阅读次数
本文主要总结了注意力机制优化之DPLR并行计算的若干基本问题,和我自己的一些体会。无论是KDA论文,还是RWKV论文在论述并行算法时都是极度的不友好,符号过于丑陋。描述也是一略而过,看的是云里雾里。本文使用清晰的符号和下角标,尽可能优雅描述并行计算的每个部分,带你快速看懂像现代RNN的并行算法。
阅读全文 »

RNN的复兴03:线性注意力并行计算IPLR

发表于 2025-08-17   |   分类于 机器学习 , RNN的复兴   |   阅读次数
本文主要总结了现代RNN的并行计算的若干基本问题,和我自己的一些体会。主要为接下来的RNN的复兴系列文章,做一点知识介绍。
阅读全文 »

RNN的复兴02_什么是记忆

发表于 2025-07-27   |   分类于 机器学习 , RNN的复兴   |   阅读次数
本文主要总结了现代RNN中记忆的若干基本问题,和我自己的一些体会。主要为接下来的RNN的复兴系列文章,做一点知识介绍。
阅读全文 »

RNN的复兴01:向量和矩阵微分-大语言模型研究08

发表于 2025-07-20   |   分类于 机器学习 , RNN的复兴   |   阅读次数
本文主要总结了向量和矩阵微分的若干基本问题,和我自己的一些体会。主要为接下来的RNN的复兴系列文章,做一点前置知识介绍。
阅读全文 »

大语言模型研究07:KBALM-知识库增强型语言模型

发表于 2025-03-21   |   分类于 机器学习 , 大语言模型研究   |   阅读次数
本文主要总结了知识库增强型语言模型的若干基本问题,和我自己的一些体会。
阅读全文 »

大语言模型研究06:大模型中的强化学习实战

发表于 2025-02-11   |   分类于 机器学习 , 大语言模型研究   |   阅读次数
本文主要总结了大语言模型中的强化学习的若干基本问题,和我自己的一些体会。
阅读全文 »

大语言模型研究05:大模型中的强化学习

发表于 2025-01-31   |   分类于 机器学习 , 大语言模型研究   |   阅读次数
本文主要总结了大语言模型中的强化学习的若干基本问题,和我自己的一些体会。
阅读全文 »

大语言模型研究04:Bone微调,超越LoRA系列的高效微调方法

发表于 2024-12-12   |   分类于 机器学习 , 大语言模型研究   |   阅读次数
本文主要介绍了Bone微调的方法,该方法超越了LoRA系列方法。如有错误请指正。
阅读全文 »

大语言模型研究03:如何微调十问

发表于 2024-06-21   |   分类于 机器学习 , 大语言模型研究   |   阅读次数
本文主要介绍了如何微调大语言模型常见的十个问题。如有错误请指正。
阅读全文 »

大语言模型研究08:internlm2系列

发表于 2024-03-27   |   分类于 工程实践   |   阅读次数
本文主要总结了internlm2的一个大致印象,并结合internlm2点技术报告讨论了笔者感兴趣的内容,和我自己的一些体会,如有错误请指正。
阅读全文 »
12…6
'
引线小白

引线小白

小湖椰影廊桥,曾记否,谷围晓月,灯影朦胧。

59 日志
15 分类
117 标签
Design Behance Pinterest GitHub 微博 知乎
设计不止,折腾不息。
  • 创造狮
© 2016 - 2026 引线小白    |    一个理想主义者,再造自我,以期未来。
由 Hexo 强力驱动
主题 - NexT.Mist    |     Hosted by Github Pages