败犬日报 2026-03-18
败犬日报 2026-03-18
1. Effect 相关资料(文章)
https://xavierleroy.org/control-structures/
2. AI Coding大有可为,但Vibe Coding还是先洗洗睡吧(文章)
https://mp.weixin.qq.com/s/qXxtvwZmNqoc3Qw0XppUEA
3. 年薪150万的工作,我用500美金的AI完成:个人业务Agent升级指南(文章)
https://mp.weixin.qq.com/s/jjFm5tEjqKHD3UCMlltSOQ
4. 窗口期可能只剩五年(文章)
https://zhuanlan.zhihu.com/p/2009319586063992724
也是关于 AI 的。
5. 为什么大模型长上下文注意力涣散
事实上,一些大模型支持 1M / 2M 上下文,但是可能几百k 长度时就开始注意力涣散了。
一个原因是 attention softmax 稀释,序列太长导致 softmax 分母太大。这个问题可以用 sparse attention 缓解。
除此之外,位置编码退化、训练因素也会有影响。