Sher10ck



 写点什么

登录后可以：

收到更感兴趣的内容

关注/评论/点赞/收藏

观看完整回放视频

写文章/发布动态

登录解锁

Sher10ck

2020-10-20 加入

IP属地：上海

只谋柴，不害命

还未添加个人简介

 关注

34
发布数
3
关注者
2
关注了

全部分类 

解惑 | 模拟器中的 DPI 设定

在设置安卓模拟器的时候，为了得到自己想要的显示效果，我们可能会遇到这么一个设置区域：

Sher10ck

04-19

解惑 | 关于 SIR 模型命名的疑惑

Ignorant、Spreader、Stifler 的首字母确实是 ISS。之所以图片里的状态图和学术界依然叫它 SIR 模型，是因为这是一个典型的“借用数学框架，替换物理含义”的操作。

Sher10ck

04-18

笔记 | 深度学习的入门

深度学习的目的就是模型。这是深度学习（以及整个机器学习）在研发和训练阶段的核心本质。

Sher10ck

04-10

笔记 | MoE 是什么

在 Attention Residuals 的图中，我们看到许多的 MoE，它代表的是 Mixture of Experts（混合专家模型）。

Sher10ck

04-09

笔记 | Attention Residuals 是什么

Attention Residuals（注意力残差，简称 AttnRes）是 Kimi（月之暗面，Moonshot AI）团队在 2026 年 3 月提出的一种针对大语言模型（LLM）底层架构的改进技术。

Sher10ck

04-09

笔记 | Transformer 中的四种注意力（Attention）

在探讨 Transformer 时，人们常说的“四种注意力”通常是指它在应用场景和结构设计上的四个核心概念：

Sher10ck

04-09

笔记 | Tranformer 拆解：add & norm， Linear 和 Softmax

在 Transformer 架构中，Add & Norm 是一个非常关键的基础组件。在 Encoder 和 Decoder 中，你会发现它紧跟在每一个多头注意力机制（Multi-Head Attention）和前馈神经网络（Feed-Forward Network）之后。

Sher10ck

04-08

笔记 | Transformer 的 Encoder，Decoder 是什么

在 Transformer 架构中，Encoder（编码器）和 Decoder（解码器）是它的两大核心组件。Transformer 最初是为了机器翻译等“序列到序列（Seq2Seq）”任务设计的，因此它的工作流程非常像一个翻译官：先理解原文，再输出译文。

Sher10ck

04-08

笔记 | Transformer 在深度学习中的作用是什么

Transformer 是目前深度学习领域最重要的基础架构之一。它最初在 2017 年的论文《Attention Is All You Need》中被提出，主要用于自然语言处理（NLP），但如今已成为跨越文本、图像、音频等多个领域的通用模型底层基础。

Sher10ck

04-08

笔记 | CBAM 是什么？

前面了解过的 SENet 是给网络加上了“通道”层面的注意力，那么 CBAM 就是一个更全面的“双重”注意力机制。你可以把它看作是 SENet 的进阶版。

Sher10ck

04-07

笔记 | 通道注意力（Channel Attention）是什么

要理解“通道（Channel）”，我们不妨从每天都能看到的彩色照片说起，然后再过渡到神经网络的世界。

Sher10ck

04-07

笔记 | 深度学习里面的注意力机制是什么呢

注意力机制（Attention Mechanism）的核心思想非常直观：在处理大量信息时，模型不再同等对待所有输入，而是学会把计算资源和“注意力”集中在与当前任务最相关的部分。

Sher10ck

04-07

Sher10ck笔记 | MoE 是什么 https://xie.infoq.cn/article/804bfbccba20b8ad5d75986c0
 笔记 | MoE 是什么
Sher10ck笔记 | Attention Residuals 是什么 https://xie.infoq.cn/article/540d2420b5baabb9229cc19ec
 笔记 | Attention Residuals 是什么
Sher10ck笔记 | Transformer 中的四种注意力（Attention） https://xie.infoq.cn/article/99c8b06c668b1e1ed7fb845f4
 笔记 | Transformer 中的四种注意力（Attention）
Sher10ck笔记 | Tranformer 拆解：add & norm， Linear 和 Softmax https://xie.infoq.cn/article/9a3ae848ab3aaa93348ff85b2
 笔记 | Tranformer 拆解：add & norm， Linear 和 Softmax
Sher10ck笔记 | Transformer 的 Encoder，Decoder 是什么 https://xie.infoq.cn/article/146ec14314813d981f4607867
 笔记 | Transformer 的 Encoder，Decoder 是什么

创作场景

登录后可以：

Sher10ck

解惑 | 模拟器中的 DPI 设定

解惑 | 关于 SIR 模型命名的疑惑

笔记 | 深度学习的入门

笔记 | MoE 是什么

笔记 | Attention Residuals 是什么

笔记 | Transformer 中的四种注意力（Attention）

笔记 | Tranformer 拆解：add & norm， Linear 和 Softmax

笔记 | Transformer 的 Encoder，Decoder 是什么

笔记 | Transformer 在深度学习中的作用是什么

笔记 | CBAM 是什么？

笔记 | 通道注意力（Channel Attention）是什么

笔记 | 深度学习里面的注意力机制是什么呢

个人成就

TA 关注的

最新评论