/zh/tags/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/ Recent content in 深度学习 on 减三和弦 Hugo -- 0.164.0 zh 2021-CURRENT_YEAR Bdim Fri, 20 Sep 2024 00:01:11 +0800 /zh/posts/%E5%A6%82%E4%BD%95%E7%90%86%E8%A7%A3-rnn-lstm-%E5%8F%88%E6%98%AF%E5%95%A5/ Fri, 20 Sep 2024 00:01:11 +0800 /zh/posts/%E5%A6%82%E4%BD%95%E7%90%86%E8%A7%A3-rnn-lstm-%E5%8F%88%E6%98%AF%E5%95%A5/ <h2 id="是啥">是啥？</h2> <h3 id="rnn-就像一个有短期记忆的学习者它能记住最近的信息但时间越长记忆越模糊"><strong>RNN</strong> 就像一个有短期记忆的学习者，它能记住最近的信息，但时间越长，记忆越模糊。</h3> <p>通俗来说，<strong>RNN（循环神经网络）</strong> 可以类比成一个有记忆的“学习者”。假设这个学习者在读一篇文章，他每读完一个词就会暂时记住这个词的意思，再去读下一个词。在传统神经网络中，每次处理的输入都是独立的（像每次都从零开始阅读），但在RNN中，它会“记住”之前的信息（之前的词），并将这些记忆传递给下一步处理，让整个句子有上下文的联系。</p> /zh/posts/%E5%A6%82%E4%BD%95%E7%90%86%E8%A7%A3%E4%BA%A4%E5%8F%89%E7%86%B5/ Wed, 18 Sep 2024 00:01:11 +0800 /zh/posts/%E5%A6%82%E4%BD%95%E7%90%86%E8%A7%A3%E4%BA%A4%E5%8F%89%E7%86%B5/ <h2 id="是啥">是啥？</h2> <p>在深度学习中，“交叉熵”是一个用来衡量两个概率分布之间差异的函数，通常用于分类任务。</p> <h3 id="比喻猜糖果的颜色">比喻：猜糖果的颜色</h3> <p>想象你有一袋糖果，里面有红色、绿色和蓝色三种颜色。你猜这袋糖果的颜色分布是红色 50%，绿色 30%，蓝色 20%。但实际上，这袋糖果的真实分布是红色 60%，绿色 20%，蓝色 20%。</p> /zh/posts/%E5%A6%82%E4%BD%95%E7%90%86%E8%A7%A3%E5%B5%8C%E5%85%A5%E5%B1%82/ Fri, 13 Sep 2024 00:01:11 +0800 /zh/posts/%E5%A6%82%E4%BD%95%E7%90%86%E8%A7%A3%E5%B5%8C%E5%85%A5%E5%B1%82/ <p>想象你在学校里，班级里有很多学生，每个学生都有自己的名字。老师想根据学生的名字来决定他们做什么工作，但名字本身是无意义的，直接用名字没法帮老师做决定。</p> /zh/posts/andrej-karpathy-%E7%9A%84-neural-networks-zero-to-hero-%E7%B3%BB%E5%88%97%E8%A7%86%E9%A2%91%E7%AC%94%E8%AE%B02---makemore/ Thu, 12 Sep 2024 00:01:11 +0800 /zh/posts/andrej-karpathy-%E7%9A%84-neural-networks-zero-to-hero-%E7%B3%BB%E5%88%97%E8%A7%86%E9%A2%91%E7%AC%94%E8%AE%B02---makemore/ <p>原视频： <a href="https://www.youtube.com/watch?v=PaCmpygFfXo">The spelled-out intro to language modeling: building makemore</a></p> <blockquote> <p>注意，可以透过将代码复制到 colab 或 jupyter notebook 运行, 部分生图的输出结果本文贴图效果不佳，所以建议亲自动手跟着视频操作理解。本文的笔记仅作参考。</p> /zh/posts/andrej-karpathy-%E7%9A%84-neural-networks-zero-to-hero-%E7%B3%BB%E5%88%97%E8%A7%86%E9%A2%91%E7%AC%94%E8%AE%B01---micrograd/ Wed, 11 Sep 2024 00:01:11 +0800 /zh/posts/andrej-karpathy-%E7%9A%84-neural-networks-zero-to-hero-%E7%B3%BB%E5%88%97%E8%A7%86%E9%A2%91%E7%AC%94%E8%AE%B01---micrograd/ <p>原视频： <a href="https://www.youtube.com/watch?v=VMj-3S1tku0">The spelled-out intro to neural networks and backpropagation: building micrograd</a></p> <blockquote> <p>注意，可以透过将代码复制到 colab 或 jupyter notebook 运行, 部分生图的输出结果本文贴图效果不佳，所以建议亲自动手跟着视频操作理解。本文的笔记仅作参考。</p> /zh/posts/omr-%E7%9B%B8%E5%85%B3%E8%AE%BA%E6%96%87%E9%98%85%E8%AF%BB%E5%9F%BA%E4%BA%8E%E7%AB%AF%E5%88%B0%E7%AB%AF%E7%BA%BF%E6%80%A7%E5%8C%96%E7%BC%96%E7%A0%81%E7%9A%84%E9%92%A2%E7%90%B4%E4%B9%90%E8%B0%B1%E5%85%89%E5%AD%A6%E8%AF%86%E5%88%AB%E6%8A%80%E6%9C%AF/ Tue, 27 Aug 2024 00:01:11 +0800 /zh/posts/omr-%E7%9B%B8%E5%85%B3%E8%AE%BA%E6%96%87%E9%98%85%E8%AF%BB%E5%9F%BA%E4%BA%8E%E7%AB%AF%E5%88%B0%E7%AB%AF%E7%BA%BF%E6%80%A7%E5%8C%96%E7%BC%96%E7%A0%81%E7%9A%84%E9%92%A2%E7%90%B4%E4%B9%90%E8%B0%B1%E5%85%89%E5%AD%A6%E8%AF%86%E5%88%AB%E6%8A%80%E6%9C%AF/ <h2 id="核心观点">核心观点</h2> <p><strong>1. 研究背景 (Background of the Study):</strong></p> <ul> <li>文章探讨了如何通过深度学习方法实现光学音乐识别 (OMR) 的端到端系统，尤其是针对钢琴形式音乐的识别。尽管近年来在单声部音乐的光学识别方面取得了进展，但现有的 OMR 模型很难处理钢琴音乐中包含的多声部和多行谱表。</li> <li>钢琴音乐的复杂性源于其多声部的独立并行，声部可以在乐曲中自由出现和消失。这种复杂性给 OMR 模型的输出带来了额外的挑战。</li> </ul> <p><strong>2. 核心贡献 (Key Contributions):</strong></p> /zh/posts/%E5%A6%82%E4%BD%95%E7%90%86%E8%A7%A3%E6%89%B9%E9%87%8F%E5%BD%92%E4%B8%80%E5%8C%96/ Sun, 11 Aug 2024 00:01:11 +0800 /zh/posts/%E5%A6%82%E4%BD%95%E7%90%86%E8%A7%A3%E6%89%B9%E9%87%8F%E5%BD%92%E4%B8%80%E5%8C%96/ <h1 id="批量归一化batch-normalization-bn">批量归一化（Batch Normalization, BN）</h1> <p>在理解这一部分的时候，我查阅了很多资料，但对于BN的具体实现以及作用还是不太清楚，前几天当面询问了老师，他给了我一个更容易理解的例子，我觉得很好，从他的例子再去看其他资料的解释，就很容易理解了。</p> /zh/posts/lenet-%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/ Sat, 13 Jul 2024 00:01:11 +0800 /zh/posts/lenet-%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/ <h2 id="讲几句废话">讲几句废话</h2> <blockquote> <p>&ldquo;当我以为自己掌握了大量知识的时候，才发现自己所知道的只是这个领域中的沧海一粟。”<p align="right">——bdim 学习感悟</p></p> </blockquote> <p>最近一直在尝试学习图像识别相关的内容，其中就有 LeNet 这个经典的卷积神经网络，在这里记录一下学习过程。经过重复阅读 《深度学习图解》 这本书之后，终于能够理解 Lenet 的大部分细节。在这里我尝试通过自己的理解，尝试重新实现一个 LeNet，并通过查询资料将一些自己不是太理解的内容也来抽象理解一下，本文内容可能并不准确，并将持续更新细节。欢迎对本文提出质疑并与作者进行交流学习！！</p>