今天中午,我和褚师姐以及孙老师讨论了专业基础的问题。大家都认为专业基础非常重要,而我们自身的基础确实还有待提升。
从2011年到现在,我在多个团队中工作过,包括硕士期间、计算所实习期间、博士期间以及在诺亚实习期间。观察了各个领域的高手之后,我意识到自己的基础知识仍然相对薄弱。这些基础知识主要包括机器学习与数学知识、专业知识、编程能力和英语读写能力。对于研究生阶段的科研来说,前两项基础显得尤为重要,它们在很大程度上限制了个人的发展。虽然目前的基础足以应对毕业要求,但如果要进行前沿的研究,现有的基础还远远不够。
实际上,我也曾尝试过提升自己的基础。例如,在机器学习和专业知识方面,我曾间歇性地努力加强学习,但往往缺乏全面系统的补充。这种学习方式通常是“头痛医头,脚痛医脚”,今天某个领域热门就去学习该领域的知识,明天另一个领域流行又去学习它。这种快速学习的方式虽然短期内可以见效,但从长远来看,缺乏对整体框架的理解,难以取得真正的成就。正如我国男足一样,基础不牢,一切都无从谈起。
我曾尝试组织学习班,但两次都未能成功。总结失败的原因有三:首先,我们的基础知识并不扎实,面对难题往往无法克服;其次,大家的时间安排不同,难以集中精力一起学习和讨论;最后,我自己缺乏持续的热情和组织能力,导致学习班中途夭折。
尽管如此,我还是希望能够再次尝试。几年前在硕士期间,我们曾经坚持一起学习和讨论,虽然有些内容理解得不是很透彻,但至少掌握了基本概念。这让我思考,成功的两个关键因素是有人愿意花费时间带领大家,以及大家对学习的热情。
今天的聊天也让我意识到,很多新入门的同学需要有师兄师姐的引导。我非常感激那些曾经帮助过我的人,他们把我从门外汉带进了学术的大门。这次,我希望能找到几位有共同兴趣的师弟师妹一起深入研究和讨论。
目前,我计划从深度学习在自然语言处理中的应用(DL4NLP)入手,重点讲解神经网络、词嵌入、GRU/LSTM、短语/句子嵌入、编码器-解码器到多任务学习等内容。希望通过2-3次学习班,帮助大家入门深度学习,并进一步普及机器学习和自然语言处理的相关知识。
讨论版主页:[链接]
第一次讨论班的相关资料: 1. 基于机器学习的文本分类技术研究进展 2. Deep Learning in NLP(一)词向量和语言模型 3. 如何生成好的词嵌入 4. word2vec工具 5. word2vec使用指导 6. word2vec简单讲解 7. 自然语言处理中的经验主义与理性主义 8. word2vec中的数学原理详解 9. 文本分类语料库 10. 如何使用Word2vec词嵌入作为分类器的特征
第二次讨论班的相关资料: 1. 神经网络 2. 语言表示:从词嵌入到句子意义 3. 深度学习学习笔记整理系列之(七) 4. 卷积神经网络的直观解释 5. 为什么在卷积层中使用共享权重? 6. 了解LSTM网络
第三次讨论班的相关资料: 1. 学习长期依赖关系的RNN 2. 时间反向传播与消失梯度 3. LSTM如何防止梯度消失和爆炸问题