神经网络
神经网络 神经网络(Neural Networks) 激活函数 生理学上的神经元和激活函数的类比(来自cs231n) 类比时要小心,实际上生理学上的神经元要比我们刚才描述的要复杂的多,有很多种类,它们的树突会表现出异常复杂的非线性,而我们的突触,我们之前同W0进行类比的,并非像我们所描述的那样只有简单的权重,它们实际上非常复杂,是一个动态的非线性系统。另外,我们将激活函数作为为神经...
神经网络 神经网络(Neural Networks) 激活函数 生理学上的神经元和激活函数的类比(来自cs231n) 类比时要小心,实际上生理学上的神经元要比我们刚才描述的要复杂的多,有很多种类,它们的树突会表现出异常复杂的非线性,而我们的突触,我们之前同W0进行类比的,并非像我们所描述的那样只有简单的权重,它们实际上非常复杂,是一个动态的非线性系统。另外,我们将激活函数作为为神经...
回顾上节 目前已经讲了怎么用函数f定义一个分类器,函数f的参数是权重矩阵W,输入数据x并对你想要分类的每个类别都输出一个对应的得分向量。由此我们还可以定义一个损失函数,比如SVM损失函数。我们已经讲了这个函数的基础量化了。我们对模型预测结果满意或是不满意的程度,然后我们可以用它定义一个总的损失函数,即L。这个L是由训练数据带来的损失结合一个正则项得到的。正则项表示我们模型的复杂程度,为了更...
引言 上节课只是讲了线性分类器的思想,还没讲怎么选择W,怎么使用训练数据来得到W的最优取值。对于W的某个取值,我们可以用这个W得到任意图片的10个分类的得分,有些分类得分更高,有的更低。 这里有一个简单的例子,这里是一个只有3张图片的训练集,然后用某个W预测这些图片的所有共10个类别的得分,可以看到有些分高,有些分低一点。 如果我们看一下猫这个类别的得分,这个W设置下的分类器,对这种图...
概述 计算机视觉(CV,Computer Vision)是一个跨学科的领域,涉及科学和工程技术的许多不同领域。作为围绕计算机视觉的一系列领域,我们会触及类似于物理这样的领域,因为需要光学知识和成像原理,也要理解在物理意义上图像是怎么构成的,我们需要了解生物学和心理学,了解生物层面动物大脑如何,看到并处理视觉信息。当然我们会涉及到计算机科学数学和工程学方面,致力于构建实现我们的计算机视觉算法...
课程介绍 计算机视觉的深化课程,神经网络在计算机视觉领域的应用,涵盖图像分类、定位、检测等视觉识别任务,以及其在搜索、图像理解、应用、地图绘制、医学、无人驾驶飞机和自动驾驶汽车领域的前沿应用。 导师们着重讲授如何建立图像识别问题,学习算法(如反向传播),实用的工程技巧,训练和微调网络,指导学生通过实际作业,完成最后的课程计划。期末作业还涉及训练数百万参数卷积神经网络和应用上最大的图像分类...
前言 深入JVM GC机制前,先简单了解下JVM运行时的内存结构。下图是JDK 8运行时的内存结构,主要分为3大块, JVM 运行时内存结构 Tips 第一大块,包括栈内存、程序计数器、本地方法栈,是线程独享的。 本地方法栈是JNI的,C语言的本地native方法。 右边是堆内存和本地内存,都是线程所共...
Case 相信很多微服务开发老baby经常会碰到这样一种情景,当你正沉浸式地敲着纯正老代码的时候,OnCall告警群里突然蹦出一堆线上紧急告警,告警信息里明晃晃地写着服务OverLoad过载。这时你不得不从沉浸的编码世界里抽身出来,本着线上告警优先处理的原则,观察基础/业务监控大盘和详细的服务过载日志来定位解决问题。 Tips: 如果短时间找不到问题,可以先临时扩容(虽然不一定有效...
印象——Temporal Temporal是一个开源的分布式工作流编排框架,用于构建可靠、可扩展的分布式应用。它源自Uber的Cadence项目,由原核心团队于2019年创建,已成为云原生工作流编排的事实标准。 作为一个构建、运行和管理分布式工作流的平台,它提供了强大的工作流引擎和SDK,支持多种编程语言。 Temporal的核心概念包括工作流(Workflow)和活动(Activ...
序言 分布式微服务架构是分层的,每一层的组件选择高度依赖于具体实现方案和技术生态。比如, Java技术栈中,Spring Cloud Alibaba或Spring Cloud Netflix(历史方案),属于一站式解决方案,文档丰富; 云原生技术栈中,Kubernetes(服务编排)+ Istio(服务网格)+ Envoy(代理),无侵入治理,自动注入Sidecar; ...
序言 在大模型(LLM)出现之前就有迁移学习(Transfer Learning)的概念,旨在提升训练效率,复用训练成果,用更少的训练数据微调,让模型能迁移到不同的任务上。很自然地想到,LLM也能学习下游任务。 LLM难训练、成本高,首先没有足够的算力把模型加载进来,就算加载进来后,因为LLM的参数太多了,不知道该微调哪些。预训练就像一个乱炖的过程,把足够多的数据清洗好后,给LLM去学习,...