JVM GC二三事儿
前言 深入JVM GC机制前,先简单了解下JVM运行时的内存结构。下图是JDK 8运行时的内存结构,主要分为3大块, JVM 运行时内存结构 Tips 第一大块,包括栈内存、程序计数器、本地方法栈,是线程独享的。 本地方法栈是JNI的,C语言的本地native方法。 右边是堆内存和本地内存,都是线程所共...
前言 深入JVM GC机制前,先简单了解下JVM运行时的内存结构。下图是JDK 8运行时的内存结构,主要分为3大块, JVM 运行时内存结构 Tips 第一大块,包括栈内存、程序计数器、本地方法栈,是线程独享的。 本地方法栈是JNI的,C语言的本地native方法。 右边是堆内存和本地内存,都是线程所共...
Case 相信很多微服务开发老baby经常会碰到这样一种情景,当你正沉浸式地敲着纯正老代码的时候,OnCall告警群里突然蹦出一堆线上紧急告警,告警信息里明晃晃地写着服务OverLoad过载。这时你不得不从沉浸的编码世界里抽身出来,本着线上告警优先处理的原则,观察基础/业务监控大盘和详细的服务过载日志来定位解决问题。 Tips: 如果短时间找不到问题,可以先临时扩容(虽然不一定有效...
印象——Temporal Temporal是一个开源的分布式工作流编排框架,用于构建可靠、可扩展的分布式应用。它源自Uber的Cadence项目,由原核心团队于2019年创建,已成为云原生工作流编排的事实标准。 作为一个构建、运行和管理分布式工作流的平台,它提供了强大的工作流引擎和SDK,支持多种编程语言。 Temporal的核心概念包括工作流(Workflow)和活动(Activ...
序言 分布式微服务架构是分层的,每一层的组件选择高度依赖于具体实现方案和技术生态。比如, Java技术栈中,Spring Cloud Alibaba或Spring Cloud Netflix(历史方案),属于一站式解决方案,文档丰富; 云原生技术栈中,Kubernetes(服务编排)+ Istio(服务网格)+ Envoy(代理),无侵入治理,自动注入Sidecar; ...
序言 在大模型(LLM)出现之前就有迁移学习(Transfer Learning)的概念,旨在提升训练效率,复用训练成果,用更少的训练数据微调,让模型能迁移到不同的任务上。很自然地想到,LLM也能学习下游任务。 LLM难训练、成本高,首先没有足够的算力把模型加载进来,就算加载进来后,因为LLM的参数太多了,不知道该微调哪些。预训练就像一个乱炖的过程,把足够多的数据清洗好后,给LLM去学习,...
为什么要分库分表? 当然是数据库有了性能瓶颈,IO或CPU瓶颈会导致数据库的活跃连接数增加,可能会达到可承受的最大活跃连接数阈值,导致应用服务无连接可用,造成灾难性后果。可以先从代码、SQL、索引、硬件条件(比如CPU、内存、磁盘IO、网络带宽)等方面优化,如果这几项没有太多优化空间,就该考虑分库分表了。 分库可以提高MySQL集群的并发能力和数据容量,分表可以降低单表的数据量,提高...
序言 引子 毕玄曾在QCon的围炉夜话中分享——09年之前,阿里的技术团队都处于陪(业务)跑状态。 大型互联网公司都一定经历了业务初创阶段,再到业务稳定阶段的过程。公司在不同阶段,技术团队的重心会有所不同。初创阶段更多重视业务,业务稳定阶段则会更重视技术本身。 业务初创时期,面临的主要问题是把业务转变成真正的系统工程实现,这时的系统架构并不需要设计的非常复杂,因为还没有外部真实流...
序言 数据分片(Shard),是分治模式在存储领域的落地。在高并发、大数据量场景下,数据分片是让服务达到高性能、高可用的常用方案之一。 日常用的存储中间件基本上都有数据分片的实现,比如, ES中可以把一个索引分成多个分片。每个ES节点可以容纳多个分片,但分片数固定,还有副本,扩容迁移需重建索引; RedisCluster中分成多个节点,每个节点管理一部分哈希槽。...
序言 德鲁克管理准则揭示,效能是做正确的事,效率是正确地做事。研发效能必须以系统视角融合目标校准(价值有效性)、流动优化(端到端交付)、能力沉淀(知识复用)三重维度,避免陷入个体效率的局部优化陷阱。 研发效能 = ∑(个人效率) × 流程润滑度 × 目标对齐度 × 知识复用率。如同交响乐团——个人演奏技巧(效率)是基础,但指挥协同(效能)才能成就完美乐章。 个人效率,...
Overview BGE,BAAI General Embedding,北京智源人工智能研究院(BAAI)在2023年推出的Bert类通用文本嵌入模型。 BGE论文中,提出了C-PACK,一个中文Embedding领域的资源包,C-Pack包括三个关键资源:C-MTEB、C-MTP和C-TEM。 C-MTEB为中文Embedding领域的benchmark; C-MTP为中文语料...