1000字范文,内容丰富有趣,学习的好帮手!
1000字范文 > 软考·系统架构师论文——论软件的高并发设计

软考·系统架构师论文——论软件的高并发设计

时间:2024-01-11 00:54:23

相关推荐

软考·系统架构师论文——论软件的高并发设计

文章目录

说明摘要过渡项目背景论点理论论点实践结尾

说明

1、【摘要 300~330字】

① 项目介绍:时间、项目名、项目主要功能简述、作者角色及工作内容

② 项目技术简介:正文理论/分论点的浓缩和精华,注意行文格式

③ 项目效果:简述上线效果

2、【项目背景 400~600字】

① 引言:项目由来/缘起/定位/目标,主要介绍项目的前提和诞生的背景,注意戴帽子要适可而止

② 项目主要内容:简要介绍,不是摘要中简单的重复,应比摘要稍详细,注意5W2h的次序可根据行文而定

when:何时,近三年项目(体现技术先进性),工期建议半年至1年

where:何地,脱敏,某省/某市

who:甲乙方、作者,甲方名称脱敏,乙方称“我司/我单位/我厂/我公司”

why:为何立项,项目建设目的

what:项目名、项目内容、作者的工作内容

how much:项目预算,不宜太小,不能太大,400~100W

how:作者采用的技术/方法

3、【过渡 50~100字】

① 关键需求:客户需求/项目特征/约束…

② 作者分析后识别出的问题,需要怎么解决,引出下文

4、【理论/分论点 500~600字】

① 紧扣题干要求:一般是对题干2的应答,注意要写成一段,但需要有明显的标识。行文需要注意格式,分论点之间用分号隔开

② 逐点回答:分论点的基本概念、基本原理、应用场景、简单举例即可,无关内容不要赘述

③ 惜字如金:注意控制字数,不要挤占实践部分

5、【实践部分 1000~1200左右】

① 结构上:与理论部分相呼应对应,最好保持一致

② 分论点标题:最好拟一个小标题,注意小标题的行文格式

③ 分论点内容:先识别问题,阐述why;然后分析/设计/解决问题,阐述how;再阐述效果

6、【结尾 300~400字】

① 项目效果:呼应论点、上线、稳定运行、获得好评、下一步计划…

② 存在的问题:阐述小问题,且已解决的

③ 收获/反思/复盘:甲乙方、个人、团队

摘要

年 5 月,我司中标了某一线城市大型物流公司的物流信息管理项目。项目包括仓储管理、运输管理、财务管理、订单管理、BI等多个子系统。在需求调研的过程中了解到业主物流仓库分布在全国上百个不同地点,大约3000辆货车,客户规模较大,系统需具备高并发能力。本人有幸担任架构师,负责系统架构、系统设计等工作,经过充分的分析、多次POC,设计并实现了支持高并发的物流信息管理系统。本文以此项目为例,首先介绍了如CDN、负载均衡、缓存、消息队列等相关高并发设计技术,然后详细阐述了高并发设计技术在项目中的具体应用。得益于高并发设计技术,该项目已稳定运行两年多,经受了两次的双十一活动的考验,获得了业主单位的一致好评。

过渡

在经济全球化和电子商务的双重推动下,物流业正在从传统物流向现代物流迅速转型并成为当前物流业发展的必然趋势。在系统工程思想的指导下,以信息技术为核心,强化资源整合和物流全过程优化是现代物流的最本质特征。通过使用计算机技术、通信技术、网络技术等手段,建立物流信息化管理,以提高物流信息的处理和传递速度,提升更人性化的服务,完善实时物流跟踪,减少物流成本。

项目背景

年 5 月,我有幸参加了某物流公司的物流信息管理项目,项目由多个子系统组成,包括仓储管理、运输管理、财务管理、订单管理、BI等多个子系统,这些子系统之间有许多协同作用,又是相互依赖的,同时从用户层面系统分为三个端:后台系统管理端、客户端、司机端。项目的目的是打造物流公司内外部各作业环节的信息化、可视化和一体化。通过对物流信息的收集、存储、传递和处理,达到对物流活动控制和管理,帮助企业进行信息分析以及决策支持,加快对市场的反应速度。本人作为系统架构师,参与了系统规划、需求分析、系统设计、系统开发和系统实施等过程,主要负责系统架构设计的工作。通过与关键干系人多轮次的沟通交流,经过项目组内部充分的需求分析,我们识别出该项目具备业务模块相对独立、业务不能中断、业务可承载高并发等关键需求。结合关键需求,我组织了项目组对高并发的软件设计技术进行调研,经过沟通、讨论、验证,最后一致认为采用CDN内容分发网络、负载均衡、缓存、消息队列等相关技术可以确保该项目的成功实施。下面分别对这些技术进行描述,并说明各自的主要适用场景。

论点理论

(1)CDN内容分发网络,通过在网络各处放置节点服务器所构成现有的互联网基础之上的一层虚拟网络,能够实时的根据网络流量和各节点的连接、负载情况以及到用户的距离和响应时间等综合信息将用户的请求导向离用户最近的服务节点上,使用户可以就近取得所需内容,解决网络拥挤的状况,提高用户访问网站的响应速度和成功率。CDN解决因分布、宽带、服务器性能带来的访问延迟问题,适用于站点加速、点播、直播等场景。

(2)负载均衡构建在原有网络结构之上,提供了一种透明且廉价有效的方法扩展服务器和网络设备的带宽、加强网络数据处理能力、增加吞吐量、提高网络的可用性和灵活性。将工作任务进行平衡、分摊到多个操作单元上进行运行,例如Web服务器、FTP服务器等,从而协同完成工作任务,同时根据实际情况选用不同的负载均衡技术和算法。是解决高并发,高可用,扩展性的终极解决方案。

(3)缓存技术在有高并发需求的系统中起着至关重要的作用,可以进一步提高数据的读取速率。缓存分为本地缓存和分布式缓存,区别在与是否要走网络通讯。其中分布式缓存通常由一个服务端实现管理和控制,有多个客户端节点存储数据,能够动态地扩展缓存节点、自动发现和切换故障节点。主要用于在高并发环境下,减轻数据库的压力,提高系统的响应速度和并发吞吐,一般应用在数据库和应用的中间层。

(4)消息队列是在消息的传输过程中保存消息的容器,它具有低耦合、可靠投递、流量控制等一些列功能。消息队列主要有三种角色:生产者、消息队列、消费者,消息队列提供路由并保证消息的传递,生产者和消费者通过消息队列传递消息。可以应用在解决系统之间耦合、异步通信、流量削峰填谷等问题。

下面详细阐述相关技术在项目中的具体应用。

论点实践

一是,采用CDN技术,提高网站应用中大量静态资源的加速分发。由于各个应用系统存在大量的静态资源,例如加载页面时需要的html、css、js等文件,物流作业过程中产生的仓库货品、运输存证等大量图片和视频。为了避免当大量请求涌入,在带宽不足的情况下,导致页面或资源加载不出来,影响工作人员效率及用户体验。我们利用CDN技术将这些静态资源提供下载加速分发,通过CDN缓存在边缘节点上,使各终端用户访问时可以就近访问,提高了回源速度,节省了近2/3的回源(业务服务器)带宽成本。

二是,采用负载均衡技术,提高系统并发处理能力。在设计和开发阶段,根据各子系统独立性、耦合度,采用微服务形式将项目拆分成仓储作业服务、库存服务、订单服务、运输服务、用户中心、GPS服务、数据计算等多个服务,形成了各终端用户访问应用系统,应用系统访问各服务的链路。为避免短时间内大量客户下单、查询物流信息,仓储高峰期业务人员的大量操作等高并发请求导致系统瘫痪。我们根据不同系统的访问量及用户量,为各计算节点添加若干节点,在各终端用户访问子系统时采用反向代理负载均衡技术Nginx,各子系统访问内部服务时采用基于HTTP的负载均衡技术Ribbon。由于相同系统或服务所分布的资源相同,在负载均衡算法上统一使用了轮询算法。项目实践中因负载均衡技术,不仅提高了系统高并发,也提高了系统的高可用和高扩展性。

三是,采用分布式缓存Redis,保障热数据的应用,提高系统访问效率。项目的数据大抵可以分为三类。一类是例如仓库配置、运输设备资源配置、组织结构配置等系统的基础信息。一类是系统正常运行时产生的数据,例如仓储相关数据、运输相关数据、订单数据等一些业务数据。第三类是经过计算、分析、加工后的数据,例如仓储报表、运输报表等业务报表以及监控作业大屏等。其中,第一类数据在系统中维护好后需要频繁访问名副其实的热数据,如果用传统关系型数据来存储,其读写 I/O 性能必然成为瓶颈,因此我们采用 Redis 来存储这类热数据,大大提升了系统响应速度,提高了用户体验感。并且建立高可用的Redis集群和哨兵模式,防止因Redis的宕机而影响整个系统。

四是,采用消息队列 Kafka,达到流量削峰填谷、应用耦合、异步通信作用。项目中为实现对运输中的车辆实时定位追踪,接入了第三方GPS定位系统,在GPS数据服务中与第三方GPS系统约定好协议,实时的接收成千上百个车辆的大量GPS信息,同时需要向数据计算服务和运输服务提供数据进行业务计算。为防止下游链路遭到流量冲击而瘫痪,利用Kafka的高吞吐以及异步通信等特点,承载了大量GPS数据,并且下游服务通过订阅Kafka主题对数据消费进行处理,完美的解决了大量GPS信息接收问题以及多个业务对相关信息的同时处理。

结尾

得益于高并发设计技术,项目组在时间紧、任务重、跨多部门的前提条件下,经过 6 个月的艰苦奋战研发,保质保量地按期完成项目交付,目前已稳定运行 2 年。该项目支撑了物流公司的核心业务,项目运行可靠,各项功能和性能指标超过客户预期,连续两年经受了双十一活动的考验,深受客户好评。在项目开发过程中也存在不足之处,由于系统被拆分了多个服务,同时还存在多个中间件,在初期需要登录多个服务器进行部署,操作繁琐复杂,后面通过Docker和Jenkins实现了自动化部署,减少了运维成本。经过本项目的实践,我系统架构能力也得到了提高。路漫漫兮其修远,吾将上下而求索,我将在未来的系统架构师一路走下去,在今后的项目开发工作中仍需要不断的总结和提升架构能力。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。