案例

证券交易系统技术专家蒋锐权:新技术赋能 新一代交易系统稳如磐石

作者: 来源:2022-02-22 15:09:57

随着中国资本市场持续对外改革开放,国外大型金融机构纷纷进入国内市场,成立外资证券公司、外资期货公司、外资公募基金管理公司、外资私募基金管理公司等持牌机构,市场竞...

随着中国资本市场持续对外改革开放,国外大型金融机构纷纷进入国内市场,成立外资证券公司、外资期货公司、外资公募基金管理公司、外资私募基金管理公司等持牌机构,市场竞争日趋激烈。国内资本市场的投资者结构也在进化,机构化趋势越发明显。在此背景下,如果谁能够给投资者,特别是市场上最活跃的量化私募基金,提供稳定可靠的大容量、低延时的交易服务,无疑将会成为市场的宠儿。所以各家券商都在投入重金,努力打造能够支持高并发、高吞吐量、高可用、极低延时特性的核心交易系统。高性能交易系统历来就是资本市场兵家必争之地,现阶段尤显重要。

近几年国内外都有因为交易系统技术故障导致的业务中断,不仅给投资者带来经济损失,也会给金融市场带来一定的动荡。2019年2月26日,A股成交量再破万亿,早上开盘不足一小时,两市成交量超过4000亿元,导致多家券商交易系统出现短暂故障。2020年7月1日,德国证券交易所集团位于法兰克福的现货市场全电子市场交易系统Xetra出现“技术问题”,交易中断近3个小时。2020年10月1日,日本股市的集合竞价阶段,东京证券交易所系统发生故障,导致包括日经股指和东证股指在内的股价指数无法算出。东京交易所被迫在开盘前停止了交易。随后,由于故障无法排除,东京证券交易所直接取消了当天的交易。

交易系统是生命线,支撑着上层业务架构的建设与发展。随着金融产品和服务模式的持续变革,以及数字化转型发展的深入推进,核心交易系统支撑能力的重要性愈加凸显。那么什么才是与未来更匹配的交易系统架构?才能应对日益快速变化的业务创新?

想要了解这些内容,就要请在此领域深耕多年的专家来分享和解读。

现任上海金仕达软件科技有限公司金融科技研究院执行院长的蒋锐权博士,拥有20余年资本市场交易技术领域的资深研发经验,目前供职的上海金仕达软件科技有限公司,是国内领先的交易技术服务提供商,荣获2021 IDC全球金融科技100强,2021 Forbes福布斯中国企业科技50强。今天很荣幸能够邀请到蒋锐权博士来阐述他对未来交易技术发展的看法。

: 谈未来,必须知现在。目前国内证券行业主流的交易系统是怎样的技术架构?遇到了怎样的挑战?

蒋锐权:国内证券行业信息化建设已经将近30年,在此过程中,证券公司的证券交易系统历经了多种架构演变,目前主流的技术架构是集中式、紧耦合的架构,这种架构始自本世纪初,从以营业部为中心的分散交易系统向以总部为中心的集中交易系统转换,在此过程中解决了统一集中的风险管控问题。

这种大集中式的交易系统,业务间耦合度高、交互复杂,系统业务功能的新增、改造对业务和技术人员要求非常高,新的业务需求和客户需求越来越难以得到扩展和满足,且新业务的交付和上线周期较长,难以触达客户日益增长的多样化需求,服务边界和体验受到一定制约。在性能方面,传统技术架构下系统的扩展能力具有局限性,系统容量和性能往往受制于服务器硬件和数据库处理能力,往往数据库会成为整个交易系统的性能瓶颈和处理堵点,且难以快速横向扩展。在客户交易数据激增的情况下,难以保证消息的高吞吐和低延时处理。更糟糕的是,如果系统内部的一些组件和功能异常可能会影响到整个系统服务的稳定性和可靠性,如果系统运行中出现问题故障,尤其是在高并发交易场景下,问题难以溯源和重现,且排查难度大,导致问题和风险比较集中,难以分散。

随着我国资本市场的不断发展,已进入到业务创新加速、客户业务量快速增长的新时代,集中式架构伴随而来的问题、风险也不容忽视,如业务创新的快速响应,容量的快速扩容支持,潜在的应用单点风险等。在竞争日趋激烈的形势下,行业对交易系统的规划建设提出了更高的要求。

: 那么,未来行业对交易系统的关键要求有哪些?

蒋锐权:一是多元化特性越发明显。投资者群体的多样化决定了对交易系统容量、延迟和可用性方面的不同要求。面向不同交易市场,包括国内国际市场,以及证券、期货、债券和其他衍生产品的异同性,也对交易系统提出了多样性要求。原来交易系统主要适用于证券、期货以及银行行业,而新的实体企业都期望建立和使用符合自身行业特点,又兼具先进交易系统特性的行业性交易系统。这些多元化特性预示着未来可能出现,多厂商、多特性的异质多个交易系统在某一家机构和谐并存的局面。

二是可用性、易用性的要求增强。交易系统的平稳可靠运行不仅事关投资者交易意愿的达成,更关乎金融稳定。现代化金融市场随着国际国内政治经济形势的变化往往是瞬息万变,现代科技,包括计算能力、通信能力和人工智能能力的迅猛发展,金融市场的变化会更加实时。交易系统是投资者与金融机构打交道,并感知金融机构实力和服务能力的重要窗口。投资者高度关注交易服务连续性、响应及时性,以及操作便捷性与智能性。投资者、会员与交易所系统之间的实时信息互动要能够适应大量、瞬时、复杂的交易流信息的冲击。但任何主机、存储和网络都不是100%可靠的。因此我们需要基于现有的硬件和系统环境建立可以经受动荡和大压力环境的高可用性交易系统。

三是敏态要求提高。敏态和稳态是指系统迭代的频率和程度。传统而言,交易系统虽然是稳态系统,但随着金融市场开放和金融创新步伐的加快,交易系统不能“一稳再稳”,要能够在创新驱动下做到业务快速升级。遵循从简单到复杂的变化规律,业务发展也需要更好更快地响应投资者需求。总而言之,及时、持续性改进系统对交易系统的敏态特性提出了更高要求。传统系统升级往往繁琐且易于出错,需要投入很大的开发和运维力量。这对未来交易系统的设计提出了挑战,即如何采用更加科学的方式搭建系统成为关键。

四是性能、容量弹性要求更高。金融机构的交易业务的参与者和交易量都是从小到大,从局部到全体的。因此从量的角度来说,基本是从小到大逐步发展的。金融市场的不可预测性意味着,交易量的变化往往也是突变和波动的。这产生了“系统容量可以循序渐进的弹性扩展”和“在短期内迅速根据市场变化调整容量”两种要求之间的冲突。集中化时代,往往可以预估交易系统可能的最大容量和能力,之后一次性采购好各类硬件资源(主要是主机)。这会带来两大问题:一是资源闲置和浪费;二是由于信息技术发展很快,过去购买的硬件资源很容易落伍过时,更糟糕的是当未来真正投入使用时,多半会由于硬件过时而导致操作系统支持不利。更不必说当时预估的容量是否真的科学合理——由于金融市场的不可预测,当时集中采购的硬件无法满足性能容量要求而束手无策的情况,并不罕见。因此,借鉴近些年云计算的思路和策略,需要动态弹性地设计分布式系统。

五是交易系统与其他内外系统的集成度增强。交易本质上是在交易所、经纪公司、投资者多方实时信息交互中达成双方或多方的交易买卖意愿,形成法律上认可的交易合同。交易系统恰恰是确保该过程顺利完成的重要工具。为了交易的顺利达成,不但需要与交易所、金融机构和投资者之间的系统互联互通,还需要一个机构内的大量基础性和支撑性平台对交易系统的支持,涉及到账户、资金、清算、风控、合规监管、运营等多个业务系统。因此在建立交易系统时,事先要考虑到交易系统的多样性,以及与以上其他关键基础子系统和谐共存、高效协同的问题。

: 您作为资深的交易技术专家,也曾经在上海证券交易所工作近15年,为应对这些挑战,您认为合适的交易架构应该是怎样的?

蒋锐权:为了应对这些挑战,新一代交易系统的架构应该是分布式的,各个处理模块应该是独立部署,松耦合高内聚,通过消息总线进行高速数据交换。这里面最重要的一个基础就是分布式高速容错总线。基于高速容错总线的分布式交易系统,可以很好的满足客户对系统低延时、高可用等的需求。新一代高速容错消息总线的主要设计理念如下:

分布式:高速容错消息总线不再有独立的服务进程,挂接在总线上的各个应用模块会调用总线提供的API,使得任意两个应用之间的通信不再经由独立的进程中转,而是直接发送到目标应用系统。

高速通讯:利用UDP协议相对于TCP协议在低层网络开销更少,以及UDP组播可以避免重复向多个组内节点进行点对点消息传输等特性,通过减少数据通讯节点和交换次数,来实现高速通讯。

容错性:高速容错消息总线通过对UDP组播消息的定序、重传等机制来实现消息通讯的容错性,进而完成消息可靠按序的递交工作。

高可用:在异常或故障发生时,利用高速容错消息总线的重演机制(通过序列化定序文件来实现)来完成异常和故障的分析及应对处理工作,保证了总线消息数据无丢失,使得异常和故障影响范围有限。

功能解偶:上述这些容错逻辑和故障应对任务均由总线在底层来完成,各个应用系统只需要实现业务功能,不必要关心高可用性等非功能性需求,从而做到业务逻辑与底层技术解耦,便于各个业务模块各自进行独立开发。

实践证明,通过引入核心的分布式高速容错总线技术,整个交易系统具备了以下技术特点:

业务和功能的解耦,支持水平扩展:

高速容错消息总线使得系统组件(如前置机、核心、报盘等日间交易重要组件)实现了分布式部署以及业务和通讯功能的拆分,同时也使得组件之间的业务解耦性更强,可以灵活快速横向扩展;所有系统组件插件化管理、按需部署,在性能和业务上都具备强健的可持续发展能力;

UDP组播和去中心化总线实现高速通讯:

系统组件间基于UDP组播的总线通信机制,相较于TCP通信,效率提升10倍以上;不同于UDP广播和单播,基于UDP组播的通信机制,更有利于总线模块高效地发送消息到主备通讯组内的多个模块;去中心化的总线可以实现点对点的高速通讯,任何两个应用之间的通信不再经由独立的进程中转,而是直接发送到目标应用系统,提高了通讯效率;

主备异常时实现快速切换且不影响其他模块:

基于总线分布式的特点,可以利用总线同一个组播组内的多个应用模块来保证主备异常时的快速切换,消除单节点故障对系统业务的影响。

: 国内有些私募量化团队,由于策略是高频策略,所以对从下单到成交整个过程的低延时要求近乎苛刻,只通过软件架构的优化来显著降低交易延时,似乎效果很有限。有什么突破性的解决方案吗?

蒋锐权:是的,有一个思路就是软件和硬件结合。我们研发了两项新技术。一是对行情进行硬件加速。交易系统从交易所接收到实时行情之后,采用FPGA(Field Programmable Gate Array)可编程硬件技术对行情进行解码。经验证,基于硬件的FPGA加速技术在低延时交易场景的应用能力要大幅超越传统纯软件加速模式,机器内部行情延时仅为40ns。二是通过卸载TCP协议处理负荷,释放CPU资源,降低内存COPY次数,甚至零拷贝。具体采用RDMA(Remote Direct Memory Access)这种内核旁路技术,它提供了网卡硬件的抽象层verbs,运行用户空间的进程绕过内核直接访问RDMA网卡,实现高效快速通讯。RDMA源于InfiniBand网络技术,在硬件层面,RDMA硬件在发送和接收端双方向都通过DMA技术直接对用户态内存进行读写,通过使用网卡内置的网络协议卸载引擎,实现数据传输过程中的完整协议处理,不仅大幅降低CPU对网络处理的资源利用率,同时使得时延大幅降低,网络吞吐量也得到明显提升。经实际验证,这两种技术同时使用时,效果非常惊人,行情下行链路端到端穿透时延低于 1.7微秒,交易上行端到端穿透时延 5.5微秒。

问:作为一名拥有丰富的金融经验的资深的系统架构师,这在业内是罕见的。您能简单介绍一下面向未来,证券公司的核心交易系统应该向哪个方向发展?

蒋锐权:在移动互联网、大数据、人工智能等技术的推动下,数据化转型的大潮席卷各个行业,券商纷改善客户,特别是机构客户的用户体验。所以,核心交易系统的设计应有“小核心,大外延”的理念,以达到既能保证核心交易系统的可靠稳定安全运行,又能适应未来不同异构系统之间的开放互联要求。

“小核心”是指订单执行模块直接挂接在金仕达完全自研的高速容错总线上,利用数据直达性快速通过报盘接口报送至交易所,并获取成交信息,以使交易通道的执行效率达到极致。

“大外延”有两个层面的含义。第一个层面是指核心交易的层面,客户可以自行开发具有自身特色的事前风控、订单管理、指令管理、策略算法、投资组合管理(通过各种模型算出来方差最小,投资回报最高的最优组合)等交易相关模块,挂接在金仕达高速容错总线上,支持多种订单策略及算法的外延式扩展。

第二个层面是指围绕高效率的交易核心,通过挂接在高速容错总线上的数据服务接口,可以构建与核心交易相对解耦的清结算系统、资金存管系统、账户系统、客户画像及营销系统,使各子系统的开发升级相对独立,更易维护,全面实现交易与结算的分离,也能为更广泛更深入地触达最终客户提供基础支撑。这种“小核心、大外延”的新一代分布式交易系统技术架构,既能保证核心交易的安全高效运行,也能充分支撑用户的业务创新,将为成为未来的发展趋势。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。