(CWW)算力作为数字经济时代新的生产力,在推动科技进步、促进行业数字化转型以及支撑经济社会发展方面发挥着重要作用。而数据中心作为算力的物理承载,是数字化发展的关键基础设施。
近年来,我国数据中心机架规模持续稳步增长,按照2.5kW标准机架统计,截止到2021年底,我国在用数据中心机架规模达到520万架,近5年年均复合增速超过30%。但数据中心对电力等能源消耗巨大,近5年我国数据中心耗电量保持15%以上的平均增长率,2020年耗电量突破2×1011kW·h,占全国总用电量的2.7%。在我国“双碳”目标、可持续发展战略以及“十四五”规划等政策背景下,应加快数据中心产业绿色低碳发展的探索步伐。
(相关资料图)
建设绿色数据中心需要从降低能耗和高效散热两个方面入手。在能耗方面,从2010年到2022年,数据中心交换芯片发展了7代、带宽提升80倍,系统总功耗提升22倍,其中光模块、SerDes功耗增加显著超过其他部分。从业界的技术发展趋势来看,光电合封(CPO)可以明显降低设备能耗,加之液冷散热可以大幅提升散热效率,二者共同运用可满足数据中心机房PUE≤1.5的能效标准。
光电合封成为绿色数据中心重要发展方向
CPO是将光引擎或电引擎与专用集成电路(ASIC)连接在同一基板上,有望提供高带宽互连,并显著降低功耗。通过将光引擎放置在靠近主机ASIC的位置,CPO可以最大限度地减少高速电通道损耗和阻抗不连续性,从而实现更高速度、更低功耗的I/O驱动。CPO相较于可插拔模块,带宽密度可提升一个数量级,能量效率可优化40%以上。CPO数据中心市场于2022年正式起步,出货量将主要为800G和1.6T端口,预计到2027年CPO端口占比接近30%。
业界普遍认为CPO大量部署还需要3~5年。随着基础200G/400G以太网的成熟稳定及商用部署,CPO技术预计优先在交换机侧实现商用,之后扩展至服务器侧,并可能有AOC和CPO技术混合存在的时间段。CPO的潜在切入点是叶脊结构交换机,这类交换机在其所有下行链路上均需要单模光学器件,并且可以完全部署光学器件。能够提供4~8个400G BASE-DR4和FR4链路的光引擎,这将是与51.2Tbit/s交换机结合使用的CPO的理想目标。而脊上行链路可能需要相干光学,这将推动CPO和可插拔光学混合型的交换机架构发展。
光电合封发展现状
硅光集成是主流方案,外置光源为当前研究热点
目前报道的技术方案主要为VCSEL阵列方案和硅光集成方案。IBM公司早期对基于VCSEL阵列方案的多路并行光互连展开了大量的研究工作。然而,伴随着VCSEL调制速率的提升,芯片可靠性下降。在56GBaud速率,尚没有稳定可靠的大规模集成VCSEL阵列。因此,基于VCSEL阵列方案的多路并行光互连研究大幅减少。硅光集成技术在近年来成为CPO光引擎的主要方案。硅光不需要气密封装,CMOS兼容更易与电芯片集成,且硅光调制器和探测器均可支持56GBaud以上速率。
在集成光子技术方案中,光源集成一直是核心挑战之一。硅、氮化硅、二氧化硅均为间接带隙材料,较难实现电致激射,需要通过其他方式引入光源。光源的放置方式有两种:一是光源与调制器进行片上集成,称为“光源内置”;二是将光源独立封装,光源耦合到光通路后再耦合调制器,称为“光源外置”。光源内置方案存在可靠性问题,故障率的要求值需比现有技术能提供的值低至少一个数量级,较难实现。考虑到在没有激光器的情况下,硅基集成光路具有很高可靠性,因此适合将容易出问题的激光器解耦出去。外置光源方式可降低光收发单元的热量,从而降低光模块的功耗,这是目前各家厂商比较倾向的放置方式。该技术目前仍然存在一些挑战,包括端到端耦合效率低、保偏光纤成本增加、光互连工程难度提升以及大功率激光烧纤等问题。
行业积极发展势头明显,产业规模逐步提升
近3年,硅光CPO样机相继发布。OFC 2020会议上,CPO首次作为热点词汇之一引起关注。业界对此主题存在分歧,讨论者分成了3个阵营。支持CPO/硅光的阵营聚集在Facebook、Microsoft和Intel周围,阿里巴巴为可插拔光学器件提供了有力的例证,而IBM支持基于VCSEL的CPO。在这次会议上,Intel推出首款CPO样机,由1.6Tbit/s的硅光引擎与12.8Tbit/s的可编程以太网交换机集成。Intel预计未来5年内可插拔向CPO转变,以支持新的51.2Tbit/s交换节点。OFC 2021会议上,Ranovus发布了Odin品牌模拟驱动CPO2.0架构,该架构由Ranovus、IBM、TE以及Senko共同合作开发。相较于CPO1.0,CPO2.0通过去除再定时功能和IC有效的单裸芯片方案节省了40%的功耗及成本,实现了更小的尺寸。OFC 2022会议上,Marvell展示了其首款CPO样机,带宽为1.6Tbit/s,未来将支持51.2Tbit/s的交换机芯片。Ranovus基于AMD的Xilinx计算加速平台进行CPO2.0的联合展示。2022年9月Broadcom和腾讯达成战略合作伙伴关系,将提供25.6Tbit/s CPO交换机,以促进高带宽CPO网络交换机用于云基础设施。2023年OFC上,Broadcom推出51.2Tbit/s的硅光交换机芯片。总体来看,终端用户、设备制造商以及光器件供应商均涉足其中,形成了初步的产业生态。
未来CPO市场前景广阔,在实现大规模部署的进程中将伴随产业模式的转型。Yole数据显示,2020年CPO市场产生的收入约为600万美元,预计到2032年将达到22亿美元,2020—2032年复合年增长率为65%。该技术的发展需要构建新的战略伙伴关系和产业模式,以解决用户需求、技术和经济可行性问题。未来几年,CPO的技术规范以及商业和供应链模型应该会更加清晰。
标准化工作有序进行,国内外均取得初步成果
2020年,业界开始对发展CPO标准形成共识。标准进展与技术和产业进展密切相关,美国、中国及欧洲率先开展标准化工作。光互联论坛(OIF)、板载光学联盟(COBO)、联合开发基金会(JDF)、国际光电委员会(IPEC)、中国计算机互连技术联盟(CCITA)等标准组织针对CPO作了一系列的部署。
2020年11月,OIF批准启动CPO框架实施协议伞形项目,项目主要内容为:确定光电合封技术的应用及其要求,研究并确定与CPO相关的关键问题,针对互操作性标准达成协议,发布技术白皮书,开展适当的后续标准化活动。2021年3月启动的用于数据中心内部交换应用的3.2Tbit/s CPO模块项目,是该框架项目下启动的第一个项目,该项目的实施协议已于2022年2月发布。2021年5月启动的外部激光小型可插拔(ELSFP)模块项目,作为配套项目支持CPO应用,旨在研究外置光源模块的封装形式、封装尺寸以及连接方式等。
COBO于2020年10月成立了CPO工作组,立项研究光电合封技术的相关内容和标准。COBO在51.2Tbit/s交换机PCB上采用光电合封光学器件,并发布一份白皮书,包括采用光电合封光学器件的交换机PCB技术规范和应用说明。2022年,COBO发布CPO交换机设计白皮书,内容包括CPO交换机系统、光引擎接口、板上连接、激光器、面板设计、光学测试、冷却系统等内容。
Microsoft以及Facebook等公司宣布在JDF中成立CPO工作组,聚焦于3.2Tbit/s光模块以及外置光源方面的研究工作。该组织发布了3.2Tbit/s CPO产品需求、CPO外部激光器、CPO组件等3个白皮书。
IPEC在OIF的51.2Tbit/s CPO讨论期间,发现了很多的技术难题,于2022年1月在先进技术研究工作组中启动OIO/CPO研究项目。目前先进技术组正在起草100Tbit/s及以上OIO标准研究报告,封装组正在起草OIO可插拔外部光源实施协议。中科院计算所牵头成立的CCITA于2021年5月立项研究交换机芯片光IO与网卡控制芯片光IO,并于2022年12月发布《微电子芯片光互连接口技术》团标。
总结展望
业界普遍认为CPO是下一代板上光互连的主流解决方案,目前CPO的研究聚焦51.2Tbit/s交换机,预计大量商用的时间点在3~5年后。系统将向更高集成度演进,硅光方案是CPO的主要方案,外置光源为当前研究热点。CPO将带来光通信产业规模提升并伴随重大产业模式变革,不过产业对于CPO的态度尚未达成一致。国内外CPO标准进程基本相近,均已初步完成规格草案的撰写。CPO仍有许多亟待解决的关键技术问题,面临可靠性挑战以及相干、线性驱动可插拔等其他技术挤压,需要业界的探索以及合作,共建完善的CPO技术、产业与标准生态系统。