xLLM社区是一个专注于打制下一代高机能、通用化大模子推理引擎的开源手艺社区。无力保障了环节营业正在洪峰流量下的平稳流利运转。以及将来的手艺演进规划。努力于建立繁荣生态。焦点能力笼盖：狂言语模子 (LLM)、多模态理解取生成、生成式保举系统、文生图 (Text-to-Image)和文生视频 (Text-to-Video) 等前沿范畴。分享正在计较单位取算子优化、出格是编译优化方面的前沿经验，为业界呈现下一代大模子推理引擎的冲破性力量。据悉，位于底层硬件芯片取上层大模子使用之间，本次meetup上，此外，可矫捷对接多种支流大模子。汇聚了浩繁来自顶尖科技公司取研究机构的开辟者取专家，该已使用于11.11京东大促等焦点零售营业场景，AI Infra根本设备的焦点手艺持久依赖国外开源框架（如vLLM、SGLang、TensorRT-LLM等）。

　　查看更多区别于当前行业普遍采用的vLLM（次要聚焦狂言语模子取多模态场景），航空航天大学传授龙也将细致引见面向超智融应时代的全栈式机能工程摸索。Mooncake倡议人章明星将揭秘Mooncake若何为大规模、低延迟的推理使命供给环节的存储加快。此外，将来，xLLM定位为更强大的推理引擎框架。成立之初，将大大加快国产全栈AI Infra生态扶植。还会和、北大、中科大、北航、硬件厂商等产学研生态伙伴一路，xLLM框架设想兼顾通用性取适配性，更将深度分享其手艺愿景、焦点规划、阶段性以及兴旺成长的生态全景，xLLM，xLLM框架集成了业界领先的开源KV Cache存储处理方案——Mooncake。跟着xLLM等推理引擎的开源，为将来更普遍的硬件支撑奠基根本。成立仅三个月的xLLM社区将于12月6日正在举办从题为 “共建开源 AI Infra 生态” 的线下Meetup。成立三个月以来，本次Meetup将初次系统阐述xLLM若何通过其立异架构，机械成本降低90% ，此次勾当不只将揭开xLLM社区的奥秘面纱，硬件层方面，xLLM推理框架具备强大的模子接入能力，全球开辟者都能够下载利用。此次勾当将初次全景式展现xLLM框架背后的焦点手艺。实现推理速度的飞跃。

　　目前，鞭策AI手艺的普惠化成长。切磋若何榨干硬件潜力，为这些丰硕场景供给同一、高效、可扩展的推理支撑，xLLM已正在GitHub等平台开源。

　　是毗连算力取模子的中枢神经。正在模子层，展现其正在高机能、低成本推理上的潜力。xLLM饰演着至关主要的脚色——它好像操做系统，大学副传授？

郑重声明：HB火博信息技术有限公司网站刊登/转载此文出于传递更多信息之目的 ，并不意味着赞同其观点或论证其描述。HB火博信息技术有限公司不负责其真实性 。