LOADING
你好,欢迎来到我的主页

蔡俊锋
AI架构师

大模型架构落地实战派

◆ 11年AI架构经验 ◆ 千万级用户项目 ◆ 腾讯云开发大赛一等奖 ◆ CSDN百万访问博主
0
行业沉淀
0万+
合同转化
0万+
文章阅读
0+
企业客户
蔡俊锋
LLM / RAG / Agent
千万级用户架构
端侧AI部署

关于我

深耕企业级大模型平台架构,兼具软件架构与智能硬件开发能力

我拥有11年技术沉淀、6年+AI架构师实战经验,深耕企业级大模型平台架构设计,主导LLM/RAG/Agent技术从0到1商业化落地,全程担任千万级用户AI项目技术负责人,具备从模型微调训练、推理优化到业务场景落地、全生命周期运维的全栈能力。


我的核心差异化优势在于兼具企业级软件架构与智能硬件开发能力,可实现大模型轻量化裁剪与端侧离线部署,解决离线场景AI落地痛点;同时深度理解AI技术与业务的融合逻辑,擅长输出定制化行业解决方案。

◆ 主导15+企业级AI项目POC验证,技术方案中标率85%

◆ 累计转化合同额超2000万,服务300+企业客户

◆ 主导AI项目累计服务超50万用户

◆ 大模型推理吞吐量提升120%,单token成本降低60%

🎯

架构落地能力

主导千万级用户大模型项目,支撑百万级并发,API响应延迟<200ms

🚀

商业化能力

技术方案中标率85%,累计转化合同额超2000万,服务300+企业客户

🔭

技术影响力

CSDN百万访问量博主,累计发布技术文章200+,粉丝量超5万

🔌

端侧AI差异化

大模型轻量化裁剪与端侧离线部署,MCU/UART/I2C硬件通信协议

核心能力矩阵

覆盖大模型全链路、AI应用、云原生、端侧AI、数据架构五大核心领域

🧠
大模型全链路架构
LLAMA/Qwen/GPT系列应用架构设计,SFT指令微调,LoRA/QLoRA低秩适配,模型蒸馏/量化,DeepSpeed分布式训练,TensorRT-LLM/vLLM推理加速
SFT LoRA RLHF DPO DeepSpeed TensorRT-LLM vLLM
🤖
AI应用架构
Agent/Multi-Agent协同架构,Graph RAG/RAG Fusion检索增强,Prompt工程,LLMOps/MLOps全生命周期,向量数据库引擎设计,企业级AI知识库
Agent Multi-Agent Graph RAG PGVector Milvus LLMOps
工程化与云原生
微服务/分布式架构设计,Spring Cloud Gateway API网关,Kafka/RocketMQ消息队列,Python/Java全栈,Docker/K8s/Kubeflow,CI/CD自动化流水线
Spring Cloud FastAPI K8s Kafka Docker Kubeflow
💻
端侧AI与安全合规
端侧AI软硬一体化架构,大模型轻量化裁剪与端侧离线部署,MCU/UART/I2C/SPI硬件通信协议,企业级数据安全与合规,等保2.0与跨境合规
端侧部署 MCU 模型量化 等保2.0 数据加密
📊
数据与业务架构
Hadoop/Spark大数据架构,PostgreSQL/MySQL/Redis数据库设计,数据加密与脱敏,AI与业务场景融合方案设计,跨职能技术团队管理
Hadoop Spark PostgreSQL Redis 数据加密
🚀
技术管理与团队建设
跨职能技术团队管理与组建,AI研发效能提升与技术路线规划,技术选型与架构评审,百万级项目交付管理,技术人才培养与梯队建设
敏捷开发 架构评审 技术规划 团队管理 项目交付
-->

标杆项目案例

主导的AI架构技术孵化项目,覆盖大模型平台、数据资产管理、智能交易、编程导航等核心场景

AI Agent平台

ZeboStar 多模态AI Agent开发与编排平台

AI架构师/技术负责人 | 2025.06 - 至今

zebostar.metaorder.top

主导平台整体架构设计,涵盖Agent可视化编排、多模态大模型适配、模型全生命周期管理。基于DeepSpeed实现分布式微调,通过TensorRT-LLM/vLLM实现推理加速。

核心成果

服务200+中大型企业客户(含12家上市企业),累计合同额超800万。Agent构建效率提升80%,客服人工接待量降低80%。

Qwen/LLAMA/GPT LlamaIndex LangChain PGVector DeepSpeed MetaGPT
数据资产平台

DataStar 企业级AI数据资产管理平台

AI架构师/技术负责人 | 2025.03 - 至今

datastar.metaorder.top

主导平台整体架构设计,落地Graph RAG架构,结合RAG Fusion、HyDE优化检索策略。搭建安全合规的AI资产管理体系与LLMOps全流程管理。

核心成果

服务100+中大型企业客户,沉淀PB级企业AI数字资产,数据检索准确率提升45%,企业知识库搭建效率提升70%。

LLAMA/Qwen Milvus Hadoop Graph RAG LLMOps
智能交易

MetaOrder 智能交易决策AI Agent平台

AI架构师/技术负责人 | 2024.12 - 至今

metaorder.top

基于微服务架构拆分核心业务模块,结合LLM与Agent技术打造交易场景端到端AI解决方案。落地智能决策、订单管理、风险预警等核心能力。

核心成果

累计服务超10万用户,交易决策胜率提升28%,用户留存率提升32%。GPU资源利用率从30%提升至75%。

GPT/LLAMA LangChain FastAPI K8s Kubeflow
编程资源平台

编程导航 大模型Agent+RAG智能资源平台

AI架构师/技术负责人 | 2020.06 - 至今

code-nav.cn

采用Agent+RAG双驱动架构,通过LlamaIndex实现资源检索与知识增强,从根源解决大模型知识幻觉核心痛点。设计千万级资源知识库与增量更新机制。

核心成果

累计服务超50万用户,获腾讯第一届云开发大赛一等奖,成为国内头部编程资源导航平台。DAU增长35%。

LLAMA/Qwen LlamaIndex PGVector DeepSpeed vLLM

职业经历

从全栈工程师到AI架构师,持续深耕AI技术落地

2020.08 - 至今

深圳市腾讯计算机系统有限公司

AI架构师 / 技术负责人(部门CTO职级)

  • 制定集团大模型技术路线图,主导企业级AI平台整体架构设计,推动RAG、Agent、模型微调等核心技术在智慧零售、编程资源导航等业务场景从0到1落地,全程担任千万级用户AI项目技术负责人。
  • 主导基于LLAMA、Qwen等主流大模型的应用架构设计,覆盖模型微调/蒸馏、DeepSpeed分布式训练、vLLM推理加速全流程,搭建完整LLMOps/MLOps体系,支撑百万级用户并发访问,API响应延迟<200ms。
  • 落地大模型端侧离线部署方案,解决离线场景AI落地痛点,相关方案在500+零售终端落地,实现用户点击率提升40%、客单价提升25%,累计服务超50万用户、500+企业商户。
  • 沉淀企业级大模型应用通用架构方法论,制定公司《大模型应用架构规范》《Agent开发落地标准》等研发规范,带领10人跨职能技术团队,项目交付质量达标率100%。
2015.07 - 2020.07

深圳布易有限公司

AI架构负责人 / 技术总监(CTO职级)

  • 主导纺织行业ERP/OA系统整体架构设计,基于微服务架构搭建核心业务系统,支撑500+企业用户全流程数字化管理。
  • 基于Milvus向量数据库构建行业知识库系统,率先落地RAG技术赋能ERP智能问答,员工查询效率提升60%。
  • 主导CAD智能硬件平台架构设计,集成图形识别AI算法,实现服装打版自动化,生产效率提升50%。

技术影响力与荣誉

持续输出技术价值,获得行业广泛认可

技术影响力

01

CSDN百万访问量技术博主

AI架构领域资深创作者,累计发布AI架构、大模型相关技术文章200+,累计阅读量超150万,粉丝量超5万。

02

企业级架构方法论沉淀

输出《大模型应用架构规范》《Agent开发落地标准》等行业可复用的研发体系。

03

前沿技术持续跟踪

持续跟踪大模型、Agent生态、AI+区块链等前沿技术,完成多项技术创新与业务落地转化。

04

AI架构培训与布道

主导企业内部AI架构师培养体系搭建,累计为300+研发人员提供大模型应用架构培训,推动团队AI能力提升。

荣誉资质

🏆

腾讯第一届云开发大赛一等奖

2021.11

🏆

全国职业技能大赛物联网 全国二等奖

2015.07

🏆

全国云计算技能大赛二等奖

2015.07

🏆

国家级奖学金

2015.02

教育经历

在职进修 | 计算机科学与技术 本科

系统完成数据结构、算法设计、分布式系统、AI架构设计等核心课程学习,持续深耕AI架构与大模型技术领域。

佛山职业技术学院 | 大专 | 物联网应用技术

2012.09 - 2015.06

We Star之光 - 原创音乐