国家知识产权局信息显示，北京天数智芯半导体科技有限公司申请一项名为“大语言模型的推理方法及装置”的专利，公开号CN121882284A，申请日期为2026年3月。

专利摘要显示，本申请提供一种大语言模型的推理方法及装置，涉及人工智能与自然语言处理技术领域。该推理方法包括：通过嵌入层将问题序列映射为问题嵌入矩阵，以及将上下文序列映射为上下文嵌入矩阵；通过压缩层对上下文嵌入矩阵进行压缩，获得压缩后的上下文嵌入矩阵；压缩后的上下文嵌入矩阵的参数量小于上下文嵌入矩阵的参数量；根据压缩后的上下文嵌入矩阵与问题嵌入矩阵生成输入嵌入矩阵；将输入嵌入矩阵输入Transformer层，获得Transformer层的推理结果。本申请通过压缩层将原始的上下文嵌入矩阵进行压缩，利用压缩后的上下文嵌入矩阵与问题嵌入矩阵进行后续推理计算，降低了后续参与推理计算的token数量，提高了推理效率。

天眼查资料显示，北京天数智芯半导体科技有限公司，成立于2021年，位于北京市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本1000万人民币。通过天眼查大数据分析，北京天数智芯半导体科技有限公司参与招投标项目1次，专利信息61条，此外企业还拥有行政许可3个。

声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。

本文源自：市场资讯