国产 1400 亿参数知未智能 KDF 大模型发布，聚焦金融和商业垂直领域
【本站】7月25日消息，近日，北京知未智能科技有限公司在上海举行发布会，正式推出知未智能 KDF 大模型，以及一系列基于该模型研发的金融行业工具，为相关行业的产业发展助力。
知未智能 KDF 大模型是一款专注于金融和商业领域的中文模型。在其训练数据中，以中文为主，融合了大量的金融数据，从而大幅提升了模型在商业和金融问题处理方面的能力。
值得一提的是，为了保证模型的通用能力，训练数据还融合了部分英文和代码数据，以确保模型具备处理多种任务的能力。在训练过程中，知未智能 KDF 大模型采用了基于 PyTorch 优化的 GELU 非线性激活函数，这种优秀的激活函数有助于更精确地捕获复杂数据特征，保障了整个开发、训练和部署过程的高效运行。
为了在保证效果的同时提高可扩展性，开发团队对模型的网络结构进行了深度优化。与 LLaMA 模型相比，知未智能 KDF 大模型在每一层使用更少的参数，有效降低了计算需求和内存占用。与此同时，网络深度也得到了加强，从而让模型具备了更强大的表示能力，能够学习到更为复杂的数据特征。
据本站了解，在训练过程中，开发团队还重新调整了注意力层的 Bias，并引入了 Flash Attention 技术，以节省显存并提高模型训练和推理速度。得益于这项技术的应用，知未智能 KDF 大模型在有限的硬件资源下也能实现更高效的运行。
基准测试结果显示，知未智能 KDF 大模型在七个自然语言处理任务中展现出稳定的性能。在一些任务中，如 iFlytek 和 CMNLI，其表现相对出色。在 ExamQA 和 OCNLI 测试中，各模型的表现大致相同，凸显了该模型处理不同类型文本和领域知识方面的能力。
CEO 段清华表示，现有通用大模型在具体行业应用性和中文能力方面存在局限性，因此知未智能选择从零开始训练 KDF 大模型，以提升其中文能力和行业适用性。他强调，在打造这款“功能强大、性能优越”的中文模型过程中，开发团队深入理解技术细节，并将持续推动公司产品的开发创新。
目前，知未智能 KDF 大模型已在Hugging Face上开源，并将不限制商业使用，为行业发展和应用提供更多可能性。
相关文章
- OpenAI或推出GPT-5，商标申请进展曝光
- 生成式AI服务管理不影响企业科研攻关及自动驾驶等领域
- Azure AI文本转语音升级：男声"Ryan"登场，语言支持大幅扩展
- 微软研究院展示"Project Rumi"：多模态AI项目助力理解人类意图
- 阿里云通义千问：开源免费、助力企业打造专属大模型
- 苏姿丰：预计今年下半年PC市场将因AI需求增长而复苏
- 智能化改进助力宝马生产线：AI降低成本提高效率
- 英特尔与埃森哲联手推出34个开源AI参考套件，助力AI部署
- 人工智能芯片市场潜力巨大 台积电或获新发展契机
- GitHub Copilot Chat企业测试版发布：AI智能助手为开发者提供代码支持和交互体验
- LG发布EXAONE 2.0：支持多模态语言处理的大语言模型
- LG发布EXAONE 2.0：支持多模态语言处理的大语言模型
- 斯坦福大学和加州大学伯克利分校的研究：GPT-4智能下降
- 斯坦福大学和加州大学伯克利分校的研究：GPT-4智能下降
- 华为联合山东能源集团实现矿山领域AI落地，开创工厂化开发模式
- 边缘计算与大模型：解锁人工智能应用的机遇
