本文来自微信公众号“twt企业IT社区（talkwithtrend.com）”，【作者】顾黄亮，金融企业云计算专家，畅销书《DevOps权威指南》和《技术赋能数字化转型的基石》作者，江苏银行业和保险业金融科技专家委员会候选专家、工信部企业数字化转型IOMM委员会特聘专家、中国信通院可信云标准特聘专家、中国信通院低代码/无代码推进中心特聘专家，多个技术峰会演讲嘉宾，拥有丰富的企业级DevOps实战经验，专注企业IT数字化的转型和落地，致力于企业智慧运维体系的打造。
【导读】大模型的兴起无疑给金融领域注入了新的能力，而将大模型用好将会极大的助力金融的发展，但同时也要关注其中带来的挑战。作者对金融大模型的运维进行了全面且深入的剖析，从兴起背景阐述其重要性，详细列举运维挑战，如数据复杂、管理不成熟等，又针对性提出方法思路，涵盖团队组建、数据管理优化等方面。内容详实、逻辑清晰，为金融大模型运维提供了有价值的参考与指导。
一、金融大模型的兴起与模型运维的重要性
在当今数字化时代，金融大模型如一颗璀璨的新星迅速崛起。金融行业一直以来都是数据密集型领域，随着信息技术的飞速发展，海量的金融数据不断产生，包括交易数据、市场数据、客户信息等。这些数据蕴含着巨大的价值，但传统的数据处理和分析方法已经难以满足日益增长的需求。
金融大模型的出现为解决这一难题提供了新的途径。通过深度学习等先进技术，金融大模型能够自动从大量数据中学习复杂的模式和规律，实现对金融市场的精准预测、风险评估、客户画像等功能。例如，在客户管理方面，大模型可以分析客户的活动、宏观的消费数据、同业的客群表现等多源信息，为客户的运营人员提供更准确的客户画像建议。在风险管理领域，大模型可以对各种风险因素进行综合评估，帮助金融机构及时发现潜在风险并采取相应的防范措施。在客户服务方面，大模型可以根据客户的行为和偏好，为其提供个性化的金融产品和服务推荐。
随着金融机构对金融大模型的运用逐渐进入深水区，模型对业务的赋能也逐渐和相关的业务流程进行深度绑定，因此模型的可靠性和稳定性至关重要。对于运维人员而言，首先要保证大模型的高可用性和稳定性，用来满足业务的需要。其次，模型的运维和优化，也可以帮助金融机构更好的在业务场景中进行创新，从而提高用户满意度，增强金融机构的竞争力。同时，对模型的高效运维还可以降低金融机构的运营成本，提高资源利用率，为金融机构的可持续发展奠定基础。
二、金融大模型运维的挑战
1、数据复杂性挑战
在金融场景中，无论是数据处理还是数据赋能，都需要对数据进行训练和计算，而金融数据具备大量实时、多模态的特点，同时数据之间的关系复杂且动态变化。对于大模型来说，处理和理解如此复杂的数据是一项巨大的挑战，例如，在风险管理场景中，大量客户的数据来自于第三方数据源，存在快速变化的实际情况，因此要求模型能够快速适应。同时，客户的身份验证、核身等数据为多模态数据，这类数据的融合需要复杂的算法和模型结构。因此大模型需要具备强大的数据处理能力，才能从这些复杂的数据中提取有价值的信息，给模型运维带来了难度。
2、模型运维管理不成熟
目前，在绝大多数的金融机构中，由于模型自身的技术门槛太高和模型人才的不足，导致大模型在组织落地和运维方面存在管理不足的问题。这主要是因为模型的治理和运维非常复杂，同时，模型管理支撑工具数量较少且难集成，这使得运维团队在实际操作中面临诸多困难。例如，不同的模型可能采用不同的接口和数据格式，导致集成难度加大。此外，模型的更新和维护也需要专业的技术人员和大量的时间成本，这进一步增加了模型运维管理的难度。
3、缺乏风险防控体系
由于模型管理工具不成熟，导致大模型在运维过程中，风险防控体系相对薄弱，无法有效地检测和防范潜在的风险。同时，在很多金融机构，模型运维并没有纳入传统的运维团队的职责中，导致责任主体不明确，使得在出现问题时难以确定责任人，从而影响问题的及时解决。另外，模型运维流程也存在不规范的情况，缺乏统一的标准和规范，导致运维工作的混乱。
4、数据质量和算力挑战
金融数据通常具有非结构化、多样化和大规模的特点，这些数据质量参差不齐，存在噪声、缺失和异常等问题，对大模型的训练和推理造成了很大的困难。同时，在模型算力方面，由于传统金融机构的数据中心的管理模式中，并不支持模型算力的部署和管理，因此在算力管理方面，基础设施的能力并不能很好的适配，不仅不能管理好模型算力，还会对现有的基础架构平台造成一定负载方面的冲击，同时海量数据在模型处理的过程中需要高性能计算和存储资源，也额外增加了管理成本和复杂性。
5、模型复杂性和可解释性挑战
金融大模型通常具有复杂的网络结构和参数，这使得模型的训练和调优变得非常困难。同时，大模型的可解释性较差，运维人员难以理解模型的内部逻辑和决策过程，导致对模型的信任度降低。例如，当模型给出一个不符合业务预期的结果时，模型运维人员可能无法理解为什么模型会得出这个结果，从而难以判断结果的准确性。这种情况在绝大多数的模型运维过程中频繁出现，导致大模型在业务运营过程中不能快速的进行广泛应用。
6、安全性和隐私挑战
由于金融机构强监管的特性，对大模型的安全性和隐私保护提出了更高的要求。在实际的场景中，模型在训练和推理过程中可能泄露敏感信息，遭受恶意攻击或滥用，给金融机构带来很多声誉和合规方面的风险。例如，攻击者可能通过窃取模型参数或注入恶意数据来攻击大模型，从而获取敏感信息。因此，需要采取有效的安全措施来保护数据隐私和模型安全，如加密、访问控制等。
7、运维知识和经验融合挑战
将运维人员的知识和经验融入大模型是模型运维过程中最大的挑战。传统的运维方式是一个高度专业化和经验依赖的领域，运维人员通常具有丰富的知识和经验，然而，如何将这些知识和经验有效地融入大模型中是一个难题。因此，模型自运维是一个趋势，同时也是解决模型运维诸多问题的一个好的实践方式。模型管理人员和模型运维人员需要配合，设计合适的特征表示、模型结构和训练方法，以便大模型能够学习和理解运维领域的复杂性和多样性，使大模型能够适应不断变化的运维环境和需求。
三、金融大模型运维的方法和思路
1、成立专门的模型运维团队
成立专门的模型运维团队可以实现分工明确，让专业的人做专业的事。模型开发人员可以专注于模型的开发和创新，模型运维人员则负责模型的日常维护和管理，提高工作效率。
2、优化数据管理
数据是大模型的基石，优化数据管理对于大模型的运维至关重要，共有四个阶段，分别是数据清洗预处理阶段、标记注释阶段、存储组织版本控制阶段、合规性检验方面。
-数据清洗预处理
在大模型的训练和应用过程中，数据的质量直接影响模型的性能。因此，需要对数据进行清洗预处理，去除噪声、异常值和重复数据等。根据中国信通院发布的模型研究报告所显示，经过精心清洗预处理的数据可以使模型的准确率提高10%至20%。通过数据清洗预处理，可以确保数据的准确性、一致性和完整性，为大模型的训练和应用提供高质量的数据支持。
-标记注释
对数据进行标记注释可以帮助大模型更好地理解数据的含义和特征。例如，在图像识别领域，对图像进行标记注释可以帮助模型更好地识别图像中的物体和场景。在自然语言处理领域，对文本进行标记注释可以帮助模型更好地理解文本的语义和语法结构。标记注释需要专业的人员进行操作，确保标记注释的准确性和一致性。
-存储组织版本控制
大模型在训练和应用过程中会产生大量的数据，需要对这些数据进行存储组织和版本控制。运维人员可以使用分布式存储系统对数据进行存储，确保数据的安全性和可靠性。同时，可以使用版本控制工具对数据进行版本控制，方便数据的管理和维护。
-合规性检验
在大模型的运维过程中，需要对数据进行合规性检验，确保数据的使用符合法律法规和道德规范。例如，在涉及用户个人信息的数据使用中，需要遵守相关的隐私保护法律法规，确保用户的个人信息安全。
3、合理选择基础模型
在大模型的选择过程中，运维人员需要进行工作前置，参与到模型选择的过程中，模型人员需要对模型的来源、性能和成本进行多方的考虑和权衡，最终选择合适的基础模型。
-专有模型和开源模型的权衡
专有模型通常由商业公司开发，具有较高的性能和稳定性，但价格较高。开源模型则由社区开发，免费使用，但性能和稳定性可能不如专有模型。在选择基础模型时，需要根据实际需求进行权衡。如果对性能和稳定性要求较高，可以选择专有模型；如果预算有限，可以选择开源模型。
-根据性能、成本等因素选择合适基础模型
在选择基础模型时，需要考虑性能、成本、可扩展性等因素。通常情况下，金融机构选择基础大模型要看三大指标，分别是通用性能、迭代速度和工具链是否完备。通用性能要看大模型能不能满足金融机构当前的需要，有没有比较好的泛化能力；迭代速度将决定大模型在未来的长久价值；工具链会决定金融机构能不能更好地把大模型的能力融入到业务和产品中。
4、做好迭代和提示管理
迭代和提示管理是大模型运维的重要环节。
-提示工程
提示工程在与大模型互动中扮演关键角色，它直接影响模型的响应质量与准确性。明确而具体的提示词能够确保模型准确理解任务要求，避免模糊或模棱两可的表述导致的不准确回答。例如，可以通过确定清晰目标、从简单描述开始、增加细节描述、使用分隔符、指定输出格式、添加条件限制、提供示例、描述执行步骤、调用零样本或少样本COT、逐步迭代优化等方法编写提示词，提升与大模型交互的质量。
-微调预训练模型
微调预训练模型是一种有效的方法，可以根据下游任务的需求对预训练模型进行调整和优化。例如，可以使用少量的标注数据对预训练模型进行微调，提高模型在特定任务上的性能。微调预训练模型可以减少训练时间和成本，同时提高模型的性能和泛化能力。
-利用外部数据
利用外部数据可以丰富大模型的知识和信息，提高模型的性能和泛化能力，同时让模型具备自运维的能力。运维人员可以使用现有的运维知识，包括多模态的数据和相关学术文献，对大模型进行训练和优化，让模型辅助运维人员，完成知识沉淀的同时，具备一定的自运维能力。
四、总结
现阶段，大模型运维在金融机构中面临着诸多挑战，但随着技术的不断进步和应用的不断拓展，模型运维的发展前景非常广阔，岗位价值也值得展望。
