金融行业IT规划与系统建设,大数据管理平台先行

2024-02-04 19:08

本文主要是介绍金融行业IT规划与系统建设,大数据管理平台先行,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

电商平台开发

随着金融行业业务的快速发展变化,企业对业务系统的改造需求呈爆炸式增长,而且频率越来越快,尤其是综合业务系统已经进行常态化研发阶段。业务系统频繁变化通常会导致下游的数据管理系统随之变化,产生高昂的开发、维护成本,并影响下游系统用户的使用。

数商云在行业调研中发现,随着综合报表平台使用的不断深入,业务部门对数据利用的宽度和深度不断扩展,对业务数据分析职能的要求也越来越高:信贷、会计、风险管理、内部审计等业务部门需要获取标准一致、口径统一的全业务数据,对日常业务进行统计、分析和监控,根据查询分析的结果有针对性地规范业务操作与管理流程,强化业务经营和管理能力;各级领导需要全面完整的、包含历史信息的业务数据以便及时、准确地掌握本行业务的运行状况,分析、预测业务发展变化趋势,为管理决策提供支持。

一、问题及挑战

 一是缺乏统一的数据标准体系,无法建立全面、准确、完整反映全行经营状况的单一数据视图,制约了数据共享;

二是数据质量亟待提高;

三是数据管理条块分割。

二、建设思路及方案

1、建设思路

充分借鉴业界先进数据仓库建设成功经验,经过分析证,决定采用先建数据集市、后建数据整合层的方案  进行数据仓库建设,搭建数据基础平台,整合全行主要业务系统数据,形成全行数据应用统一出口。同时制  定一批得重要业务数据标准,依据标准对数据进行加工和整合,并通过标准的逐步完善,为解决数据管理和  数据质量质量问题提供手段和依据。

2、总体方案

 整体架构包含了数据源、数据平台、数据管理平台和数据应用四个部分。

金融行业IT规划与系统建设,大数据管理平台先行

(1)数据源

通过“数据管理平台”的数据处理及数据调度,将数据源中的数据分别写入数据平台。

(2) 数据平台

数据平台基于传统的关系型数据库构建,对结构化的业务数据进行存储、整合、加工和应用。其数据来源于行内各个业务系统,为应用提供全面数据支撑。

(3) 数据管理平台

数据管理平台对数据平台的数据关系、数据质量、ETL作业、生命周期等内容进行管理,是保障数据平台的正常运转,促进数据仓库逐步完善,提升数据仓库的管理水平的重要手段。

(4) 数据应用

面向最终用户提供数据的应用,包括统计报表、高管驾驶舱等数据应用。

三、关键技术及创新

1、平台化的数据仓库架构设计

平台化设计通过对数据平台进行需求分析,提炼需求共性特征并进行分类,划分出不同的平台,平台功能既各有偏重,又相互协同,形成数据平台的完整体系。

2、具有农业政策性特点的基础数据平台

基础数据平台以成熟的行业模型TD-FSLDM为基础进行定制,在保留银行业通用设计基础上,依据农发行自身业务特点,对模型实体进行细分和扩充,形成体现农发行政策性业务特点的模型设计。

3、自主可控的数据管理平台

数据管理平台包括数据调度、数据传输、数据生命周期、元数据管理、数据质量检核,各个子平台间既独立运行,又相互协作,共同支撑数据仓库的整体运转。

四、平台建设的价值:

数据平台建成后,可将源系统中多业务、多角度、多格式的符合条件的所有业务数据,按统一标准进行整合,保存各类业务对象,最终形成全行全面的、一致的、统一的标准化数据视图。下游系统只需通过数据平台,即可实现对所有业务数据的访问,并可对数据进行不同时期、不同角度的对比、分析和预测。在对外监管方面能够打破业务种类、部门之间的界限,提供口径一致,信息一致的监管报表;在对内管理方面,能够提供完整、统一的数据资源,满足经营管理和客户服务的需要。

同时,数据平台还将作为下游系统的唯一数据来源,为下游系统提供了稳定可靠的数据基础。当源系统随业务而变化时,整合层抗源变化的特性确保整合层模型在大多数据情况下无需变化,下游系统通常也无需变化,或只需微调报表样式或查询条件,即可适应源系统的变化。这样避免了下游系统随源系统变化而进行频繁的升级和调整,既减少应用维护复杂性和工作量,节约开发及维护成本,也减轻业务用户的系统使用负担。同时,根据同业数据平台的建设经验,源系统存在的数据质量问题对源系统、下游系统的业务准确性将产生不同程度的干扰,影响着数据分析的准确性、一致性。

因此,数商云在数据平台建设过程中,将对源系统的数据质量问题进行识别、定位、分析和处理,并将有质量问题的源数据,以报表查询或者分析报告的形式反馈至源系统,使其能准确识别和定位数据质量问题,并能从源头上解决数据质量问题,从而改进和提升源系统的数据质量。源系统数据质量的改进和提升,又可进一步保障数据平台的数据质量。通过如此迭代,最终使源系统、数据平台都形成统一的、高质量的数据,从而进一步保障业务数据应用的准确性和一致性。


<本文由数商云•云朵匠原创,商业转载请联系作者获得授权,非商业转载请标明:数商云原创>

作者:云朵匠 | 数商云(微信ID:shushangyun_com)

这篇关于金融行业IT规划与系统建设,大数据管理平台先行的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/678526

相关文章

基于Python实现一个简单的题库与在线考试系统

《基于Python实现一个简单的题库与在线考试系统》在当今信息化教育时代,在线学习与考试系统已成为教育技术领域的重要组成部分,本文就来介绍一下如何使用Python和PyQt5框架开发一个名为白泽题库系... 目录概述功能特点界面展示系统架构设计类结构图Excel题库填写格式模板题库题目填写格式表核心数据结构

Linux系统中的firewall-offline-cmd详解(收藏版)

《Linux系统中的firewall-offline-cmd详解(收藏版)》firewall-offline-cmd是firewalld的一个命令行工具,专门设计用于在没有运行firewalld服务的... 目录主要用途基本语法选项1. 状态管理2. 区域管理3. 服务管理4. 端口管理5. ICMP 阻断

Windows 系统下 Nginx 的配置步骤详解

《Windows系统下Nginx的配置步骤详解》Nginx是一款功能强大的软件,在互联网领域有广泛应用,简单来说,它就像一个聪明的交通指挥员,能让网站运行得更高效、更稳定,:本文主要介绍W... 目录一、为什么要用 Nginx二、Windows 系统下 Nginx 的配置步骤1. 下载 Nginx2. 解压

如何确定哪些软件是Mac系统自带的? Mac系统内置应用查看技巧

《如何确定哪些软件是Mac系统自带的?Mac系统内置应用查看技巧》如何确定哪些软件是Mac系统自带的?mac系统中有很多自带的应用,想要看看哪些是系统自带,该怎么查看呢?下面我们就来看看Mac系统内... 在MAC电脑上,可以使用以下方法来确定哪些软件是系统自带的:1.应用程序文件夹打开应用程序文件夹

windows系统上如何进行maven安装和配置方式

《windows系统上如何进行maven安装和配置方式》:本文主要介绍windows系统上如何进行maven安装和配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录1. Maven 简介2. maven的下载与安装2.1 下载 Maven2.2 Maven安装2.

使用Python实现Windows系统垃圾清理

《使用Python实现Windows系统垃圾清理》Windows自带的磁盘清理工具功能有限,无法深度清理各类垃圾文件,所以本文为大家介绍了如何使用Python+PyQt5开发一个Windows系统垃圾... 目录一、开发背景与工具概述1.1 为什么需要专业清理工具1.2 工具设计理念二、工具核心功能解析2.

Linux系统之stress-ng测压工具的使用

《Linux系统之stress-ng测压工具的使用》:本文主要介绍Linux系统之stress-ng测压工具的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、理论1.stress工具简介与安装2.语法及参数3.具体安装二、实验1.运行8 cpu, 4 fo

ubuntu20.0.4系统中安装Anaconda的超详细图文教程

《ubuntu20.0.4系统中安装Anaconda的超详细图文教程》:本文主要介绍了在Ubuntu系统中如何下载和安装Anaconda,提供了两种方法,详细内容请阅读本文,希望能对你有所帮助... 本文介绍了在Ubuntu系统中如何下载和安装Anaconda。提供了两种方法,包括通过网页手动下载和使用wg

ubuntu系统使用官方操作命令升级Dify指南

《ubuntu系统使用官方操作命令升级Dify指南》Dify支持自动化执行、日志记录和结果管理,适用于数据处理、模型训练和部署等场景,今天我们就来看看ubuntu系统中使用官方操作命令升级Dify的方... Dify 是一个基于 docker 的工作流管理工具,旨在简化机器学习和数据科学领域的多步骤工作流。

使用Python和SQLAlchemy实现高效的邮件发送系统

《使用Python和SQLAlchemy实现高效的邮件发送系统》在现代Web应用中,邮件通知是不可或缺的功能之一,无论是订单确认、文件处理结果通知,还是系统告警,邮件都是最常用的通信方式之一,本文将详... 目录引言1. 需求分析2. 数据库设计2.1 User 表(存储用户信息)2.2 CustomerO