首页 > 新闻资讯 > 国研观点

新闻资讯

NEWS AND INFORMATION
国研观点

基于大数据技术信用风险评价系统设计(二)

发布时间:2015-09-18 点击:

1、平台架构设计
系统的大数据库、融资服务系统、风险缓释系统几部分相互结合,共同支撑了系统的运行,并通过系统页面进行对外的信息展示。
系统通过各种途径采集到的数据先统一进入系统的大数据库,经过清洗、处理后转化为结构化、规范化的数据,并被分类存储,用于实现两大功能:一是为系统融资服务过程中资产包的构建提供数据支持,二是为系统页面展示提供中小企业的各类数据信息。
大数据库、融资服务系统、风险缓释系统这几部分构成了系统的内部运行体系,而外部的系统参与主体,主要是通过系统页面来进行各项操作。融资交易双方在系统页面提交数据、查询融资进度、管理资金、监控风险等,没有融资需求的中小企业也可从系统了解产业资讯、获得信息服务。
2、平台功能设计
(1)信用信息云计算中心
1)Hadoop大数据处理

  •  资源存储服务

通过科技情报服务系统可以对用户的本地文件进行基本的操作,包括了文件的打开关闭操作,文件的创建和删除的操作等。客户端通过网络访问系统门户,系统在与HDFS分布式文件系统进行通信的过程中,需要定义一些通信的协议,以及通信的接口。用户通过客户端对底层的数据块进行操作的信息就会通过客户端与底层的HDFS之间的通信连接过程来完成。在云存储服务系统的结构模型中,云存储服务供应商只需要对云存储服务系统进行有效的维护和管理,云存储服务供应商可以将其人力、物力用在云存储服务系统的应用开发、云存储服务系统的框架优化、云存储服务系统数据的容错处理、以及提供给云存储系统用户的接口开发等方面,这有利于云存储服务系统更加贴近用户的现实需求,达到提供高效、安全、可扩展性好的存储服务目的。

  •  高性能计算服务

当用户在调用后台计算节点集群进行高性能计算时,科技情报服务系统将调用Hadoop架构中MapRe-duceAPI提供Map和Reduce处理。首先,需要将要执行的MPI程序复制到Hadoop框架中的Master和每一台Worker机器中,由Master选择由哪些Worker机器来执行Map程序和Reduce程序。其次,分配所有的数据块到执行Map程序的Worker机器中进行Map(切割成小块数据),然后将Map后的记录存入到Worker机器。最后,执行Reduce程序的Worker机器,远程读取每份Map结果,进行混合、汇整与排序,同时执行Reduce程序。最后,将结果输出给用户。
2)数据库加密引擎
加解密引擎位于应于程序与服务器之间,是实现数据加密及安全的核心模块。负责在后台完成加解密,对用户来说是透明的。在系统运行时驻留内存,通过内部接口与用户程序和数据库通讯,密钥引擎又分为本地引擎和专用引擎。专用引擎中包含一个专门用于密码计算的CPU般来说,专用引擎是经过特别设计制造的电子设备,可以通过PCI等接口或者SSL等协议经由网络使用。在一般的数据库系统中,都釆用本地引擎,因为其不需要单独配置一个硬件接口,实现容易,成本也低。SUN公司的Java加密扩展(Java Cryptography Extension—JCE)中默认的提供者对本地引擎算法做了实现。
(2)信用信息云服务系统
1)HTTPS(SSL)加密协议
SSL协议位于TCP/IP协议与各种应用层协议之间,为数据通讯提供安全支持。SSL协议可分为两层:SSL记录协议(SSL Record Protocol):它建立在可靠的传输协议(如TCP)之上,为高层协议提供数据封装、压缩、加密等基本功能的支持。SSL握手协议(SSL Handshake Protocol):它建立在SSL记录协议之上,用于在实际的数据传输开始前,通讯双方进行身份认证、协商加密算法、交换加密密钥等。保证主机通讯过程中数据不被篡改和泄密,保证通讯服务器的身份。
2)反向代理负载均衡技术

  •  反向代理配置

反向代理方式与普通的代理方式有所不同,标准代理方式是客户使用代理访问多个外部Web服务器,反向代理方式是多个客户使用它访问内部Web服务器,使用反向代理服务器可以将请求转发给内部的Web服务器,从而提升静态网页的访问速度。因此可以使用这种技术,让代理服务器将请求均匀转发给多台内部Web服务器之一上,从而达到负载均衡的目的。使用反向代理的好处是,可以将负载均衡和代理服务器的高速缓存技术结合在一起,提供有益的性能,具备额外的安全性,外部客户不能直接访问真实的服务器。并且可实现较好的负载均衡策略,将负载可均衡分给内部服务器,不会出现负载集中到某个服务器的偶然现象。

  •  负载均衡的双机热备

正常情况下,两台负载均衡服务器全部处于活动状态,对外提供服务。通过两台服务器之间的互相检测机制,当主服务器上的检测程序发现自身无法访问时,停止绑定虚拟IP,改由备用服务器绑定虚拟IP,同时由主服务器给网关发送Arping包,保证了网关上IP、MAC地址对应关系能够马上更改,能够做到强行接管虚拟IP。

  •  负载均衡服务器上设置缓存,加快服务器响应速度

对于修改实时性要求不高的图片、Flash、CSS样式文件、JavaScript文件,可以在反向代理(负载均衡)服务器上设置缓存,不用每次请求都转发到后端Web服务器,加快了响应速度。同时也可以减少与后端Web服务器的连接数,提高了处理性能。
 

分享: