山东电子口岸基于biztalk的应用技术解决方案

山东电子口岸基于biztalk的应用技术解决方案内容摘要：

山东电子口岸基于 BizTalk 的调度平台 技术解决方案 169。 版权所有 中国电子口岸数据中心青岛分中心 5 1 调度 平台 框架 调度 平台 总体介绍 BIZTALK SERVER 是山东电子口岸 的 信息处理中心， 通过 集成基础、应用、Web 等 内部 系统 的服务 功能 产生 合力 ，通过 集成数据传输系统进行 远程数据共享。 通过 DB、 MSMQ 数据传输方式与其他系统实现数据交换，使用 DLL 和 Web Service 两种接口方式调用本地应用服务。 数据传输系统 是异地系统数据传输的通道 ，是 最重要数据集散 通道。 系统调度采用 主要 异步工作模式 （也可以使用同步工作模式） ，由输入数据启动 BizTalk 流程，在流程控制下自动调用映射、业务规则和应用服务进行数据处理。 示意图如下： MSMQB iz T a lkDLLWebServiceDB异异异异异异异异异异异异异Biztalk异异异 异 异 异 异 异异 异 异 异异 异 异 异… …异 异 异 异异 异 异 异 异 异 异 异异 异 异 异 异 异 异 异异 异 E R P 异 异异 异 异 异 . . .W e b 异 异 图表 1系统 调度关系示意图 系统 调度 流程 与原理 消息 （即输入数据） 通过 MSMQ 或者物理文件方式 ， 由 BizTalk 系统通过端口适配器 （常用 MSMQ 和 File 方式） 自动接入接收管道（ Receive Pipeline） ；在接收管道中会自动被解密、 备份（注：消息备份由自行研发插件完成）、解析、山东电子口岸基于 BizTalk 的调度平台 技术解决方案 169。 版权所有 中国电子口岸数据中心青岛分中心 6 拆包，形成标准 XML 消息存储到消息数据库（ MessageBox） ； BizTalk 系统会自动调用适当的业务流程去处理消息数据库内的“新”消息， 消息接入业务流程后，会根据业务流程的导向，进行格式转换、信息预定、异常处理等处理过程，或者会被送入应用系统的模块 （ DLL/WebService）进行处理 ，完毕后得到需要输出结果消息，同样存储到消息数据库； BizTalk 系统自动将处理过的结果消息导入发送管道（ Send Pipeline） ；结果消息在 SendPipeLine 内被 序列化、加密（平文本需要 使用自行开发的平文本分发插件 ） 发送到输出端口；完成调度功能。 应用系统端口端口M e s s a geM e s s a geB oxB ox端口端口B 2 B 集成R ecei v e P ipe li n e S end Pi pel in e业务流程Decr y p tt S er ial izeer ial izeS ig nigE n cr y p tcr y t异 异 异 异 异 异数据备份数据备份 P ar searR eso lv eeso lv eP ar t yar t y平文本分发平文本分发E x c e p t io n异 异 异 异 异 异异 异 异 异 异 异 图表 2调度系统总体流程示意图 主要功能 BizTalk 的主要功能就是通过消息传递的方式实现 服务 调度。 BizTalk 接收 数据并将其转换为 XML 消息 格式 ，依照应用的业务流程按照一定的规则调用相应的服务，同时根据不同服务的接口格式对消息进行转换，实现服务调用。 山东电子口岸应用系统所涉及到的服务主要 包括 如下 环节：  报文解析 ， 是指对原始数据进行解析，按照其内在逻辑拆分、识别。 山东电子口岸基于 BizTalk 的调度平台 技术解决方案 169。 版权所有 中国电子口岸数据中心青岛分中心 7  自动 计算，是指按照业务需求，对原始数据进行二次加工，对原始数据进行必要的补充和改进，目的将原始数据再生。  数据 验证，是指原始数据的对再生数据进行业务逻辑、技术、完整性校验，保证再生数据质量。  格式 转换，是指对验证通过的再生数据进行必要的格式转换，产生目的数据，输出合格数据。  信息 预订，是指根据一定规则对信息进行预订。  信息发布， 是指 将信息处理结果发布给相应的系统。  计费服务，是指对有偿处理的数据进行计费。  日志服务， 是指以日志方式跟踪信息处理过程，以实现有 效监控的服务。  异常处理，是指异常情况下的处理服务。 设计 原则 BizTalk 调度系统将起到山东电子口岸的核心作用， 其 数据处理能力 将直接决定山东电子口岸整体 性能 ，因此在开发该系统过程中 应该 考虑如下因素： 1） 设计简约，避免冗杂 核心调度层不宜过于冗杂，应该以简约为主，分散风险点。 BizTalk 系统本身主要负责消息接收、架构验证、消息映射转换、调用服务、消息输出功能，复杂业务逻辑原则上应该封装在应用服务中，并注意合理划分服务。 BizTalk 流程设计明晰， 避免流程过于复杂，导致性能下降。 2） 稳健 高效，并发控 制 要求能够 稳健、 高效运行，避免成为整个系统的瓶颈。 在 不会对数据库、计算机资源造成威胁的前提下， 采用并发运行控制，充分利用计算机资源，发挥潜能。 山东电子口岸基于 BizTalk 的调度平台 技术解决方案 169。 版权所有 中国电子口岸数据中心青岛分中心 8 2 技术规范 流程设计规范 适配器 目前 BizTalk2020 本 身已 经支 持 FILE 、 HTTP 、 SMTP 、 SOAP 、MSMQ/MSMQT、 FTP、 SQL 和 EDI 协议消息 ，更多内容请参考微软帮助如下链接： ms 根据山东电子口岸建设需要，通常情况下，建议推荐使用 MSMQ 和文件适配器作为消息接收方式，原则上： （ 1） 接收适配器。 采用 MSMQ 进行消息接收，如果在 BizTalk 服务器本机允许使用文件适配器接收消息，否则不推荐使用。 其他适配器原则上不鼓励使用。 （ 2） 发送适配器。 采用 XML 文本方式建议使用 MSMQ 适配器；平文本文件方式须使用自行开发的组件输出；另外，向企业数据传输系统发送的报文，根据约定由自行开发 组件直接写入数据库，具体请参考“开发设计 指南 ”一节。 备份 与跟踪 为保证数据的完整性和可恢复性，必须具备消息备份功能。 消息备份能够保存接入系统的消息，消息备份的目的在于提供技术分析和业务分析，为数据恢复和跟踪提供底帐。 消息备份须使用自行开发的组件。 格式转换 消息格式转换使用架构映射完成，源架构与目的架构通过一个映射完成字段级对应，在映射界面使用连线直接关联映射字段，支持字段计算和自定义函数处理等功能。 详细资料请参考微软帮助链接： 山东电子口岸基于 BizTalk 的调度平台 技术解决方案 169。 版权所有 中国电子口岸数据中心青岛分中心 9 mshtm 业务规则 业务规则可以简化流程，主要实现会经常变化的业务规则，由于业务规则和BizTalk 程序集分开，业务规则需要从开发环境导出、修改后单独部署，建议不宜过度使用业务规则。 建议在会临时改变情况下使用业务规则，例如某个功能暂时有用，一定时间后即取消，则可以使用业务规则，待到期 后修改业务规则，停用某功能。 应用服务调用 报文解析 报文解析是山东电子口岸的一项重要功能，通常情况下，一，可以采用 XML架构文件直接能够拆分字段数据，主要应用于 XML 格式消息和简单平文本格式消息；二，使用代码解析，对于定义架构复杂、难度较大的平文本文件和适合于代码解析的 XML 文件，使用代码解析。 报文解析主要有三个步骤：（ 1）解析字段数据，由流数据解析为字段数据，程序可识别；（ 2）简单验证，验证字段主键必填项、必要的数据类型验证等，主要目的是为报文入库或者进一步处理做好基础；（ 3）报文字段解析入库，一般情况下报文解析后需要写入数据库。 自动计算 自动计算主要是针对解析后数据不足，进行必要补充、修正和优化，改善数据质量。 自动计算通常情况下是以单独服务提供，或者简单情况下，使用架构映射和映射本身的计算功能实现。 多数情况下，自动计算会涉及与数据库中参数等相关，推荐使用代码实现。 数据验证 数据验证范围比较 广，会在多个环节或多或少涉及到数据验证问题，在此特指需要根据预先制定的大量业务、技术规则进行的集中数据验证，对于简单的验山东电子口岸基于 BizTalk 的调度平台 技术解决方案 169。 版权所有 中国电子口岸数据中心青岛分中心 10 证可以使用架构或者是在其他功能中附带验证。 数据验证推荐使用代码实现。 格式转换 由于 各类业务系统间开发技术、人员、时代限制等因素，并且缺乏业界统一标准，各类系统间数据接口的格式不尽相同。 通过 格式转换 服务将消息转换为接口规定的格式，从而实现对不同服务的调用。 信息预定 信息预定主要是为提供个性化信息服务的一种模式。 信息预定过程分为三个接口，即：预定接口、事件接口、预定结果接口。 预定接口 ：预 定信息导入接口，通常指明要信息预定依据和相关附加信息。 事件接口 ：事件数据导入接口，是指被预定信息到来后的导入接口。 预定结果接口 ：预定成功后，产生预定结果，输出结果接口。 文件分发 文件分发是根据对产生文件输出，目前一般情况下有如下几种分发方式： (1)适配器自动分发，通常使用 MSMQ 适配器输出 XML 文件（注：不能完成平文本输出）；（ 2）使用自定义组件分发，自定义组件输出到数据库或者 MSMQ，多用于平文本输出。 日志服务 日志服务是通常调用的服务方式，主要实现对操作的监控，可以把后台操作关键点以日志方式记录 ，供相关人员监控、跟踪。 具体日志服务功能请参考基础系统相关文档。 计费服务 计费服务是山东电子口岸通用的服务接口，是针对有偿数据处理服务的计费接口，又业务逻辑设定计费规则，调用计费服务自动完成计费。 具体计费服务功能请参考计费系统相关文档。 山东电子口岸基于 BizTalk 的调度平台 技术解决方案 169。 版权所有 中国电子口岸数据中心青岛分中心 11 异常 处理 异常处理的主要功能是保障业务流程的顺利执行，避免因数据异常或执行过程异常造成系统瘫痪、堵塞以及数据丢失等情况。 异常处理提供异常记录功能，能够记录异常事件环节和异常。