大数据

规范文件的检查机制二

2018-05-07 15:07:45　|　来源：中培企业IT培训网

(3)文件完备性检查主要是指接收方应用系统应根据数据文件所对应的核对文件中的字段信息（如文件名、文件大小、文件个数等），对数据文件的实际信息与核对文件中的内容进行验证，校验数据文件的完整性，可避免发生文件仅传输了一部分的问题。该问题若不能被及时发现，则将导致接收方应用系统遗漏加载部分信息，进而引发业务问题（如统计指标出错等）。

(4)文件重复性检查主要是指数据文件重复，接收方应用系统应进行数据重复控制检查，以保证在一定业务周期内避免数据重复处理（重加载）。接收方应用系统可通过增加相关业务控制信息实现数据文件重复控制检查。例如：可通过数据字段组合“提供方标识+地区号标识+日期+每天交换的序号”来保证数据文件加载作业的唯一性，避免重复处理。

(5)文件内容检查接收方应用系统在文件加载后、实际使用前可通过各种措施进行一定程度的文件内容检查，检查内容可包括：数据类型检查、业务逻辑检查等。数据类型检查主要是针对文件中各字段数据类型的正确性进行检查；业务逻辑检查主要是根据产品业务逻辑规则逐条对文件记录的合法性进行检查。错误记录可写入日志供后序排查。

标签：数据文件安全