数据预处理

智能故障管理和指标管理产品需要采集第三方数据，对这些数据采取大数据分析、数据挖掘、AI等技术，来实现数字化运营。因此，对于从不同的数据源中获取到的数据格式和内容都存在较大差异。通过数据预处理功能，把不同数据格式和内容转化为系统能识别的数据格式，即标准化标签。除此之外，该功能还可以过滤原始事件。数据预处理提供对数据格式和内容的转化，目前支持“直接映射”、“字段提取”、“字段符合”、“脚本提取”、“扩展表映射”。

在左侧导航栏中选择管理>集成>数据预处理，进入数据预处理页面。

告警事件

对于告警事件的预处理，需要配置数据过滤、数据标准化与丰富。

配置数据过滤

• 规则名称：事件预处理规则的名字。
• 数据源类型：不同的数据源类型对应的事件预处理规则不同。
• 数据过滤选项卡，支持三种过滤方式。
  • 通过key过滤：下拉框为“包含”和“不包含”，后一个为文本框，输入包含的key，可以输入多个key，按回车键即可。
  • 通过Key-value过滤：输入key，然后在value中，选择不同的条件表达式，匹配不同的value值内容。
  • 通过脚本过滤：支持FreeMarker语法。

数据标准化与丰富

经过数据标准化与丰富处理后，将您上传的数据以系统可识别的数据元素建立起对应关系，这样有助于数据标准化过程并使预期的数据更清晰和易于理解。

数据映射

• 标签列：带“*”星号的标签，为必填选项。

• 用于算法：说明该标签是否用于“告警收敛”的特征。

• 映射规则，支持4种映射配置，分别是：直接映射、字段提取、字段复合和groovy脚本映射。

  • 直接映射：接入到的数据字段与标准化的字段含义一致，则直接匹配。
  • 字段提取：从接入到的数据字段对应的值中，通过“正则表达式”提起出想要的字段进行一一对应。
  • 字段符合：接入的多个数据字段以组合的方式，与标准化标签一一对应。
  • groovy脚本映射：通过支持复杂的匹配逻辑，可以通过编写Java代码实现。

• 操作列：丰富功能，目前用于通过扩展表的方式，来丰富事件标签。如下图：

  • 扩展表：选择用于扩展的表名。

  • 查询标签：从前一个页面带过来的“标签”，不可编辑。

  • 关联字段：即通过“查询标签”，关联某一个字段，通过该字段，在扩展表中进行关联结果查询。

  • 结果标签：默认会把扩展表中的“结果字段”都显示出来，鼠标悬浮到某一个标签，可以对其进行删除操作。也可以点击“+”添加按钮，添加结果标签。

  • 点击确定，则会将该结果标签展示在数据映射列表中。如下图：

    

用户可以对这些返回的结果标签重新命名、添加描述信息、设置该标签是否用于算法。

扩展映射

• 点击新增按钮，添加扩展标签。添加时，会出现下拉框，内容为系统已经预定义好的标签。用户可以直接使用。如果需要自定义标签，在文本框中直接输入值即可。

• 其余内容，和数据映射一致。

变更事件

对于变更事件的预处理，需要配置数据隐藏、数据标准化与丰富。

数据隐藏

用户原始的变更事件数据中如果有敏感信息，可以进行隐藏处理。如果是多个需要隐藏的数据项，请用英文逗号分隔。

数据标准化与丰富

经过数据标准化与丰富处理后，将您上传的数据以系统可识别的数据元素建立起对应关系，这样有助于数据标准化过程并使预期的数据更清晰和易于理解。

• changeId一般指变更工单号。

• 在数据映射中，只有target和affectedConfig才可以进行丰富，单击操作列的丰富，可通过扩展表的方式来丰富事件标签。

• 单击操作列的清除，可清除startTime、endTime和affectedConfig标签。

• 单击数据映射右上角的排序按钮，可按住鼠标对标签进行移动，单击确定可保存排序结果。

• 单击扩展映射右上角的新增按钮，添加扩展标签。添加时，会出现下拉框，内容为系统已经预定义好的标签，用户可以直接使用。如果需要自定义标签，在文本框中直接输入值即可。