浅谈Node框架接入ELK实践总结

一般的，我们在打印输出日志的时候，只须关注事件名称及数据字段即可。其他，我们可以在打印日志的方法中，通过访问上下文统一获取，计算，输出。

2. 日志改造输出

前面我们提到了如何定义一个日志事件， 那么，我们如何基于已有日志方案做升级，同时，兼容旧代码的日志调用方式。

升级关键节点的日志

// 改造前
logger.info('client-init => ' + JSON.stringfiy({
 url,
 ip,
 browser,
 //...
}));

// 改造后
logger.info({
 event: 'client-init',
 url,
 ip,
 browser,
 //...
});

兼容旧的日志调用方式

logger.debug('checkLogin');

因为 winston 的 日志方法本身就支持 string 或者 object 的传入方式, 所以对于旧的字符串传入写法，formatter 接收到的实际上是{ level: 'debug', message: 'checkLogin' }。formatter 是 winston 的日志输出前调整日志格式的一道工序， 这一点使我们在日志输出前有机会将这类调用方式输出的日志，转为一个纯输出事件 -- 我们称它们为raw-log事件，而不需要修改调用方式。

改造日志输出格式

前面提到 winston 输出日志前，会经过我们预定义的formatter，因此除了兼容逻辑的处理外，我们可以将一些公共逻辑统一放在这里处理。而调用上，我们只关注字段本身即可。

如何提取元字段，这里涉及上下文的创建与使用，这里简单介绍一下 domain 的创建与使用。

//--- middlewares/http-context.js
const domain = require('domain');
const shortid = require('shortid');

module.exports = (req, res, next) => {
 const d = domain.create();
 d.id = shortid.generate(); // reqId;
 d.req = req;
 
 //...

 res.on('finish', () => process.nextTick(() => {
 d.id = null;
 d.req = null;
 d.exit();
 });

 d.run(() => next());
}

//--- app.js
app.use(require('./middlewares/http-context.js'));

//--- formatter.js
if (process.domain) {
 reqId = process.domain.id;
}

这样，我们就可以将 reqId 输出到一次请求中所有的事件, 从而达到关联事件的目的。

二、日志采集

现在，我们知道怎么输出一个事件了，那么下一步，我们该考虑两个问题：

1. 我们要在哪里输出事件？
2. 事件要输出什么细节？

换句话说，整个请求链路中，哪些节点是我们关注的，出现问题，可以通过哪个节点的信息快速定位到问题？除此之外，我们还可以通过哪些节点的数据做统计分析？

结合一般常见的请求链路（用户请求，服务侧接收请求，服务请求下游服务器/数据库（*多次），数据聚合渲染，服务响应），如下方的流程图

流程图

那么，我们可以这样定义我们的事件：

用户请求

下游依赖

一些建议

请求下游的请求体和返回体有固定格式， e.g. 输入：{ action: 'getUserInfo', payload: {} } 输出: { code: 0, msg: '', data: {}} 我们可以在事件输出 action，code 等，以便后期通过 action 检索某模块具体某个接口的各项指标和聚合。

一些原则

保证输出字段类型一致 由于所有事件都存储在同一个 ES 索引， 因此，相同字段不管是相同事件还是不同事件，都应该保持一致，例如：code不应该既是数字，又是字符串，这样可能会产生字段冲突，导致某些记录（document）无法被冲突字段检索到。ES 存储类型为 keyword, 不应该超过ES mapping 设定的 ignore_above 中指定的字节数（默认4096个字节）。否则同样可能会产生无法被检索的情况三、ES 索引模版定义

这里引入 ES 的两个概念，映射(Mapping)与模版(Template)。

首先，ES 基本的存储类型大概枚举下，有以下几种

一般的，我们不需要显示指定每个事件字段的在ES对应的存储类型，ES 会自动根据字段第一次出现的document中的值来决定这个字段在这个索引中的存储类型。但有时候，我们需要显示指定某些字段的存储类型，这个时候我们需要定义这个索引的 Mapping, 来告诉 ES 这此字段如何存储以及如何索引。

e.g.

还记得事件元字段中有一个字段为 timestamp ？实际上，我们输出的时候，timestamp 的值是一个数字，它表示跟距离 1970/01/01 00:00:00 的毫秒数，而我们期望它在ES的存储类型为 date 类型方便后期的检索和可视化, 那么我们创建索引的时候，指定我们的Mapping。

PUT my_logs
{
 "mappings": {
 "_doc": { 
 "properties": { 
 "title": {
 "type": "date",
 "format": "epoch_millis"
 }, 
 }
 }
 }
}

但一般的，我们可能会按日期自动生成我们的日志索引，假定我们的索引名称格式为 my_logs_yyyyMMdd （e.g. my_logs_20181030）。那么我们需要定义一个模板（Template），这个模板会在（匹配的）索引创建时自动应用预设好的 Mapping。

PUT _template/my_logs_template
{
 "index_patterns": "my_logs*",
 "mappings": {
 "_doc": { 
 "properties": { 
 "title": {
 "type": "date",
 "format": "epoch_millis"
 }, 
 }
 }
 }
}

小结

至此，日志改造及接入的准备工作都已经完成了，我们只须在机器上安装 FileBeat -- 一个轻量级的文件日志Agent, 它负责将日志文件中的日志传输到 ELK。接下来，我们便可使用 Kibana 快速的检索我们的日志。