日志分析常见应用及场景调研笔记
Table of Contents
1 创业公司分析
1.1 Sumologic
1.1.1 数据
Sumologic的原始数据为: 日志数据
1.1.2 应用场景
官网上是这样解释机器学习的应用场景1: Machine learning applies adaptive algorithms to cluster patterns in your data and surfaces anomalies.
理解过来，Sumologic的应用场景应该是:
- 找到异常点(异常检测)
- 从数据中找到异常相关的数据
1.1.3 应用挑战
- 数据并非结构化的，想要直接解析日志数据很难。解决办法：应用机器学习去发现模式、探测异常点并且比较时间周期。
- 指数级的数据增长
- 不具备自适应能力：很多工具都不能学习历史模式，并且要求人工参与才能获取到比较好的结果
1.1.4 有什么用？
- 根据用户的行为模式（包括季节性和周期性）确定应用程序开发工作的优先级。
- 基于多维比较，模式发现和异常检测，快速定位问题
- 快速发现安全威胁并了解威胁的优先级，并且无需人工参与
1.1.5 使用的技术
- 聚类： 挖掘模式并且从非大量非结构化的数据中发现异常
- Baselining： 定义并发现用户行为或统计学上的baseline， 并且能够实时和这些baseline进行比较
- 统计分析： 依据统计学来发现异常点
- 回归分析： 拟合过去数据，预测未来走势
1.1.6 展现
- logReduce: logReduce的作用是从非结构化的数据中发现某些数据结构，并将这些数据聚合起来。同时还允许用户下砖数据。
- logCompare: logCompare允许用户选取两个不同时间段，比较这两个时间段中的 模式增加/减少情况