Apache Kylin 在小米大数据中的应用

CrazyPM产品经理社区阅读数 1715 2019-08-22 16:14:06

本文来自 Apache Kylin Meetup 北京站上小米大数据平台 OLAP 负责人陈学辉的分享。

小米拥有众多产品线，业务遍及全球 80 多个国家和地区，数据规模大，对查询响应时间要求高。本次分享主要介绍了 Kylin 在小米内部的使用情况，包括适用的业务场景，遇到的挑战，源自业务实践中的功能优化点。

小米业务场景

小米的产品业务线包含硬件、互联网、电商、金融、AI等等，绝大部分都有非常强烈的数据分析和统计需求。小米在不断进行全球化的商业布局，在全球各地都有自己相关的硬件、互联网等业务在开展。

下图为小米目前的主要业务数据分析场景。

下图为小米业务上对数据的需求。

在性能层面，数据规模大，且对查询响应时间要求高。

在系统层面，小米的大部分场景，时效性要求不是特别高，一般来说天级或小时级的时效性，就能够满足业务大部分的需求。但对数据系统的稳定性要求非常高。高并发查询目前来看，需求中等。

在功能层面，对多表关联这种场景，需求中等。Schema 灵活性在用户分析的场景要求会比较高，在其他的场景要求适中。精确去重在绝大部分场景之中是强依赖的需求，所以我们非常注重这一块的能力。

在运维层面，我们比较关心数据系统的扩展性，以及多租户性，保证资源隔离、各个业务不互相干扰。

简单给大家介绍小米内部的几种主要的数据分析和统计系统。