|
面对庞大的数据量，怎样优化查找效率，供给快速且准确的数据分析结果，是数据制品经理需要深入思考的问题。本文将探讨几种提高挑数据查找效率的策略，帮忙提高用户体验，并为数据制品的设计与优化供给指点。
近期面试一个朋友的时候，聊到了他负责的大数据取数平台。平台的重点是供给给业务、分析师等运用，支持她们在现成报表无关联数据时，快速查找和分析自己想要的数据。
例如对dau做各样维度下钻分析，来定位数据显现波动的原由。或在业务复盘的时候，查找某种口径下各个业务线带来的收入。
这位朋友重点负责制品设计以及推广，但当问到怎样加强查找效率，以便给到用户更好的查找体验时，能聊出来的东西就比较少了。
其实做为数据制品，尤其是偏工具的数据制品，应该对工具的规律有基本认识，这般能够帮忙自己更好的进行制品设计和规划。
这篇就和大众聊一聊，当面对大数据量时，咱们有那些方法来进行优化，从而给到用户更好的体验。
1、冷热数据
非常多时候业务整体的数据量很大，但常用的热数据很可能只是其中一部分。咱们能够基于实质的运用需要，只支持部分数据的查找，从而减少许据量，加强查找效率。
例如，针对视频APP来讲，揭发关联的数据量一般都比很强，大众经常会查找有些IP的“揭发 -> 点击 -> 播放”的链路数据。
可是对业务的实质查找状况做进一步分析就会发掘，平常需要关注并查找的IP都数都是近期比较热的IP，并不是所有的IP都需要做类似查找。
此时就可以只支持这些比较热的IP的查找，当真的有用户需要查找其它IP的时候，再把数据加载进来。
2、抽样加速
在实质的数据运用过程中，有些分析不需要得到非常准确的数据结果，而是能够接受必定的误差。
例如一个应用的dau每日都在大几千万，咱们要分析一下近期一月dau的变化趋势。此时其实就不需要非常精确，每日的结果存在十几或几十的误差，对最后分析无什么影响。此时就能够对数据进行抽样，既满足的业务需要，又加快了查找速度，节省了存储资源。
3、预聚合
相信大众必定晓得28法则，在运用数据的时候一样亦存在类似的状况。例如一个指标有A、B、C、D、E一共5个维度，但运用的时候并不是每种维度组合都会用到，可能通常只会用到ABC和ABCD的组合。
这种状况下咱们就能够进行预聚合，提前把ABC和ABCD的结果计算好，而不是用户选取之后从头起始计算，从而大大加强查找速度。
咱们非常多的报表便是这种状况，用户每次来查找的状况相对固定，运用预聚合就能够大幅提有效率。
除了以上平常的有些方式外，还有有些其它的方式，例如bucket加速、任务拆分等等。总之，针对一个查找工具来讲，查找速度对用户的体验影响非常打。做为数据制品，要明白查找的基本原理，并且能结合业务实质状况给出可行的制品方法
本文由 @暮雪云然 原创发布于人人都是制品经理。未经作者许可，禁止转载
题图来自Unsplash，基于CC0协议
该文观点仅表率作者自己，人人都是制品经理平台仅供给信息存储空间服务返回外链论坛：www.fok120.com，查看更加多
责任编辑：网友投稿
| 
发表于 2024-8-25 18:45:22
