hll()(聚合函数)
hll()
函数是用于估计一组值中的唯一值的一种方法。 它通过以下方式来实现上述目的:使用 dcount
函数计算一组数据的 summarize 运算符内用于聚合的中间结果。
注意
此函数与 summarize 运算符结合使用。
提示
- 请使用 hll_merge 函数合并多个
hll()
函数的结果。 - 请使用 dcount_hll 函数计算
hll()
或hll_merge
函数的输出中的非重复值数目。
重要
hll()、hll_if() 和 hll_merge() 的结果可以进行存储,并在以后进行检索。 例如,你可能想要创建每日唯一用户摘要,然后就可以将其用于计算每周计数。 然而,这些结果的精确二进制表示形式可能会随时间而改变。 无法保证这些函数会为相同的输入生成相同的结果,因此不建议依赖它们。
语法
hll
(
expr [,
准确度])
详细了解语法约定。
参数
客户 | 类型 | 必需 | 说明 |
---|---|---|---|
expr | string |
✔️ | 用于聚合计算的表达式。 |
accuracy | int |
该值用于控制速度与准确度之间的平衡。 如果未指定,则默认值为 1 。 有关受支持的值,请参阅估计准确度。 |
返回
返回在整个组中对 expr 进行非重复计数的中间结果。
示例
在下面的示例中,hll()
函数用来估计 StartTime
列的每个 10 分钟时间箱内 DamageProperty
列的唯一值的数目。
StormEvents
| summarize hll(DamageProperty) by bin(StartTime,10m)
显示的结果表仅包括前 10 行。
StartTime | hll_DamageProperty |
---|---|
2007-01-01T00:20:00Z | [[1024,14],["3803688792395291579"],[]] |
2007-01-01T01:00:00Z | [[1024,14],["7755241107725382121","-5665157283053373866","3803688792395291579","-1003235211361077779"],[]] |
2007-01-01T02:00:00Z | [[1024,14],["-1003235211361077779","-5665157283053373866","7755241107725382121"],[]] |
2007-01-01T02:20:00Z | [[1024,14],["7755241107725382121"],[]] |
2007-01-01T03:30:00Z | [[1024,14],["3803688792395291579"],[]] |
2007-01-01T03:40:00Z | [[1024,14],["-5665157283053373866"],[]] |
2007-01-01T04:30:00Z | [[1024,14],["3803688792395291579"],[]] |
2007-01-01T05:30:00Z | [[1024,14],["3803688792395291579"],[]] |
2007-01-01T06:30:00Z | [[1024,14],["1589522558235929902"],[]] |
估计准确度
此函数使用 HyperLogLog (HLL) 算法的变体,该算法对集基数进行随机估算。 该算法提供一个“旋钮”,可用于平衡每个内存大小的准确度和执行时间:
精确度 | 错误 (%) | 条目数 |
---|---|---|
0 | 1.6 | 212 |
1 | 0.8 | 214 |
2 | 0.4 | 216 |
3 | 0.28 | 217 |
4 | 0.2 | 218 |
注意
“条目数”列是 HLL 实现中 1 字节计数器的数目。
如果集基数足够小,则该算法包括以下有关执行理想计数(零错误)的规定:
- 当准确度等级为
1
时,将返回 1000 个值 - 当准确度等级为
2
时,将返回 8000 个值
错误边界基于概率,而不是基于理论界限。 值是错误分布的标准偏差 (sigma),99.7% 的估计值的相对误差小于 3 x sigma。
下图显示所有受支持的准确度设置的相对估计误差的概率分布函数,以百分比为单位: