什么是热数据探测?

懂站帝 分类:百科

热数据,比如可以是半年以内的数据,用户经常会查询它们,适合放在数据库中存储,比如MySql、MongoDB和HBase

如果数据也要像垃圾一样分类,热数据算哪类呢?

大家好,今天分享一个有点儿干的技术知识。

大家知道,各种网站、应用的运行离不开数据的支撑,尤其对于企业来说,业务数据就是它的生命。

但有时,将所有数据堆成一坨、统一处理可能无法满足我们对性能和存储空间等要求。因此,我们需要对数据进行分类处理,以适应不同的业务需求和应用场景。

其中,有一种划分方式是将数据分为 “热数据”、“冷数据”,甚至还有 “暖数据”!

就和垃圾分类一样一样的~

什么是热数据探测?

先来聊一聊什么是热数据吧!

什么是热数据?

顾名思义,热数据是指 很热门、频繁被访问 的数据。

比如某度热榜上的新闻,可能每秒都会有成千上万次的访问量。

什么是热数据探测?

根据热数据的特点,又可以分为两类:

  • 有预期:数据成为热门是在意料之中的,比如提前预告的大促活动中由网红代言的爆款商品,某宝的双十一购物节就是最好的例子。
  • 无预期:数据的访问量突然飙升!可能是受到了人为恶意攻击、网络爬虫,或者是不经意间突然火爆的内容。比如突然出现了一个大新闻,某浪微博还没来得及做好防护,可能就炸了。

为了应对热数据,通常我们会选用缓存技术,将数据以 K / V(键值对)的方式提前存储到内存中。

键值对

当我们需要访问缓存数据时,需要根据一个 key 字符串,来找到对应的值。

频繁被访问的 key,又称为热 key,热 key 是一个广泛的概念,不仅仅局限于缓存系统,例如以下这些都是热 key:

  1. 数据库中被频繁访问的主键,如爆款应用的 appId
  2. K / V 缓存系统中经常被访问的 key
  3. 恶意攻击、机器人刷的请求信息,如用户的 userId、机器 IP 等
  4. 频繁被访问的接口地址,如 app 信息查询 /app/query
  5. 统计单个用户访问某接口的频率,如 userId + /app/query
  6. 统计某台机器访问某接口的频率,如 IP + /app/query
  7. 统计某用户访问某接口特定内容的频率,如 userId + /app/query + appId

了解了啥是热数据后,我们再来聊聊热数据探测技术,即 “找出热数据” 的技术。

回复

我来回复
  • 暂无回复内容