Redis Bitmap实现日活统计的内存计算与位偏移技巧

日活统计（DAU）是互联网产品最核心的指标之一。传统数据库方案（如 COUNT(DISTINCT user_id)）在用户量巨大时查询缓慢且消耗资源。Redis Bitmap 以其极致的存储效率和超快的计算速度，成为实现日活统计的“神器”。本指南将手把手教你掌握其核心：精确的内存计算和灵活的位偏移管理。

理解基础：Bitmap 是如何工作的

Bitmap 的本质是一个字符串（String），但你可以把它看作一个由无数个“位”（bit）组成的位数组。每一个位只有 0 或 1 两种状态。

1. 设置与查看状态：使用 SETBIT 命令设置某个位的状态，用 GETBIT 命令查看。例如，SETBIT user:login:20231027 100001 1 表示将键 user:login:20231027（代表2023年10月27日的登录情况）中偏移量为 100001 的位设置为 1，表示用户ID为 100001 的用户在该日活跃。

2. 统计活跃用户数：BITCOUNT 命令可以高效地计算一个 Bitmap 中被设置为 1 的位的总数。这正是日活统计的终极目标。

技巧一：精确计算内存消耗

错误的内存估算会导致线上事故。明确计算 Bitmap 的内存占用是部署前的必修课。

核心公式：
$$ \text{内存消耗 (Bytes)} = \frac{\text{最大用户ID (N)}}{8} $$
公式推导：每个用户ID对应1个bit，8个bit组成1个Byte。因此，N个用户理论上需要 $\lceil N / 8 \rceil$ 个字节。但 Redis 的字符串对象本身有额外开销（通常约 56 字节），且分配内存时会按 2 的幂次对齐。

实战计算步骤：

1. 确定最大用户ID：假设你的系统当前最大用户ID为 100,000,000（1亿）。
2. 代入公式计算理论值：
   $$ \frac{100,000,000}{8} = 12,500,000 \text{ Bytes} $$
   换算为MB：12,500,000 / 1024 / 1024 ≈ 11.92 MB。
3. 考虑Redis对象开销与对齐：Redis 为这个键分配的实际内存会大于理论值。实测中，1亿用户ID的Bitmap，内存占用通常在 12.5 MB ~ 16 MB 之间（取决于Redis版本和分配器）。
4. 做出决策：这个开销是否可接受？对于亿级用户，每天一份Bitmap，存储100天仅需约 1.25 GB ~ 1.6 GB 内存，远低于传统方案。

关键行动：在生产环境部署前，使用 DEBUG OBJECT <key> 命令（注意：生产环境慎用）或 MEMORY USAGE <key> 命令（Redis 4.0+）来查看一个已填充数据的Bitmap键的实际内存消耗，并与你的计算结果对比验证。

技巧二：设计与管理位偏移（Offset）

位偏移（offset）是连接用户ID与Bitmap中具体bit位置的桥梁。设计不当会导致空间浪费或逻辑错误。

策略一：直接映射用户ID

这是最直接的方法，将用户ID直接作为偏移量。

• 优点：逻辑简单，使用 SETBIT user:login:20231027 12345 1 时一目了然。
• 缺点：如果用户ID不连续（例如，1, 100, 10000），会造成Bitmap前部大量空间浪费。内存计算取决于最大用户ID，而非用户总数。
• 适用场景：用户ID分布均匀、增长稳定且系统可承受由最大ID决定的内存开销时。

策略二：ID偏移映射（节省内存的关键）

为了节省内存，为用户ID分配一个从0开始连续递增的本地偏移ID。

1. 设计映射表：需要一个独立的Redis Hash或外部数据库来存储 用户真实ID <-> 本地偏移ID 的映射。

   # 为真实用户ID `U_88776655` 分配本地ID `10001`
   HSET user_id_mapping U_88776655 10001

2. 统计时使用本地ID：

   # 记录活跃：先查询映射，再设置Bitmap
   local_id = HGET user_id_mapping U_88776655
   SETBIT user:login:20231027 {local_id} 1

3. 计算优势：此时，内存消耗仅取决于累计用户总数，而非最大用户ID。即使最大真实ID是10亿，但若总用户数只有1000万，Bitmap内存仅需约 10,000,000 / 8 ≈ 1.2 MB，极大节省内存。
4. 管理偏移ID：需要维护一个自增的偏移ID生成器（例如，使用另一个键 INCR next_local_user_id），并在用户注册时完成映射关系的建立。

综合应用：实现日活、周活、月活统计

利用Bitmap的位运算（BITOP），可以高效计算周期活跃用户。

1. 存储每日数据：每天生成一个Bitmap键，如 user:login:20231027。
2. 计算周活跃用户（WAU）：对过去7天的Bitmap执行“或”（OR）运算，统计结果中1的个数。

   # 计算2023年10月21日至10月27日这一周的活跃
   BITOP OR user:wau:20231027 user:login:20231021 user:login:20231022 user:login:20231023 user:login:20231024 user:login:20231025 user:login:20231026 user:login:20231027
   # 获取WAU数值
   BITCOUNT user:wau:20231027

3. 计算月活跃用户（MAU）：同理，将 BITOP OR 的目标键列表扩展为当月所有天的键。
4. 计算留存率：通过 BITOP AND 运算可以轻松计算两日留存等指标。例如，计算27日的用户在28日是否留存：

   # 计算两天都活跃的用户集
   BITOP AND user:retention:27_28 user:login:20231027 user:login:20231028
   # 获取留存人数
   BITCOUNT user:retention:27_28

性能提示：BITOP 操作对于大型Bitmap可能耗时。可在业务低峰期（如凌晨）预先计算好周活跃、月活跃的结果键，并设置合理的过期时间（EXPIRE）。

完整代码示例（Python + redis-py）

下面是一个封装了日活统计核心逻辑的示例类。

import redis

class DAUTracker:
    def __init__(self, redis_client):
        self.r = redis_client
        self.key_prefix = "dau:"
        self.mapping_key = "dau:user_mapping"
        self.next_id_key = "dau:next_user_id"

    def get_or_create_local_id(self, real_user_id):
        """获取或为用户分配一个本地偏移ID"""
        local_id = self.r.hget(self.mapping_key, real_user_id)
        if local_id is None:
            # 分配新ID并存储映射
            local_id = self.r.incr(self.next_id_key)
            self.r.hset(self.mapping_key, real_user_id, local_id)
        return int(local_id)

    def record_login(self, date_str, real_user_id):
        """记录某用户在某日活跃"""
        local_id = self.get_or_create_local_id(real_user_id)
        bit_key = f"{self.key_prefix}{date_str}"
        self.r.setbit(bit_key, local_id, 1)
        # 可为日键设置过期时间，例如保留100天
        # self.r.expire(bit_key, 86400 * 100)

    def get_daily_active_users(self, date_str):
        """获取某日的日活数"""
        bit_key = f"{self.key_prefix}{date_str}"
        return self.r.bitcount(bit_key)

# 使用示例
r = redis.Redis()
tracker = DAUTracker(r)

# 记录用户登录
tracker.record_login("20231027", "user_12345")
tracker.record_login("20231027", "user_67890")
tracker.record_login("20231028", "user_12345") # 第二天再次登录

# 获取统计结果
dau_27 = tracker.get_daily_active_users("20231027")
print(f"2023-10-27 DAU: {dau_27}") # 输出: 2023-10-27 DAU: 2

将偏移ID的计算与Bitmap操作封装在一起，隔离了业务ID与存储细节的耦合，使上层调用变得非常简洁。