计算年龄区间与评分的相关性：将文本型年龄段标准化为数值并求皮尔逊相关系数

本文介绍如何将非数值型年龄分组（如“up to 25”“65 and older”）统一规范化为数值区间，再通过计算区间中位数代表该组年龄，最终与对应评分进行皮尔逊相关性分析。

本文介绍如何将非数值型年龄分组（如“up to 25”“65 and older”）统一规范化为数值区间，再通过计算区间中位数代表该组年龄，最终与对应评分进行皮尔逊相关性分析。

在进行年龄与用户评分（如CD消费满意度）的相关性分析时，原始数据常以分类式年龄段（如 "up to 25"、"65 and older"）形式存在——这类字符串无法直接参与统计建模。要计算皮尔逊相关系数（Pearson correlation），两个变量必须均为连续型数值。因此，核心步骤是：将文本年龄段映射为合理数值表示 → 提取代表性年龄值（推荐使用区间中点）→ 与评分配对计算相关性。

以下为完整实现流程（基于 Python + pandas + SciPy）：

✅ 步骤 1：标准化年龄字符串格式

首先统一不规范的表达：

YouArt

YouArt是个一站式AI图像与视...

• "up to 25" → "0-25"（明确下界）
• "65 and older" → "65-100"（需根据业务设定合理上界；若知最大年龄为90，可改为 "65-90"）

import pandas as pd
from scipy.stats import pearsonr

# 原始数据
Agelst = ['65 and older', '55-64', 'up to 25', '45-54', '35-44', '25-34']
Ratelst = [38.45, 17.66, 46.56, 24.95, 33.54, 37.21]

df = pd.DataFrame({'Age_Group': Agelst, 'Overall_Rating': Ratelst})
df.replace({'up to 25': '0-25', '65 and older': '65-100'}, inplace=True)

✅ 步骤 2：解析区间并计算中位年龄

对每个 "X-Y" 格式字符串拆分，提取上下界整数，再计算中点作为该组的代表性年龄值（即 Mean_Age = (lower + upper) / 2）。注意：
⚠️ 关键前提：所有年龄段必须互斥且覆盖连续整数（如 "25-34" 表示 25–34 岁，含 25 不含 35；若原意为包含 35，应写作 "25-35"）。本例中 "25-34" 已符合常规解释，无需调整。

def parse_age_range(s):
    try:
        low, high = map(int, s.split('-'))
        return low, high
    except ValueError:
        raise ValueError(f"无法解析年龄区间: '{s}'")

# 解析上下界
bounds = df['Age_Group'].apply(parse_age_range)
df['Lower_Age'] = [b[0] for b in bounds]
df['Upper_Age'] = [b[1] for b in bounds]

# 按下界排序确保逻辑顺序（可选但推荐）
df = df.sort_values('Lower_Age').reset_index(drop=True)

# 计算中位年龄
df['Mean_Age'] = (df['Lower_Age'] + df['Upper_Age']) / 2

✅ 步骤 3：计算皮尔逊相关系数

使用 scipy.stats.pearsonr 对 Mean_Age 与 Overall_Rating 进行双变量线性相关性检验：

corr_result = pearsonr(df['Mean_Age'], df['Overall_Rating'])
print(f"相关系数 r = {corr_result.statistic:.4f}")
print(f"p 值 = {corr_result.pvalue:.4f}")
# 输出示例：r = -0.4489, p = 0.3718 → 弱负相关，但不显著（p > 0.05）

⚠️ 注意事项与建议

• 边界设定需业务对齐："65 and older" 的上界（如 100）会显著影响 Mean_Age（82.5），若实际人群最大年龄为 90，则 Mean_Age=77.5，结果可能变化。建议结合人口统计数据校准。
• 相关性 ≠ 因果性：即使得到显著相关，也不能推断“年龄增长导致评分下降”，需结合领域知识解读。
• 替代方案考虑：若年龄段分布极不均衡或存在严重偏态，可尝试 Spearman 秩相关（对异常值更鲁棒）。
• 可视化辅助：建议补充散点图 + 趋势线，直观验证线性假设是否成立。

通过以上标准化与转换，你已将定性年龄段成功转化为可用于统计建模的定量特征，为后续回归分析、分组对比等打下坚实基础。