如何精简 SciPy 以适配 AWS Lambda（50MB 限制）

本文详解如何在不使用容器镜像的前提下，通过裁剪 SciPy 和 NumPy 的二进制依赖，构建轻量级 Lambda 层，使其满足 50MB 压缩包限制，并解决常见的 numpy.core._multiarray_umath 导入错误。

本文详解如何在不使用容器镜像的前提下，通过裁剪 scipy 和 numpy 的二进制依赖，构建轻量级 lambda 层，使其满足 50mb 压缩包限制，并解决常见的 `numpy.core._multiarray_umath` 导入错误。

在 AWS Lambda 中直接使用 SciPy 面临两大核心挑战：一是其默认安装体积远超 50MB 的部署包上限（完整 SciPy + NumPy 可达 150MB+），二是 Lambda 运行时环境对 C 扩展模块（如 NumPy 的 _multiarray_umath）有严格路径与 ABI 兼容性要求——简单删除未用子模块会导致底层依赖断裂，正如你遇到的 No module named 'numpy.core._multiarray_umath' 错误。

该错误并非因你手动删减了 NumPy，而是由于 SciPy 在编译期动态链接了特定版本 NumPy 的 C 扩展共享库（.so 文件），而这些 .so 文件依赖于 NumPy 安装目录中完整的 numpy/core/ 结构（包括 _multiarray_umath.cpython-*.so、_multiarray_tests.cpython-*.so 等）。当你仅保留 scipy.sparse 和 scipy.optimize 时，SciPy 的 __init__.py 或内部 C 模块仍会尝试加载全部 NumPy C 扩展，但被裁剪后的 NumPy 缺失关键二进制文件，从而触发 ImportError。

✅ 正确解法不是“删文件”，而是“精准打包”：

1. 统一构建环境：在 Amazon Linux 2（或官方 Lambda Python 3.11 基础镜像）中安装 SciPy 与 NumPy，确保 ABI 兼容；
2. 保留必要 C 扩展：除 scipy/ 子模块外，必须完整保留 numpy/core/ 下所有 .so 文件（尤其 _multiarray_umath, _multiarray_tests, _umath_linalg, _operand_flag_tests）；
3. 剥离非必要组件：安全移除以下内容（不影响 sparse/optimize）：
   • scipy/fftpack, scipy/integrate, scipy/interpolate, scipy/linalg, scipy/signal, scipy/spatial, scipy/stats, scipy/io, scipy/odr, scipy/optimize/_highs（若不用 HiGHS 求解器）；
   • numpy/distutils, numpy/tests, numpy/f2py, numpy/doc, numpy/ma/tests, numpy/core/tests（测试代码）；
   • 所有 .pyc、__pycache__、.egg-info 目录；
4. 验证符号依赖：使用 ldd 检查剩余 .so 是否仍能解析（Lambda 不支持动态链接系统库，需静态编译或自带依赖）。

以下是推荐的可复现构建流程（本地或 GitHub Actions）：

Vidyo.ai

一款将长视频制作成短片的AI工具

# 1. 启动 Amazon Linux 2 容器（确保 ABI 匹配）
docker run -it --rm -v $(pwd):/workspace amazon/aws-lambda-python:3.11

# 2. 在容器内执行
cd /workspace
mkdir lambda-layer && cd lambda-layer

# 安装兼容版本（避免新版本引入额外依赖）
pip install "numpy==1.26.4" "scipy==1.12.0" -t python/lib/python3.11/site-packages/

# 3. 精准裁剪（保留核心，删除冗余）
cd python/lib/python3.11/site-packages

# 删除未使用的 SciPy 模块（保留 sparse & optimize）
find scipy -maxdepth 1 -type d ! -name "sparse" ! -name "optimize" ! -name "scipy" -exec rm -rf {} +
rm -rf scipy/.libs  # 可选：若已静态链接，可删；否则保留

# 删除 NumPy 测试/文档/构建残留（关键！但保留 core 下所有 .so）
rm -rf numpy/{distutils,f2py,doc,ma/tests,core/tests,lib/tests}
find numpy -name "*.pyc" -delete
find numpy -name "__pycache__" -delete

# 4. 打包（注意：必须为 zip，且顶层为 'python/'）
cd ../..
zip -r9 lambda-layer-scipy-sparse-optimize.zip python/

⚠️ 注意事项：

• 切勿单独上传 SciPy 而不包含 NumPy：SciPy 是 NumPy 的“消费者”，必须共存且版本匹配；
• 禁止跨平台构建：在 macOS/Windows 上 pip 安装的 .so 在 Lambda（Linux）上必然失败；
• 内置 Pandas 层不可叠加：AWSSDKPandas-Python311 已含 NumPy（1.23.x），与你的 SciPy（1.12.0）ABI 冲突，强行叠加将导致运行时崩溃；
• 替代方案建议：若裁剪后仍超限，优先考虑 AWS Lambda Container Images —— 它支持 10GB 镜像，且可通过 --platform linux/amd64 显式控制架构，比手工裁剪更可靠。

最后，验证函数应显式检查版本与模块可用性：

import json
import numpy
import scipy
import scipy.sparse
from scipy.optimize import milp, LinearConstraint, Bounds

def lambda_handler(event, context):
    print(f"✅ NumPy {numpy.__version__} loaded")
    print(f"✅ SciPy {scipy.__version__} loaded")
    print(f"✅ scipy.sparse OK: {hasattr(scipy.sparse, 'csr_matrix')}")
    print(f"✅ scipy.optimize.milp OK: {callable(milp)}")

    return {
        'statusCode': 200,
        'body': json.dumps('SciPy layer ready!')
    }

成功部署后，初始化时间（Init Duration）通常在 1.5–2 秒内，内存占用约 120MB（128MB 配置下稳定），完全符合生产级 Lambda 规范。