killvxk 使用 Foremost 执行文件雕刻
适用场景
- 从未分配磁盘空间或损坏的文件系统中恢复文件时
- 从格式化或擦除的存储介质中提取证据时
- 文件系统元数据不可用但原始数据扇区包含证据时
- 调查需要从原始镜像中恢复特定文件类型时
- 作为基于文件系统恢复的补充，以最大化证据提取时
前置条件
- 取证工作站上已安装 Foremost
- 原始（dd）格式的取证磁盘镜像
- 充足的输出存储空间（可能大于源文件）
- 针对特定文件类型的自定义 foremost.conf（可选）
- 了解目标文件类型的文件签名（魔术字节）
- Scalpel 作为性能关键型雕刻的替代工具
工作流程
步骤 1：安装和配置 Foremost
# 安装 Foremost
sudo apt-get install foremost
# 验证安装
foremost -V
# 查看默认配置
cat /etc/foremost.conf
# 默认 foremost.conf 支持：
# jpg, gif, png, bmp - 图像格式
# avi, exe, mpg, wav - 媒体文件和可执行文件
# riff, wmv, mov, pdf - 文档和视频
# ole (doc/xls/ppt), zip, rar - Office 文件和压缩包
# htm, cpp, java - 文本/代码文件
# 为额外文件类型创建自定义配置
cp /etc/foremost.conf /cases/case-2024-001/custom_foremost.conf
# 添加自定义文件签名
cat << 'EOF' >> /cases/case-2024-001/custom_foremost.conf
# 调查自定义新增内容
# 格式：扩展名 区分大小写 最大大小 文件头 文件尾
docx y 10000000 \x50\x4b\x03\x04 \x50\x4b\x05\x06
xlsx y 10000000 \x50\x4b\x03\x04 \x50\x4b\x05\x06
pptx y 10000000 \x50\x4b\x03\x04 \x50\x4b\x05\x06
sqlite y 50000000 \x53\x51\x4c\x69\x74\x65\x20\x66\x6f\x72\x6d\x61\x74
pst y 500000000 \x21\x42\x44\x4e
eml y 1000000 \x46\x72\x6f\x6d\x3a \x0d\x0a\x0d\x0a
evtx y 50000000 \x45\x6c\x66\x46\x69\x6c\x65
EOF
步骤 2：对磁盘镜像运行 Foremost
# 雕刻所有支持的文件类型（基本模式）
foremost -t all \
-i /cases/case-2024-001/images/evidence.dd \
-o /cases/case-2024-001/carved/foremost_all/
# 仅雕刻特定文件类型
foremost -t jpg,png,pdf,doc,xls,zip \
-i /cases/case-2024-001/images/evidence.dd \
-o /cases/case-2024-001/carved/foremost_targeted/
# 使用自定义配置
foremost -c /cases/case-2024-001/custom_foremost.conf \
-i /cases/case-2024-001/images/evidence.dd \
-o /cases/case-2024-001/carved/foremost_custom/
# 从特定分区偏移量开始雕刻
# 首先，查找分区信息
mmls /cases/case-2024-001/images/evidence.dd
# 然后仅从未分配空间雕刻
# 使用 blkls 提取未分配空间
blkls -o 2048 /cases/case-2024-001/images/evidence.dd \
> /cases/case-2024-001/unallocated.dd
foremost -t all \
-i /cases/case-2024-001/unallocated.dd \
-o /cases/case-2024-001/carved/foremost_unalloc/
# 详细模式以查看进度
foremost -v -t all \
-i /cases/case-2024-001/images/evidence.dd \
-o /cases/case-2024-001/carved/foremost_verbose/ 2>&1 | \
tee /cases/case-2024-001/carved/foremost_log.txt
# 间接模式（处理标准输入）
dd if=/cases/case-2024-001/images/evidence.dd bs=512 skip=2048 | \
foremost -t jpg,pdf -o /cases/case-2024-001/carved/foremost_pipe/
步骤 3：使用 Scalpel 进行高性能雕刻
# 安装 Scalpel（基于 Foremost 的更快替代工具）
sudo apt-get install scalpel
# 编辑 Scalpel 配置（取消注释所需文件类型）
cp /etc/scalpel/scalpel.conf /cases/case-2024-001/scalpel.conf
# 在配置中取消注释目标文件类型对应的行
# 运行 Scalpel
scalpel -c /cases/case-2024-001/scalpel.conf \
-o /cases/case-2024-001/carved/scalpel/ \
/cases/case-2024-001/images/evidence.dd
# 带文件大小限制的 Scalpel
# 编辑 scalpel.conf 设置适当的最大大小：
# jpg y 5000000 \xff\xd8\xff \xff\xd9
# pdf y 20000000 %PDF %%EOF
步骤 4：处理并验证雕刻的文件
# 查看 Foremost 审计报告
cat /cases/case-2024-001/carved/foremost_all/audit.txt
# audit.txt 包含：
# - 每种类型找到的文件数
# - 起始和结束偏移量
# - 文件大小
# 验证雕刻的文件
python3 << 'PYEOF'
import os
import subprocess
from collections import defaultdict
carved_dir = '/cases/case-2024-001/carved/foremost_all/'
stats = defaultdict(lambda: {'total': 0, 'valid': 0, 'invalid': 0, 'size': 0})
for subdir in os.listdir(carved_dir):
subdir_path = os.path.join(carved_dir, subdir)
if not os.path.isdir(subdir_path) or subdir == 'audit.txt':
continue
for filename in os.listdir(subdir_path):
filepath = os.path.join(subdir_path, filename)
if not os.path.isfile(filepath):
continue
ext = subdir
filesize = os.path.getsize(filepath)
stats[ext]['total'] += 1
stats[ext]['size'] += filesize
# 使用 file 命令验证文件类型
result = subprocess.run(['file', '--brief', filepath], capture_output=True, text=True)
file_type = result.stdout.strip()
if 'data' in file_type.lower() or 'empty' in file_type.lower():
stats[ext]['invalid'] += 1
else:
stats[ext]['valid'] += 1
print("=== 雕刻文件验证 ===\n")
print(f"{'类型':<10} {'总数':<8} {'有效':<8} {'无效':<10} {'总大小':<15}")
print("-" * 55)
for ext in sorted(stats.keys()):
s = stats[ext]
size_mb = s['size'] / (1024*1024)
print(f"{ext:<10} {s['total']:<8} {s['valid']:<8} {s['invalid']:<10} {size_mb:>10.1f} MB")
# 删除零字节文件
for subdir in os.listdir(carved_dir):
subdir_path = os.path.join(carved_dir, subdir)
if os.path.isdir(subdir_path):
for filename in os.listdir(subdir_path):
filepath = os.path.join(subdir_path, filename)
if os.path.isfile(filepath) and os.path.getsize(filepath) == 0:
os.remove(filepath)
PYEOF
# 对所有有效雕刻文件计算哈希
find /cases/case-2024-001/carved/foremost_all/ -type f ! -name "audit.txt" \
-exec sha256sum {} \; > /cases/case-2024-001/carved/carved_file_hashes.txt
# 与已知恶意哈希数据库比对
# 与 NSRL 已知良性数据库比对以过滤
步骤 5：检查并归档证据文件
# 从雕刻图像中提取元数据（EXIF 数据，包括 GPS）
exiftool -r -csv /cases/case-2024-001/carved/foremost_all/jpg/ \
> /cases/case-2024-001/analysis/carved_image_metadata.csv
# 在雕刻文档中搜索关键字
find /cases/case-2024-001/carved/foremost_all/pdf/ -name "*.pdf" -exec pdftotext {} - \; 2>/dev/null | \
grep -iE '(confidential|secret|password|account|ssn|credit.card)' \
> /cases/case-2024-001/analysis/keyword_hits_pdf.txt
# 生成图像缩略图以便快速审查
mkdir -p /cases/case-2024-001/carved/thumbnails/
find /cases/case-2024-001/carved/foremost_all/jpg/ -name "*.jpg" -exec \
convert {} -thumbnail 200x200 /cases/case-2024-001/carved/thumbnails/{} \; 2>/dev/null
# 创建证据目录
python3 << 'PYEOF'
import os, hashlib, csv, subprocess
catalog = []
carved_dir = '/cases/case-2024-001/carved/foremost_all/'
for subdir in sorted(os.listdir(carved_dir)):
subdir_path = os.path.join(carved_dir, subdir)
if not os.path.isdir(subdir_path):
continue
for filename in sorted(os.listdir(subdir_path)):
filepath = os.path.join(subdir_path, filename)
if not os.path.isfile(filepath):
continue
size = os.path.getsize(filepath)
sha256 = hashlib.sha256(open(filepath, 'rb').read()).hexdigest()
file_type = subprocess.run(['file', '--brief', filepath], capture_output=True, text=True).stdout.strip()
catalog.append({
'filename': filename,
'type': subdir,
'size': size,
'sha256': sha256,
'file_description': file_type[:100]
})
with open('/cases/case-2024-001/analysis/carved_file_catalog.csv', 'w', newline='') as f:
writer = csv.DictWriter(f, fieldnames=['filename', 'type', 'size', 'sha256', 'file_description'])
writer.writeheader()
writer.writerows(catalog)
print(f"已创建包含 {len(catalog)} 个文件的证据目录")
PYEOF
关键概念
| 概念 | 描述 |
|---|---|
| 文件雕刻（File carving） | 通过在原始数据中搜索已知的文件头/文件尾字节序列来恢复文件 |
| 文件签名（File signature） | 标识文件类型的开头（文件头）或结尾（文件尾）的唯一字节模式 |
| 未分配空间（Unallocated space） | 未分配给任何文件的磁盘扇区；雕刻的主要目标 |
| 文件碎片化（Fragmentation） | 文件数据存储于非连续扇区时，使雕刻更加复杂 |
| 文件头文件尾雕刻 | 提取已知文件起始和结束签名之间的数据 |
| 误报（False positives） | 雕刻数据匹配文件签名但内容损坏或无关 |
| 松弛空间（Slack space） | 文件最后分配簇末尾的未使用字节 |
| 扇区对齐 | 文件通常从扇区边界开始，提高雕刻精度 |
工具与系统
| 工具 | 用途 |
|---|---|
| Foremost | 最初为美国空军 OSI 开发的文件头文件尾雕刻工具 |
| Scalpel | 支持可配置签名的高性能文件雕刻工具 |
| PhotoRec | 支持 300+ 格式的基于签名的文件恢复工具 |
| bulk_extractor | 从原始数据中提取特征（邮箱、URL、信用卡号） |
| blkls | Sleuth Kit 工具，从磁盘镜像中提取未分配空间 |
| mmls | 用于识别雕刻目标的分区表显示工具 |
| ExifTool | 从雕刻的图像和文档文件中提取元数据 |
| hashdeep | 对雕刻文件目录进行递归哈希计算 |
常见场景
场景 1：恢复已删除的证据文档 针对用 blkls 提取的未分配空间运行 Foremost，目标文件类型为 doc、pdf、xlsx，验证雕刻文档，搜索与案件相关的关键字，归档并哈希所有可恢复文档，作为证据提交。
场景 2：从格式化介质中恢复图像 从格式化 U 盘镜像中雕刻 JPEG、PNG、GIF、BMP，提取包含 GPS 坐标和相机信息的 EXIF 元数据，生成缩略图以便快速视觉审查，识别与证据相关的图像，记录恢复链。
场景 3：从损坏的 PST 文件中恢复电子邮件 使用带有 PST 和 EML 签名的自定义 foremost.conf，从损坏的 Outlook 数据文件中雕刻邮件制品，尝试在查看器中打开雕刻的 PST 片段，提取单独的 EML 邮件，搜索相关通信内容。
场景 4：金融调查的数据库恢复 配置 Foremost 从未分配空间中雕刻 SQLite 数据库，恢复已删除的应用程序数据库，查询恢复的数据库中的财务记录，与已知交易数据交叉比对，记录调查发现以用于起诉。
输出格式
文件雕刻摘要：
工具：Foremost 1.5.7
来源：evidence.dd（500 GB）
目标：未分配空间（234 GB）
耗时：1 小时 45 分钟
雕刻文件：
jpg: 2,345 个文件（1.8 GB）- 有效：2,100 / 无效：245
png: 234 个文件（456 MB）- 有效：210 / 无效：24
pdf: 156 个文件（890 MB）- 有效：134 / 无效：22
doc: 89 个文件（234 MB）- 有效：67 / 无效：22
xls: 45 个文件（123 MB）- 有效：38 / 无效：7
zip: 67 个文件（567 MB）- 有效：52 / 无效：15
exe: 34 个文件（234 MB）- 有效：30 / 无效：4
sqlite: 12 个文件（89 MB） - 有效：10 / 无效：2
总文件数：2,982（恢复 3.4 GB）
与证据相关：标记 45 个文件待审查
审计日志：/cases/case-2024-001/carved/foremost_all/audit.txt
文件目录：/cases/case-2024-001/analysis/carved_file_catalog.csv