Config 配置审计服务助手
使用scripts中的脚本,通过Config服务,查询云上资源情况、资源配置、资源schema、云服务的预置合规规则。具体有如下能力:
- 查询资源概览;
- 查询资源Schema;
- 按条件通过SQL查询资源;
- 资源合规性分析:包含但不限于从以下维度分析资源配置,'为事件响应做好准备', '优化成本', '身份管理', '保护数据完整性', '保护配置', '加密传输中的数据', '加密静态数据', '建立日志记录和监控', '强制执行最低权限', '提高可用性', '提高韧性', '管理机密', '管理漏洞', '管理规格', '限制网络访问', '资源管理';
前置条件
环境变量配置
在使用此技能前,需要确保以下环境变量已正确配置。这些是访问华为云Config服务的必要凭证。
必需的环境变量:
HUAWEICLOUD_AK - 访问密钥(Access Key)
HUAWEICLOUD_SK - 秘密密钥(Secret Access Key)
重要提示:
- 这些环境变量包含敏感信息,检查配置时严禁在控制台打印
- 用户配置的AK仅需要
Config ReadOnlyAccess的权限,用户无需过度授权
配置步骤:
Windows PowerShell 配置:
$env:HUAWEICLOUD_AK="your_access_key"
$env:HUAWEICLOUD_SK="your_secret_key"
或通过系统环境变量配置:
- Windows: 在"系统属性" > "环境变量"中设置
- Linux/Mac: 在
~/.bashrc 或 ~/.zshrc 中添加 export 命令
验证配置:
# 验证但不打印敏感信息
if (-not $env:HUAWEICLOUD_AK) { Write-Error "HUAWEICLOUD_AK 未配置" }
依赖安装
确保已安装以下Python依赖:
pip install huaweicloudsdkconfig huaweicloudsdkcore
工作流程
资源查询
1. 查询资源概览
获取华为云上所有资源的汇总统计信息。
命令:
python scripts/query_Config_resource_summary.py
参数说明:
--provider: 可选,表示只查询某个云服务的资源概览, 示例:
--region_id: 可选,表示只查询某个区域的资源概览, 示例:
cn-north-4: 北京四
cn-east-3: 上海一
global: 全局
输出格式:
- JSON格式,包含各区域、各服务类型的资源数量统计
- 示例:
[
{
"provider": "vpc",
"type": "vpcs",
"region_id": "cn-north-1",
"cnt": 5
},
{
"provider": "kms",
"type": "keys",
"region_id": "cn-north-4",
"cnt": 2
},
{
"provider": "iam",
"type": "users",
"region_id": "global",
"cnt": 5
}
]
使用场景:
- 快速了解云上资源分布
- 识别资源密集的区域和服务
- 为资源审计、成本优化、安全配置等场景提供基础数据
2. 查询资源Schema
获取指定资源类型的详细结构定义,包括所有可用字段及其类型。
命令:
python scripts/query_Config_resource_schema.py --resource_type=obs.buckets
参数说明:
--resource_type: 资源类型标识符,格式为 provider.type, 示例:
obs.buckets: 对象存储桶、OBS桶;
ecs.cloudservers: 云服务器、虚机、ECS;
iam.users: IAM用户;
vpc.securityGroups : VPC安全组;
fgs.functions: 函数工作流、函数、FunctionGraph;
输出格式:
- JSON格式,包含资源的完整Schema定义
- 包含字段名称、类型、描述等信息
使用场景:
- 了解资源结构和可用字段
- 编写SQL查询前确定查询字段
- 理解资源的配置属性
3. 按条件查询资源(高级SQL查询)
通过SQL语句进行复杂的资源查询,支持多条件筛选、聚合分析等。
支持的查询字段:
- 基础字段:
id, name, provider, type, region_id, project_id, created, updated, tag
- 扩展字段:
properties (JSON对象,包含具体资源配置,每种资源类型的结构与资源schema保持一致)
SQL语法特点:
- 只能查询
resources 表
- 支持标准SQL语法: SELECT, WHERE, GROUP BY, ORDER BY
- 支持数组操作:
transform, filter, any_match, contains
- 支持日期函数:
date_diff, date_parse
重要提示:
- 使用前请先查询资源Schema了解可用字段
- 参考
scripts/sql-example.json 查看丰富的查询示例
- SQL语句需要用双引号包裹,内部字符串使用单引号
- 如果没有查询到资源,查询资源概览已确认云上资源分布
示例1: 查询特定区域的所有资源
首先确定查询需求,生成SQL语句:
select id, name, provider, type, region_id, properties
from resources
where region_id = 'cn-north-4'
执行查询:
python scripts/query_Config_resource_by_sql.py --sql="select id, name, provider, type, properties from resources where region_id = 'cn-north-4'"
示例2: 查询IAM用户的密码强度
步骤1: 查询iam.users的Schema了解可用字段
python scripts/query_Config_resource_schema.py --resource_type=iam.users
步骤2: 基于Schema发现密码相关字段为 pwd_status 和 pwd_strength
步骤3: 编写SQL查询
select id, name, provider, type, properties.pwd_status, properties.pwd_strength
from resources
where provider = 'iam'
and type = 'users'
步骤4: 执行查询
python scripts/query_Config_resource_by_sql.py --sql="select id, name, provider, type, properties.pwd_status, properties.pwd_strength from resources where provider = 'iam' and type = 'users'"
更多SQL示例:
- 查询运行中的ECS:
SELECT * FROM resources WHERE provider='ecs' AND type='cloudservers' AND properties.status='ACTIVE'
- 查询未加密的EVS:
SELECT * FROM resources WHERE provider='evs' AND type='volumes' AND NOT properties.encrypted
- 按区域统计资源数:
SELECT region_id, count(*) FROM resources GROUP BY region_id
- 更多案例: 请学习
scripts/sql-example.json 中的案例
输出格式:
- JSON数组,每条记录代表一个匹配的资源
- 包含查询中指定的所有字段
合规规则查询
查询云服务的预置合规规则
获取华为云Config服务的预置合规规则列表,用于资源合规性检查。
命令:
查询特定云服务的合规规则:
python scripts/query_Config_builtin_rule.py --keyword=obs
查询所有合规规则(限制返回数量):
python scripts/query_Config_builtin_rule.py --limit=10
参数说明:
--keyword: 过滤关键字,匹配规则名称或描述中包含该关键字的规则
--limit: 限制返回结果数量,默认为10
输出格式:
使用场景:
- 了解可用的合规规则
- 选择合适的规则进行合规性检查
- 制定资源合规策略
华为云场景知识
以下为华为云云服务的场景化知识,在分析资源的安全配置时,需要考虑以下信息:
VPC默认安全组
VPC默认安全组(名称为default)为系统内置资源,不可删除。为提升安全性,将所有出方向、入方向的安全组规则停用或改为Deny的操作权限。
AK/SK安全配置:
华为云的Access Key(AK)为20位随机字符串(例如HPUAAJJAC9GJZDIQCTHN),Secret Key(SK)为40位随机字符串。在资源配置中,仅允许在iam.users字段中包含AK信息,严禁在任何资源配置中明文存储或传递SK。若检测到SK存在于配置中,则判定为敏感信息泄露风险,需立即整改。
云服务中英文对接关系
| provider |
type |
中文名 |
服务功能 |
| cts |
trackers |
云审计服务追踪器 |
提供对各种云资源操作记录的收集、存储和查询功能 |
| config |
trackers |
配置审计服务资源记录器 |
提供资源配置的持续的审计能力 |
最佳实践
SQL查询优化
使用WHERE条件限制查询范围
- 总是添加
region_id 或其他过滤条件,避免全表扫描
- 示例:
WHERE region_id = 'cn-north-4'
只查询需要的字段
- 避免使用
SELECT *,明确指定需要的字段
- 减少数据传输量,提高查询效率
合理使用聚合函数
- 对于统计需求,使用
count(), sum() 等聚合函数
- 示例:
SELECT region_id, count(*) FROM resources GROUP BY region_id
安全注意事项
保护敏感信息
- 严禁在日志、控制台输出AK/SK等敏感信息
- 使用环境变量存储凭证,不要硬编码在脚本中
- 定期轮换AK/SK
- 仅需
Config ReadOnlyAccess的权限,用户无需过度授权
最小权限原则
- 为Config服务配置最小必要权限
- 定期审查API访问权限
网络安全
- 确保代理配置正确,通过安全通道访问华为云
- 在生产环境中使用HTTPS
性能优化建议
1批量查询优于单个查询
- 对于多个资源,使用SQL批量查询而非多次API调用
- 利用SQL的JOIN和子查询功能
2合理安排查询时间
- 避免在业务高峰期执行大规模资源查询
- 考虑在非工作时间执行资源审计
数据处理建议
结果验证
数据格式化
- 将JSON结果转换为易读格式(如表格)
- 对于大量数据,考虑导出到文件
异常处理
常见问题(FAQ)
Q1: 提示"认证失败"怎么办?
A: 检查以下几点:
- 确认
HUAWEICLOUD_AK 和 HUAWEICLOUD_SK 环境变量已正确配置
- 验证AK/SK是否有效且未过期
- 确认账号有访问Config服务的权限
- 检查网络连接和代理配置
Q2: SQL查询返回空结果?
A: 可能的原因:
- 查询条件过于严格,尝试放宽条件
- 检查资源类型名称是否正确(区分大小写)
- 确认指定区域确实有资源
- 先查询资源概览,了解资源分布
Q3: 如何查询特定时间范围内创建的资源?
A: 使用日期函数:
SELECT *
FROM resources
WHERE created >= '2024-01-01T00:00:00Z'
AND created <= '2024-12-31T23:59:59Z'
Q4: 如何查询没有标签的资源?
A: 使用 cardinality 函数:
SELECT *
FROM resources
WHERE cardinality(tag) = 0
Q5: 如何处理JSON数组字段的查询?
A: 使用数组操作函数:
any_match: 检查数组中是否存在满足条件的元素
transform: 转换数组元素
filter: 过滤数组元素
示例:
SELECT *
FROM resources
WHERE any_match(properties.securityGroup, x - > x.id = 'xxx')
Q6: 如何获取资源关系的完整信息?
A: 建议步骤:
- 先查询主资源(如ECS)的Schema
- 识别关联字段(如
ExtVolumesAttached)
- 查询关联资源(如EVS)的Schema
- 编写JOIN查询获取完整信息
错误处理
常见错误及解决方案
| 错误信息 |
可能原因 |
解决方案 |
Authentication failed |
AK/SK配置错误或无效 |
检查环境变量配置,验证AK/SK有效性 |
Resource not found |
资源类型不存在 |
检查资源类型名称,先查询可用资源类型 |
SQL syntax error |
SQL语句语法错误 |
检查SQL语法,参考示例文件 |
1---2name: huaweicloud-config-helper-43description: 华为云Config配置审计服务的专业助手,提供全局资源查询、资源配置查询、资源Schema查询、SQL条件查询以及合规规则查询能力。当用户需要查询华为云资源、进行资源审计、检查配置合规性、盘点云上资产、分析资源关系、查询特定资源状态、验证资源配置、或需要通过SQL进行复杂资源查询时,必须使用此技能。即使未明确提及"Config"或"配置审计",只要涉及华为云资源查询、资源管理、合规检查等场景,都应触发此技能。4metadata:5 source: https://skillmd.com/skills/bishal-pdmsft/huaweicloud-config-helper-46---78# Config 配置审计服务助手910使用scripts中的脚本,通过Config服务,查询云上资源情况、资源配置、资源schema、云服务的预置合规规则。具体有如下能力:1112- 查询资源概览;13- 查询资源Schema;14- 按条件通过SQL查询资源;15- 资源合规性分析:包含但不限于从以下维度分析资源配置,'为事件响应做好准备', '优化成本', '身份管理', '保护数据完整性', '保护配置', '加密传输中的数据', '加密静态数据', '建立日志记录和监控', '强制执行最低权限', '提高可用性', '提高韧性', '管理机密', '管理漏洞', '管理规格', '限制网络访问', '资源管理';1617## 前置条件1819### 环境变量配置2021在使用此技能前,需要确保以下环境变量已正确配置。这些是访问华为云Config服务的必要凭证。2223**必需的环境变量:**2425- `HUAWEICLOUD_AK` - 访问密钥(Access Key)26- `HUAWEICLOUD_SK` - 秘密密钥(Secret Access Key)2728**重要提示:**2930- 这些环境变量包含敏感信息,检查配置时严禁在控制台打印31- 用户配置的AK仅需要`Config ReadOnlyAccess`的权限,用户无需过度授权3233**配置步骤:**34351. **Windows PowerShell 配置:**36 ```powershell37 $env:HUAWEICLOUD_AK="your_access_key"38 $env:HUAWEICLOUD_SK="your_secret_key"39 ```40412. **或通过系统环境变量配置:**42 - Windows: 在"系统属性" > "环境变量"中设置43 - Linux/Mac: 在 `~/.bashrc` 或 `~/.zshrc` 中添加 `export` 命令44453. **验证配置:**46 ```powershell47 # 验证但不打印敏感信息48 if (-not $env:HUAWEICLOUD_AK) { Write-Error "HUAWEICLOUD_AK 未配置" }49 ```5051### 依赖安装5253确保已安装以下Python依赖:5455```bash56pip install huaweicloudsdkconfig huaweicloudsdkcore57```5859## 工作流程6061### 资源查询6263#### 1. 查询资源概览6465获取华为云上所有资源的汇总统计信息。6667**命令:**6869```shell70python scripts/query_Config_resource_summary.py71```7273**参数说明:**7475- `--provider`: 可选,表示只查询某个云服务的资源概览, 示例:76 - `obs`77 - `vpc`78 79- `--region_id`: 可选,表示只查询某个区域的资源概览, 示例:80 - `cn-north-4`: 北京四81 - `cn-east-3`: 上海一82 - `global`: 全局83 8485**输出格式:**8687- JSON格式,包含各区域、各服务类型的资源数量统计88- 示例:89```json90[91 {92 "provider": "vpc",93 "type": "vpcs",94 "region_id": "cn-north-1",95 "cnt": 596 },97 {98 "provider": "kms",99 "type": "keys",100 "region_id": "cn-north-4",101 "cnt": 2102 },103 {104 "provider": "iam",105 "type": "users",106 "region_id": "global",107 "cnt": 5108 }109]110```111112**使用场景:**113114- 快速了解云上资源分布115- 识别资源密集的区域和服务116- 为资源审计、成本优化、安全配置等场景提供基础数据117118#### 2. 查询资源Schema119120获取指定资源类型的详细结构定义,包括所有可用字段及其类型。121122**命令:**123124```shell125python scripts/query_Config_resource_schema.py --resource_type=obs.buckets126```127128**参数说明:**129130- `--resource_type`: 资源类型标识符,格式为 `provider.type`, 示例:131 - `obs.buckets`: 对象存储桶、OBS桶;132 - `ecs.cloudservers`: 云服务器、虚机、ECS;133 - `iam.users`: IAM用户;134 - `vpc.securityGroups `: VPC安全组;135 - `fgs.functions`: 函数工作流、函数、FunctionGraph;136137**输出格式:**138139- JSON格式,包含资源的完整Schema定义140- 包含字段名称、类型、描述等信息141142**使用场景:**143144- 了解资源结构和可用字段145- 编写SQL查询前确定查询字段146- 理解资源的配置属性147148#### 3. 按条件查询资源(高级SQL查询)149150通过SQL语句进行复杂的资源查询,支持多条件筛选、聚合分析等。151152**支持的查询字段:**153154- 基础字段: `id`, `name`, `provider`, `type`, `region_id`, `project_id`, `created`, `updated`, `tag`155- 扩展字段: `properties` (JSON对象,包含具体资源配置,每种资源类型的结构与资源schema保持一致)156157**SQL语法特点:**158159- 只能查询 `resources` 表160- 支持标准SQL语法: SELECT, WHERE, GROUP BY, ORDER BY161- 支持数组操作: `transform`, `filter`, `any_match`, `contains`162- 支持日期函数: `date_diff`, `date_parse`163-164165**重要提示:**166167- 使用前请先查询资源Schema了解可用字段168- 参考 `scripts/sql-example.json` 查看丰富的查询示例169- SQL语句需要用双引号包裹,内部字符串使用单引号170- 如果没有查询到资源,查询资源概览已确认云上资源分布171172**示例1: 查询特定区域的所有资源**173174首先确定查询需求,生成SQL语句:175176```sql177select id, name, provider, type, region_id, properties178from resources179where region_id = 'cn-north-4'180```181182执行查询:183184```shell185python scripts/query_Config_resource_by_sql.py --sql="select id, name, provider, type, properties from resources where region_id = 'cn-north-4'"186```187188**示例2: 查询IAM用户的密码强度**189190步骤1: 查询iam.users的Schema了解可用字段191192```shell193python scripts/query_Config_resource_schema.py --resource_type=iam.users194```195196步骤2: 基于Schema发现密码相关字段为 `pwd_status` 和 `pwd_strength`197198步骤3: 编写SQL查询199200```sql201select id, name, provider, type, properties.pwd_status, properties.pwd_strength202from resources203where provider = 'iam'204 and type = 'users'205```206207步骤4: 执行查询208209```shell210python scripts/query_Config_resource_by_sql.py --sql="select id, name, provider, type, properties.pwd_status, properties.pwd_strength from resources where provider = 'iam' and type = 'users'"211```212213**更多SQL示例:**214215- 查询运行中的ECS: `SELECT * FROM resources WHERE provider='ecs' AND type='cloudservers' AND properties.status='ACTIVE'`216- 查询未加密的EVS: `SELECT * FROM resources WHERE provider='evs' AND type='volumes' AND NOT properties.encrypted`217- 按区域统计资源数: `SELECT region_id, count(*) FROM resources GROUP BY region_id`218- 更多案例: 请学习 `scripts/sql-example.json` 中的案例219220**输出格式:**221222- JSON数组,每条记录代表一个匹配的资源223- 包含查询中指定的所有字段224225### 合规规则查询226227#### 查询云服务的预置合规规则228229获取华为云Config服务的预置合规规则列表,用于资源合规性检查。230231**命令:**232233查询特定云服务的合规规则:234235```shell236python scripts/query_Config_builtin_rule.py --keyword=obs237```238239查询所有合规规则(限制返回数量):240241```shell242python scripts/query_Config_builtin_rule.py --limit=10243```244245**参数说明:**246247- `--keyword`: 过滤关键字,匹配规则名称或描述中包含该关键字的规则248- `--limit`: 限制返回结果数量,默认为10249250**输出格式:**251252- JSON数组,每个元素包含规则ID、名称、描述等信息253- 示例:254 ```json255 {256 "name": "obs-bucket-https-only",257 "display_name": "OBS桶必须使用HTTPS",258 "description": "检查OBS桶是否强制使用HTTPS协议访问"259 }260 ```261262**使用场景:**263264- 了解可用的合规规则265- 选择合适的规则进行合规性检查266- 制定资源合规策略267268## 华为云场景知识269270以下为华为云云服务的场景化知识,在分析资源的安全配置时,需要考虑以下信息:271272**VPC默认安全组**273274VPC默认安全组(名称为default)为系统内置资源,不可删除。为提升安全性,将所有出方向、入方向的安全组规则停用或改为Deny的操作权限。275276**AK/SK安全配置**:277278华为云的Access Key(AK)为20位随机字符串(例如HPUAAJJAC9GJZDIQCTHN),Secret Key(SK)为40位随机字符串。在资源配置中,仅允许在iam.users字段中包含AK信息,严禁在任何资源配置中明文存储或传递SK。若检测到SK存在于配置中,则判定为敏感信息泄露风险,需立即整改。279280**云服务中英文对接关系**281282| provider | type | 中文名 | 服务功能 |283|:---------|:---------|:------------|:------------------------|284| cts | trackers | 云审计服务追踪器 | 提供对各种云资源操作记录的收集、存储和查询功能 |285| config | trackers | 配置审计服务资源记录器 | 提供资源配置的持续的审计能力 |286287## 最佳实践288289### SQL查询优化2902911. **使用WHERE条件限制查询范围**292 - 总是添加 `region_id` 或其他过滤条件,避免全表扫描293 - 示例: `WHERE region_id = 'cn-north-4'`2942952. **只查询需要的字段**296 - 避免使用 `SELECT *`,明确指定需要的字段297 - 减少数据传输量,提高查询效率2982993. **合理使用聚合函数**300 - 对于统计需求,使用 `count()`, `sum()` 等聚合函数301 - 示例: `SELECT region_id, count(*) FROM resources GROUP BY region_id`302303### 安全注意事项3043051. **保护敏感信息**306 - 严禁在日志、控制台输出AK/SK等敏感信息307 - 使用环境变量存储凭证,不要硬编码在脚本中308 - 定期轮换AK/SK309 - 仅需`Config ReadOnlyAccess`的权限,用户无需过度授权3103112. **最小权限原则**312 - 为Config服务配置最小必要权限313 - 定期审查API访问权限3143153. **网络安全**316 - 确保代理配置正确,通过安全通道访问华为云317 - 在生产环境中使用HTTPS318319### 性能优化建议3203211**批量查询优于单个查询**322323- 对于多个资源,使用SQL批量查询而非多次API调用324- 利用SQL的JOIN和子查询功能3253262**合理安排查询时间**327328- 避免在业务高峰期执行大规模资源查询329- 考虑在非工作时间执行资源审计330331### 数据处理建议3323331. **结果验证**334 - 检查查询结果的完整性335 - 验证关键字段的合理性3363372. **数据格式化**338 - 将JSON结果转换为易读格式(如表格)339 - 对于大量数据,考虑导出到文件3403413. **异常处理**342 - 注意处理查询失败的情况343 - 检查API返回的错误信息344345## 常见问题(FAQ)346347### Q1: 提示"认证失败"怎么办?348349**A:** 检查以下几点:350351- 确认 `HUAWEICLOUD_AK` 和 `HUAWEICLOUD_SK` 环境变量已正确配置352- 验证AK/SK是否有效且未过期353- 确认账号有访问Config服务的权限354- 检查网络连接和代理配置355356### Q2: SQL查询返回空结果?357358**A:** 可能的原因:359360- 查询条件过于严格,尝试放宽条件361- 检查资源类型名称是否正确(区分大小写)362- 确认指定区域确实有资源363- 先查询资源概览,了解资源分布364365### Q3: 如何查询特定时间范围内创建的资源?366367**A:** 使用日期函数:368369```sql370SELECT *371FROM resources372WHERE created >= '2024-01-01T00:00:00Z'373 AND created <= '2024-12-31T23:59:59Z'374```375376### Q4: 如何查询没有标签的资源?377378**A:** 使用 `cardinality` 函数:379380```sql381SELECT *382FROM resources383WHERE cardinality(tag) = 0384```385386### Q5: 如何处理JSON数组字段的查询?387388**A:** 使用数组操作函数:389390- `any_match`: 检查数组中是否存在满足条件的元素391- `transform`: 转换数组元素392- `filter`: 过滤数组元素393394示例:395396```sql397SELECT *398FROM resources399WHERE any_match(properties.securityGroup, x - > x.id = 'xxx')400```401402### Q6: 如何获取资源关系的完整信息?403404**A:** 建议步骤:4054061. 先查询主资源(如ECS)的Schema4072. 识别关联字段(如 `ExtVolumesAttached`)4083. 查询关联资源(如EVS)的Schema4094. 编写JOIN查询获取完整信息410411## 错误处理412413### 常见错误及解决方案414415| 错误信息 | 可能原因 | 解决方案 |416|-------------------------------|--------------|------------------------------------|417| `Authentication failed` | AK/SK配置错误或无效 | 检查环境变量配置,验证AK/SK有效性 |418| `Resource not found` | 资源类型不存在 | 检查资源类型名称,先查询可用资源类型 |419| `SQL syntax error` | SQL语句语法错误 | 检查SQL语法,参考示例文件 |