Skip to main content

此版本的 GitHub Enterprise Server 已于以下日期停止服务 2024-07-09. 即使针对重大安全问题,也不会发布补丁。 为了获得更好的性能、更高的安全性和新功能,请升级到最新版本的 GitHub Enterprise。 如需升级帮助,请联系 GitHub Enterprise 支持

test run

针对 QL 查询运行单元测试。

谁可以使用此功能?

GitHub CodeQL 在安装后按用户授权。 根据许可证限制,只能将 CodeQL 用于某些任务。 有关详细信息,请参阅“关于 CodeQL CLI”。

如果你有 GitHub Advanced Security 许可证,则可以使用 CodeQL 进行自动分析、持续集成和持续交付。 有关详细信息,请参阅“关于 GitHub 高级安全性”。

本文内容

此内容描述了 CodeQL CLI 的最新版本。 有关此版本的详细信息,请参阅 https://github.com/github/codeql-cli-binaries/releases

若要查看早期版本中此命令可用选项的详细信息,请在终端中使用 --help 选项运行命令。

摘要

Shell
codeql test run [--threads=<num>] [--ram=<MB>] <options>... -- <test|dir>...

说明

针对 QL 查询运行单元测试。

选项

主要选项

<test|dir>...

每个参数是下列项之一:

  • 定义要运行的测试的 .ql.qlref 文件。
  • 将在其中以递归方式搜索要运行的测试的目录。

--failing-exitcode=<code>

[高级] 设置在遇到任何故障时生成的退出代码。 通常为 1,但分析输出的工具可能会发现将其设置为 0 很有用。

--format=<fmt>

选择输出格式。 可能的选项:

text(默认):用户可读的文本呈现。

json:测试结果对象的流式 JSON 数组。

betterjson:事件对象的流式 JSON 数组。

jsonz:以零结尾的一连串 JSON 测试结果对象。

betterjsonz:以零结尾的一连串 JSON 事件对象。

对于 betterjsonbetterjsonz 格式,每个事件都有一个 type 属性,用于指定事件的类型。 将来可能会添加新的事件类型,因此使用者应忽略具有无法识别的 kind 属性的任何事件。

--[no-]keep-databases

[高级] 保留提取用来运行测试查询的数据库,即使目录中的所有测试都通过也是如此。 (当有测试失败时,数据库将始终存在。)

--[no-]fast-compilation

[已弃用] [高级] 编译测试查询时省略特别缓慢的优化步骤。

--[no-]learn

[高级] 当测试生成意外输出时,请更新其 .expected 文件以匹配实际输出,这样就会通过测试而不是失败。 在此模式下,测试仍然可能失败,例如,在创建要查询的测试数据库失败时。

--consistency-queries=<dir>

[高级] 包含将针对每个测试数据库运行的一致性查询的目录。 这些查询不应生成任何输出(它们发现问题的情况除外),除非测试目录包含带有 .expected 文件的 CONSISTENCY 子目录。 这对于测试提取程序非常有用。

--[no-]check-databases

[高级] 对创建的每个测试数据库运行 codeql dataset check,如果检测到不一致,则报告失败。 这在测试提取程序时很有用。 如果对于特定数据库,检查(暂时)预计会失败,请将 DB-CHECK.expected 文件放在测试目录中。

--[no-]show-extractor-output

[高级] 显示用于创建测试数据库的提取程序脚本的输出。 这在开发或编辑测试用例时很有用。 请注意,如果将它用于多个线程,则可能会导致输出重复或格式错误!

-M, --ram=<MB>

设置应允许测试运行程序使用的 RAM 总量。

--slice=<N/M>

[高级] 将测试用例划分为 M 个大小大致相等的切片,并且只处理其中第 N 个切片。 这可用于测试过程的手动并行化。

--[no-]strict-test-discovery

[高级] 仅使用可强标识为测试的查询。 此模式尝试将定义单元测试的 .ql 文件和旨在用作有用查询的 .ql 文件进行区分。 此工具由 IDE 等工具使用,这些工具需要在不依靠之前对目录树中文件排列方式的了解来标识目录树中的所有单元测试。

在其 qlpack.yml 声明 tests 目录的 QL 包中,该目录中的所有 .ql 文件都被视为测试,其外部的 .ql 文件会被忽略。 在未声明 tests 目录的 QL 包中,.ql 文件仅在具有相应的 .expected 文件时才会被标识为测试。

为了保持一致性,.qlref 文件受到与 .ql 文件相同的规则限制,即使 .qlref 文件实际上不能是“非测试”也是如此。

用于查找测试使用的库和提取程序的选项

--search-path=<dir>[:<dir>...]

可在其中找到 QL 包的目录列表。 每个目录可以是一个 QL 包(或在根目录下包含一个 .codeqlmanifest.json 文件的多个包),也可以是一个或多个此类目录的直接父目录。

如果路径包含多个目录,则它们的顺序定义了它们之间的优先级:当必须解析的包名称在多个目录树中匹配时,给定的第一个目录树优先。

在查询其中一种语言时,将其指向开源 CodeQL 存储库的签出应该是可行的。

如果已将 CodeQL 存储库签出为未打包的 CodeQL 工具链的同级,则无需提供此选项;将始终在此类同级目录中搜索以其他方式找不到的 QL 包。 (如果此默认值不起作用,强烈建议在每用户配置文件中一次性设置 --search-path)。

(注意:在 Windows 上,路径分隔符为 ;)。

--additional-packs=<dir>[:<dir>...]

如果给定了此目录列表,则先在这些目录中的搜索包,然后在 --search-path 中的目录搜索包。 它们之间的顺序并不重要;如果在此列表的两个不同位置发现同一个包名称,这是一个错误。

如果你正临时开发一个同时出现在默认路径中的新版本的包,这将非常有用。 另一方面,建议不要在配置文件中替代此选项;一些内部操作将动态添加此选项,覆盖任何配置的值。

(注意:在 Windows 上,路径分隔符为 ;)。

--library-path=<dir>[:<dir>...]

[高级] 将添加到 QL 库的原始导入搜索路径的目录的可选列表。 只有在使用未打包为 QL 包的 QL 库时,才应使用此选项。

(注意:在 Windows 上,路径分隔符为 ;)。

--dbscheme=<file>

[高级] 显式定义应针对哪些 dbscheme 查询进行编译。 这只能由非常确定自己在做什么的调用方提供。

--compilation-cache=<dir>

[高级] 指定要用作编译缓存的其他目录。

--no-default-compilation-cache

[高级] 请勿在标准位置(例如在包含查询的 QL 包中或在 CodeQL 工具链目录中)使用编译缓存。

用于配置 CodeQL 包管理器的选项

--registries-auth-stdin

通过传递逗号分隔的 <registry_url>=<token> 对列表,向 GitHub Enterprise Server 容器注册表进行身份验证。

例如,可以传递 https://containers.GHEHOSTNAME1/v2/=TOKEN1,https://containers.GHEHOSTNAME2/v2/=TOKEN2 向两个 GitHub Enterprise Server 实例进行身份验证。

这会替代 CODEQL_REGISTRIES_AUTH and GITHUB_TOKEN 环境变量。 如果只需向 github.com 容器注册表进行身份验证,则可以改用更简单的 --github-auth-stdin 选项进行身份验证。

--github-auth-stdin

通过标准输入传递 github.com GitHub 应用令牌或个人访问令牌,对 github.com 容器注册表进行身份验证。

若要向 GitHub Enterprise Server 容器注册表进行身份验证,请传递 --registries-auth-stdin 或使用 CODEQL_REGISTRIES_AUTH 环境变量。

这会替代 GITHUB_TOKEN 环境变量。

用于控制查询编译的选项

--no-release-compatibility

[高级] 使用最新的编译器功能,但代价是可移植性降低。

QL 评估器的部分版本将时不时支持新的 QL 语言功能和计算器优化并会在 QL 编译器中默认启用它们。 这有助于确保你在最新的 CodeQL 版本中开发查询时体验到的性能可以与代码扫描或 CI 集成中可能仍在使用的稍旧版本相匹配。

如果你不关心查询是否与其他 CodeQL 版本(更低版本或更高版本)兼容,有时可以通过使用此标志提前在编译器中启用最新改进来实现少量的额外性能。

如果版本中最近没有要启用的改进,此选项以无提示方式不执行任何操作。 因此,可以安全地在全局 CodeQL 配置文件中一劳永逸地设置它。

v2.11.1 起可用。

用于控制测试查询评估的选项

--[no-]tuple-counting

[高级] 显示查询计算器日志中每个评估步骤的元组计数。 如果提供了 --evaluator-log 选项,则元组计数将包含在命令生成的基于文本的 JSON 日志和结构化 JSON 日志中。 (这对复杂 QL 代码的性能优化非常有用)。

--timeout=<seconds>

[高级] 设置查询评估的超时长度(以秒为单位)。

超时功能旨在捕获复杂查询需要“长久时间”来评估的情况。 这不是限制查询评估可花费的总时间的有效方法。 只要计算的每个单独计时部分在超时时间内完成,就允许评估继续进行。 目前,这些单独计时部分是已优化查询的“RA 层”,但将来可能会变化。

如果未指定超时或将其指定为 0,则不会设置超时(codeql test run 除外,默认超时为 5 分钟)。

-j, --threads=<num>

使用如此多的线程来评估查询。

默认值为 1。 可以传递 0 以在计算机上每个核心使用一个线程,也可以传递 -N 将 N 个核心保留为未使用状态(除仍至少使用一个线程外) 。

用于控制结构化计算器日志输出的选项

--evaluator-log=<file>

[高级] 将有关计算器性能的结构化日志输出到给定文件。 此日志文件的格式可能会更改,恕不通知,但是它将是一连串用两个换行符(默认)或一个换行符(通过传递了 --evaluator-log-minify 选项)分隔的 JSON 对象。 请使用 codeql generate log-summary <file> 生成此文件的更稳定的摘要,并避免直接分析该文件。 如果文件存在,将覆盖该文件。

--evaluator-log-minify

[高级] 如果传递了 --evaluator-log 选项,则另外传递此选项将最大程度地减小生成的 JSON 日志的大小,但代价是降低其用户可读性。

用于检查导入的 TRAP 的选项

--[no-]check-undefined-labels

[高级] 报告未定义标签的错误。

--[no-]check-unused-labels

[高级] 报告未使用标签的错误。

--[no-]check-repeated-labels

[高级] 报告重复标签的错误。

--[no-]check-redefined-labels

[高级] 报告重新定义标签的错误。

--[no-]check-use-before-definition

[高级] 报告标签在定义前就已使用的错误。

--[no-]fail-on-trap-errors

[高级] 如果在 trap 导入期间发生错误,则退出非零。

--[no-]include-location-in-star

[高级] 构造实体 ID,这些 ID 对它们在 TRAP 文件中的源位置进行编码。 可能对调试 TRAP 生成器非常有用,但会在数据集中占用大量空间。

--[no-]linkage-aware-import

[高级] 控制 codeql 数据集导入是否具有链接感知(默认值)__。 对于在数据库创建这一部分占用过多内存的项目,禁用此选项可能有助于其运行,但会牺牲数据库的完整性。

v2.15.3 起可用。

常用选项

-h, --help

显示此帮助文本。

-J=<opt>

[高级] 为运行命令的 JVM 提供选项。

(请注意,无法正确处理包含空格的选项。)

-v, --verbose

以增量方式增加输出的进度消息数。

-q, --quiet

以增量方式减少输出的进度消息数。

--verbosity=<level>

[高级] 将详细级别显式设置为“错误”、“警告”、“进度”、“进度+”、“进度++”、“进度+++”之一。 重写 -v-q

--logdir=<dir>

[高级] 将详细日志写入给定目录中的一个或多个文件,其中生成的名称包括时间戳和正在运行的子命令的名称。

(若要使用可以完全控制的名称编写日志文件,请根据需要提供 --log-to-stderr 并重定向 stderr。)

--common-caches=<dir>

[高级] 控制磁盘上缓存数据的位置,此位置会在多次运行 CLI(例如下载的 QL 包和已编译查询计划)期间暂留。 如果未明确设置,则默认为用户主目录中名为 .codeql 的目录;如果尚不存在,则会创建该目录。

v2.15.2 起可用。