img2dataset 是把 URL 清单批量变成图像数据集的 Python 工具。它负责下载、校验、缩放、分片和写入元数据，可输出普通文件、WebDataset tar、Parquet 或 TFRecord；它不是图片搜索器，也不会替用户解决版权、站点条款和训练数据授权。
来源：github.com/rom1504/img2dataset 查看 GitHub 仓库 → 📘 使用教程 →保留依据是项目仍有可核对的 1.47.0 标签，且官方文档覆盖从单机到 PySpark、Ray 的批量数据准备流程；页面价值应靠准确教程验证，而不是用虚构热度包装。
来源：github.com/rom1504/img2dataset/tree/1.47.0读取 txt、CSV、TSV、JSONL、Parquet 等 URL 清单，输出 files、webdataset、parquet、tfrecord 或 dummy，并把状态、尺寸、错误和哈希写进元数据。
来源：github.com/rom1504/img2dataset单机默认采用多进程加线程池，也可选择 PySpark 或 Ray。并发会直接增加 DNS、带宽、远端站点和本机文件句柄压力。
来源：github.com/rom1504/img2dataset支持尺寸过滤、裁剪或补边、JPEG/PNG/WebP 编码、EXIF 提取、SHA-256 等哈希计算，并可按输入哈希拒绝不匹配文件。
来源：github.com/rom1504/img2dataset默认排除响应头包含 noai、noimageai、noindex 或 noimageindex 的图像。官方允许传空列表关闭该行为，但教程不建议这样做。
来源：github.com/rom1504/img2dataset主入口先用 Reader 把 URL 清单整理为 Arrow 分片，再由 distributor 把分片交给本机多进程、PySpark 或 Ray。每个 Downloader 进程内部开线程请求远端图片，由父线程做解码、缩放和写入；Writer 把样本与元数据落成目标分片，LoggerProcess 汇总统计。
来源：github.com/rom1504/img2dataset/blob/main/img2dataset/architecture.md适合把已经获准使用的 URL 清单整理为训练或评测分片、给大规模下载任务补齐失败状态与哈希、把输出直接接到 PyTorch/JAX/TensorFlow 数据管线。若需求只是读取现成 tar 分片，WebDataset 更直接；若 URL 来源、许可或删除机制不清楚，应先做数据治理，暂缓下载。
来源：github.com/rom1504/img2dataset当前可核对版本是 1.47.0。仓库的 1.47.0 标签与 setup.py 版本一致；之后主分支在 2025-08-16 加入可选的 SSL 证书忽略参数。教程以标签版本为安装基线，并单独说明主分支已有的安全相关变化。
来源：github.com/rom1504/img2dataset/tree/1.47.0status: official_source_checked_not_executed | checked_at: 2026-09-23 | environment: 核对官方 1.47.0 标签、README、setup.py、architecture.md 与 main.py；未安装依赖，未下载任何图片 | limitations: 未实测下载成功率、图片解码安全、吞吐、DNS 调优、PySpark、Ray、云对象存储费用或远端站点限流 | observed_output: setup.py 与 1.47.0 标签一致；源码确认默认拒绝四类 X-Robots-Tag、默认校验证书，overwrite 分支会对输出路径执行递归删除
来源：github.com/rom1504/img2dataset/blob/main/img2dataset/main.py相比 WebDataset，img2dataset 的主要工作发生在数据准备阶段：它从 URL 下载、校验、缩放并产出 tar 等分片；WebDataset 更侧重在训练时顺序读取已经存在的 tar 分片。需要建库时可先用 img2dataset，小规模验收后再用 WebDataset 读取；已有合格分片时，没有必要再跑下载器。
来源：github.com/rom1504/img2dataset (1) · github.com/webdataset/webdataset (2)img2dataset 值得保留给确实需要从获授权 URL 清单建立分片数据集的人。正确顺序是先审查数据权利和输出目录，再用低并发、小样本、默认拒绝指令与 TLS 校验做验收；没有数据来源治理时，性能调优应排在后面。
来源：github.com/rom1504/img2dataset不一定。公开可访问只说明网络能取到文件，不等于拥有复制、训练、再发布或处理个人信息的权利。应先记录来源、许可、用途和删除渠道，并遵守站点条款及适用法律。
1.47.0 默认跳过 noai、noimageai、noindex 和 noimageindex。传空列表虽能关闭过滤，却会忽略站点明确给出的拒绝指令；除非已有单独授权，否则保留默认值。
中断续跑优先用默认 incremental；需要从下一个分片号追加时用 extend。overwrite 会递归删除整个输出目录后重来，只能指向为本任务准备且确认可删除的目录。
不建议。它会关闭证书校验，使下载可能遭受中间人攻击。只有在隔离网络内访问经过核实的自签名服务时才短暂考虑，并应优先把正确 CA 加入信任链。
不合适。先用 8 个线程和 1 个进程观察 CPU、内存、文件句柄、DNS、带宽、错误率与目标站点限流，再逐级增加；大规模任务还要设置速率和失败预算。