首页 / AI Trending / rom1504/img2dataset

rom1504/img2dataset

⭐ 4,400 Stars 🍴 375 Forks Python MIT

img2dataset 是一个用于将大量图像 URL 转换为图像数据集的工具，支持下载、调整大小和打包图像。

来源：据 README 描述 查看 GitHub 仓库 →

为什么值得关注

img2dataset 受关注的原因包括其高效处理大量图像的能力，支持多种数据格式和集成，以及易于使用的命令行界面。它填补了在机器学习和数据科学领域快速构建图像数据集的需求空白。

来源：综合 README 描述和项目特征

核心功能

图像下载与转换

从提供的 URL 列表下载图像，并根据指定的大小和格式进行转换。

来源：据 README 描述
数据集打包

将下载和转换后的图像打包成不同的格式，如文件、tar 包、parquet 或 tfrecord。

来源：据 README 描述
支持多种数据格式

支持多种输入和输出格式，包括 txt、csv、tsv、json、parquet 等。

来源：据 README 描述

技术架构

img2dataset 采用模块化设计，包括下载器、转换器、打包器和日志记录器等模块。数据从 URL 列表读取，经过下载、转换和打包后存储。关键的技术决策包括使用 OpenCV 进行图像处理和 Pandas 进行数据处理。

来源：代码目录结构 + 依赖文件

技术栈

infra: 无特定基础设施，可在本地或云端运行  |  key_deps: opencv-python-headless, pandas, webdataset, pyarrow, exifread-nocycle, albumentations, dataclasses, wandb, fsspec  |  language: Python  |  framework: 无特定框架，采用标准库和第三方库

来源：依赖文件 + 代码目录结构

快速上手

pip install img2dataset img2dataset --url_list=myimglist.txt --output_folder=output_folder --thread_count=64 --image_size=256
来源：README Installation/Quick Start

使用场景

img2dataset 适用于需要快速构建图像数据集的机器学习和数据科学项目。具体场景包括：构建图像识别训练数据集、创建图像分类数据集、进行图像增强研究等。

来源：README

优势与局限

优势

  • 优势1：高效处理大量图像数据
  • 优势2：支持多种数据格式和打包选项
  • 优势3：易于使用和配置

局限

  • 局限1：依赖外部库较多，可能需要额外配置
  • 局限2：没有图形用户界面，仅支持命令行操作
来源：综合 README、代码结构和依赖分析

最新版本

1.47.0 (2025-08-09): 1.47.0 1.46.0 (2025-08-09): 1.46.0 1.45.0 (2024-01-22): 1.45.0 1.44.1 (2024-01-11): 1.44.1 1.44.0 (2024-01-11): 1.44.0

来源：GitHub Releases

总结评价

img2dataset 是一个功能强大的图像数据集构建工具，适合需要快速构建和打包图像数据集的机器学习和数据科学团队使用。它提供了高效的数据处理能力和灵活的配置选项，但可能需要一定的技术背景来充分利用其功能。

来源：综合分析
透明度声明
本页内容由 AI（大语言模型）基于以下公开材料自动生成：GitHub README、代码目录结构、依赖文件、Release 信息。 分析时间：2026-04-12 12:33。质量评分：85/100。 所有结论均标注了数据来源。如发现不准确之处，欢迎反馈。

数据来源： README、GitHub API、依赖文件