有哪些常用昆虫图像分类数据集？

Question

在昆虫图像分类研究中，常遇到哪些公开可用的高质量数据集？现有数据集中普遍存在类别不平衡、图像分辨率不一或标注不一致的问题，例如IP102和BugGuide虽应用广泛，但前者偏重农业害虫，后者涵盖范围广却缺乏统一分类体系。如何选择适合特定应用场景（如田间识别或生物多样性监测）的数据集，并进行有效的预处理与增强，成为模型性能提升的关键挑战。此外，跨地域昆虫种类差异大，数据集的地理代表性也成为影响泛化能力的重要因素。

Answer 1

一、昆虫图像分类研究中的高质量公开数据集与挑战分析

1. 常见的公开可用高质量昆虫图像数据集

在昆虫图像分类任务中，选择合适的数据集是构建高效模型的基础。以下是一些被广泛引用和使用的公开数据集：

• IP102：由中国农业大学发布，包含102类农业害虫，共计约75,000张图像，聚焦于田间作物害虫识别。
• BugGuide：由美国自然爱好者社区维护，涵盖超过6,000种北美昆虫，图像数量超百万，但标注体系松散，分类层级不统一。
• InsectNet：基于Flickr和iNaturalist整理的大规模数据集，覆盖全球范围，包含多地域、多生态类型的昆虫图像。
• iNaturalist Insects：属于iNaturalist平台子集，具备GPS地理标签和时间戳，适合生物多样性监测场景。
• Korea Beetle Dataset：韩国发布的甲虫专项数据集，分辨率高，标注规范，但种类有限。
• INSECTA：欧洲团队构建的标准化昆虫图像集合，强调形态学一致性，适用于实验室级精细分类。
• AI-Challenge-Insects：阿里云天池竞赛提供，含清洗后的中国常见昆虫图像，类别分布较均衡。
• PlantVillage Insect Pest Dataset：与植物病害关联的害虫图像，适合农业自动化系统集成。
• TropicsInsects：热带雨林地区采集的昆虫图像，突出物种多样性与环境复杂性。
• SCAN (Smithsonian Collections of Arthropod Names)：博物馆标本数字化图像，权威性强，但拍摄条件受限。

2. 数据集核心问题剖析：类别不平衡与标注异构性

数据集名称	类别数	图像总数	主要应用领域	典型缺陷
IP102	102	~75,000	农业害虫识别	类别严重不平衡，部分类不足百张
BugGuide	>6,000	>1,000,000	通用识别	无统一分类标准，存在同物异名
InsectNet	1,200+	~800,000	跨地域研究	分辨率跨度大（300x300 至 4K）
iNaturalist Insects	8,500+	~2M	生物多样性监测	用户上传噪声多，重复率高
Korea Beetle	50	15,000	形态学分析	地理代表性弱，仅限东亚
INSECTA	200	60,000	科研验证	获取难度高，未完全开放
AI-Challenge-Insects	80	40,000	竞赛与算法测试	背景单一，泛化能力存疑
PlantVillage Pest	30	10,000	植保系统集成	仅包含与作物交互的害虫
TropicsInsects	350	90,000	生态研究	光照差异显著，遮挡严重
SCAN	1,100	50,000	分类学参考	非自然状态，缺乏活体特征

3. 应用场景驱动的数据集选择策略

针对不同应用场景，应采用差异化选型逻辑：

1. 田间识别系统：优先选用IP102或PlantVillage Pest，因其贴近真实农田环境，且与农事活动高度相关。
2. 城市绿地生物多样性监测：推荐iNaturalist Insects，其具备时空元数据支持，便于长期动态建模。
3. 跨境昆虫传播预警：需结合InsectNet与TropicsInsects，利用地理标签进行迁移学习。
4. 教学与科普平台：BugGuide可作为辅助资源，但需建立映射表以对齐Linnaean分类体系。
5. 新物种发现支持系统：建议融合SCAN标本图像与野外实拍数据，增强模型对细微结构的敏感度。

4. 数据预处理与增强技术路径

import cv2
import albumentations as A
from imblearn.over_sampling import SMOTE

# 图像标准化 pipeline
transform = A.Compose([
    A.Resize(256, 256),
    A.CLAHE(p=0.5),  # 增强对比度
    A.RandomBrightnessContrast(p=0.3),
    A.HorizontalFlip(p=0.5),
    A.Rotate(limit=30, p=0.4)
])

def preprocess_image(img_path):
    image = cv2.imread(img_path)
    image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
    augmented = transform(image=image)['image']
    return augmented / 255.0  # 归一化

5. 解决类别不平衡与提升泛化能力的综合方案

graph TD
    A[原始数据集] --> B{是否存在类别不平衡?}
    B -- 是 --> C[采用重采样: SMOTE/Class Weight]
    B -- 否 --> D[直接划分训练集]
    C --> E[应用数据增强策略]
    D --> E
    E --> F[引入地理感知损失函数]
    F --> G[使用Vision Transformer进行迁移学习]
    G --> H[在多个地理区域验证泛化性能]
    H --> I[输出最终分类模型]