WildlifeDatasets: 動物の再識別のためのオープンソースツールキット: パフォーマンス評価

リンク一覧

6. パフォーマンス評価

私たちのアブレーション研究から得られた洞察により、MegaDescriptors が作成されました。これは、公開されているすべての動物の re-id データセットを使用して、ArcFace 損失と最適なハイパーパラメータで最適化された Swin トランスフォーマー ベースのモデルです。

期待される結果を検証するために、メトリック学習とローカル特徴アブレーションの場合と同様の比較を実行し、MegaDescriptor を CLIP (ViT-L/p14-336)、ImageNet-1k (Swin-B/p4-w7-224)、および DINOv2 (ViT-L/p14-518) の事前トレーニング済みモデルと比較します。Swin-L/p4-w12-384 バックボーンを備えた提案された MegaDescriptor は、すべてのデータセットで一貫して機能し、29 のデータセットすべてですべての方法よりも優れています。特に、ほぼすべての視覚タスクに対応する最先端の基礎モデルである DINOv2 は、入力サイズがはるかに大きく (518 × 518)、バックボーンが大きいため、動物の再識別でのパフォーマンスが低下します。

6.1. 目に見えるドメインと目に見えないドメインのパフォーマンス

このセクションでは、提案された MegaDescriptor がさまざまなデータセットから学習した特徴を効果的に活用する方法と、最初に微調整されたデータセットを超えて一般化する能力について説明します。この実験を実行することで、MegaDescriptor が既知のドメイン (既知) と未知のドメイン (未知) でどのように機能するかを模倣します。

一般化機能は、MegaDescriptor-B と、1 つのドメイン (牛) から利用可能なすべてのデータセット (AerialCattle2017、FriesianCattle2015、FriesianCattle2017、Cows2021、OpenCows2020 など) を使用して評価します。最初の突然変異 (同じデータセット) は、すべてのデータセットのトレーニング データでトレーニングされ、テスト データで評価されました。2 番目の突然変異 (確認済みドメイン) では、ドメインの一部のみをトレーニングに使用し、OpenCows2020 および Cows2021 データセットは除外されました。3 番目の突然変異 (未確認ドメイン) では、すべての牛データセットをトレーニングから除外します。

MegaDescriptor-B は、CLIP および DINOv2 と比較して、大幅に優れた、または競争力のあるパフォーマンスを発揮します (図 7 を参照)。これは、牛固有の特徴だけでなく、MegaDescriptor が利用できる機能に起因します。トレーニング セットから 2 つの牛データセット (OpenCows2020 および Cows2021) を除外すると、これら 2 つのデータセットでの MegaDescriptor のパフォーマンスはわずかに低下しますが、それでも DINOv2 よりは大幅に優れたパフォーマンスを発揮します。MegaDescriptor は、トレーニングから牛の画像を削除しても、牛データセットで妥当なパフォーマンスを維持します。これは、あらゆる動物データセットの再識別に不可欠な一般的なきめ細かい特徴を学習し、その後この知識を牛の再識別に転用するためだと考えています。