Resmi Kaggle API'si Kullanarak Veriseti İndirme

Merhaba,
Kaggle, bir veri bilim yarışması platformudur. Bir çok kurumsal şirket verisetlerini paylaşarak genelde makine öğrenmesi problemlerine çözüm aramaktadırlar.

 

Kaggle, komut satırı üzerinden yarışma bilgilerine, verisetlerine ve hatta sonuçlarınızı gönderebilmeniz için Kaggle API yayınladı.

KURULUM

Python paket yönetimi olan pip ile kolayca kurulum yapabiliriz.

pip install kaggle

KİMLİK DOĞRULAMA

Web sitesi üzerinden https://www.kaggle.com/<KullaniciAdi>/account şeklindeki adresten kendi kullanıcı sayfamıza girelim.

"Create API Token" buttonuna tıklayarak profilimize ait kaggle.json dosyasını indirelim.

Aşağıdaki komut ile kaggle klasörü oluşturalım

mkdir .kaggle

İndirdiğimiz kaggle.json dosyasını Linux kullanıcısı iseniz tam yolu ~/.kaggle/kaggle.json olacak şekilde  ~/.kaggle/ klasörü altına, Windows kullanıcı iseniz tam yolu C:\Users\<Windows-username>\.kaggle\kaggle.json olacak şekilde C:\Users\<Windows-username>\.kaggle klasörü altına taşıyınız.

Linux kullanıcı iseniz günvelik için diğer kullanıcıların okuma izinleri olmaması için aşağıdaki komut ile dosya yetkilendirmesini düzenleyebiliriz.

chmod 600 ~/.kaggle/kaggle.json

Şimdi kullanmaya başlayabiliriz.

 

VERİ SETİ İNDİRME

Verisetleri genel kullanım şekli aşağıdaki gibidir

usage: kaggle datasets list [-h] [-p PAGE] [-s SEARCH] [-v]

optional arguments:
  -h, --help            show this help message and exit
  -p PAGE, --page PAGE  page number
  -s SEARCH, --search SEARCH
                        term(s) to search for
  -v, --csv             print in CSV format
                        (if not set print in table format)

Aşağıdaki komut ile -s arama parametresini ekleyerek Kaggle verisetleri arasından mnist verisetlerini arayalım.

kaggle datasets list -s mnist

Aşağıdaki komut ile yukarıdaki listeden belirlediğimi klasik MNIST verisetine alternatif olarak hazırlanan, 28x28px gritonlu resimlerden oluşan 60.000 eğitim - 10.000 test için ayrılmış olan moda veriseti Fashion MNIST veriseti dosyalarını görelim.

kaggle datasets files -d zalando-research/fashionmnist

 

Ve son olarak aşağıdaki komut ile verisetinin tüm dosyalarını bulunduğumuz klasör altına indirelim.
NOT: -w parametresini bulunduğumuz klasör altına indirilmesini sağlar.

kaggle datasets download -d zalando-research/fashionmnist -w


Fashion-MNIST
verisetinin derin öğrenme algoritmalarıyla eğitilmesi ile ilgili eğlenceli ve teknik detaylı yazıyı Deep Learning Türkiye İngilzce blog sayfasından okuyabilirsiniz.

Veriseti indirmek için veya Kaggle API'nin diğer fonksiyonları için detaylı kullanımı buradan inceleyebilirsiniz.

Güncelleme - Kaggle API v1.1

Güncel versiyona aşağıdaki pip komutu ile geçebilirsiniz.

sudo pip install --upgrade kaggle

 

Referanslar

 

Uzaktan Algılanmada Akademik Çalışmalar için Hiperspektral Görüntüler

Merhaba,
Uzaktan algılamada test olarak kullanılan hiperspektral görüntüler vardır.
Bu  hiperspektral görüntüleri, gerçek referans değer (ground-truth) değerleri ile birlikte buradan indirebilirsiniz.

Üzerinde çalışma yapılacak test görüntülerinin bazılarının detayına bakalım;
Pavia Centre ve Pavia University ROSIS-03 ile elde edilmiştir. ROSIS-03, 115 banda sahiptir. Gürültüden dolayı 12 bant çıkartılmıştır. Uzamsal çözünürlük piksel başına 1,3 m'dir.

Pavia Centre

Italya'daki Pavia Üniversitesi'nde Mühendislik Fakültesi yakınlarında elde edilmiştir.
610x340 pikseldir. 103 banda sahiptir. 9 sınıftan oluşmaktadır.

Class Samples Training Color
0-Not classified 635488 0 #000000
1-Water 65971 824 #0000FE
2-Tree 7598 820 #007F00
3-Meadow 3090 824 #04FF02
4-Brick 2685 808 #FE0002
5-Bare Soil 6584 820 #A95129
6-Asphalt 9248 816 #C1C1C1
7-Bitumen 7287 808 #00FFFD
8-Tile 42826 1260 #F67001
9-Shadow 2863 476 #FFFF00
Total 148152 7456


Pavia University

610x340 pikseldir. 102 banda sahiptir. 9 sınıftan oluşmaktadır.

Class Samples Training Color
0-Not classified 164624 0 #000000
1-Asphalt 6631 548 #C1C1C1
2-Meadow 18649 540 #04FF02
3-Gravel 2099 392 #00FFFD
4-Tree 3064 524 #007F00
5-Metal Sheet 1345 265 #FF01F8
6-Bare Soil 5029 532 #A95129
7-Bitumen 1330 375 #81007F
8-Brick 3682 514 #FE0002
9-Shadow 947 231 #FFFF00
Total 42776 3921


Indian Pine

Kuzey Batı Indiana'daki Indian Pines test sahasında AVIRIS sensörü tarafından toplanmıştır.
224 banddan, 220 ye indirilmiştir. 16 sınıftan oluşmaktadır.

Class Samples Training Color
0-Not classified 10659 0 #000000
1-Corn-no till 1434 50 #031EF4
2-Corn-min till 834 50 #FF5A04
3-Corn 234 50 #FF84FF
4-Soybeans-no till 968 50 #A04F7E
5-Soybeans-min till 2468 50 #6BACFF
6-Soybeans-clean till 614 50 #3F5B71
7-Alfalfa 54 15 #FEFF88
8-Grass/pasture 497 50 #FF00FF
9-Grass/trees 747 50 #5801FD
10-Grass/ pasture-mowed 26 15 #01ACFA
11-Hay-windrowed 489 50 #0CFF07
12-Oats 20 15 #AEAE54
13-Wheat 212 50 #67C03E
14-Woods 1294 50 #8D4431
15-Bldg-grass-tree-drives 380 50 #7CFEB4
16-Stone-steel towers 95 50 #FEFE06
Total 10366 695


Salinas

224 bantlı AVIRIS sensörü tarafından Salinas Valley, California'da toplanmıştır.
Indian Pine'de olduğu gibi 20 bant çıkartılmıştır. 16 sınıftan oluşmaktadır.