Resmi Kaggle API'si Kullanarak Veriseti İndirme

Merhaba,
Kaggle, bir veri bilim yarışması platformudur. Bir çok kurumsal şirket verisetlerini paylaşarak genelde makine öğrenmesi problemlerine çözüm aramaktadırlar.

 

Kaggle, komut satırı üzerinden yarışma bilgilerine, verisetlerine ve hatta sonuçlarınızı gönderebilmeniz için Kaggle API yayınladı.

KURULUM

Python paket yönetimi olan pip ile kolayca kurulum yapabiliriz.

pip install kaggle

KİMLİK DOĞRULAMA

Web sitesi üzerinden https://www.kaggle.com/<KullaniciAdi>/account şeklindeki adresten kendi kullanıcı sayfamıza girelim.

"Create API Token" buttonuna tıklayarak profilimize ait kaggle.json dosyasını indirelim.

Aşağıdaki komut ile kaggle klasörü oluşturalım

mkdir .kaggle

İndirdiğimiz kaggle.json dosyasını Linux kullanıcısı iseniz tam yolu ~/.kaggle/kaggle.json olacak şekilde  ~/.kaggle/ klasörü altına, Windows kullanıcı iseniz tam yolu C:\Users\<Windows-username>\.kaggle\kaggle.json olacak şekilde C:\Users\<Windows-username>\.kaggle klasörü altına taşıyınız.

Linux kullanıcı iseniz günvelik için diğer kullanıcıların okuma izinleri olmaması için aşağıdaki komut ile dosya yetkilendirmesini düzenleyebiliriz.

chmod 600 ~/.kaggle/kaggle.json

Şimdi kullanmaya başlayabiliriz.

 

VERİ SETİ İNDİRME

Verisetleri genel kullanım şekli aşağıdaki gibidir

usage: kaggle datasets list [-h] [-p PAGE] [-s SEARCH] [-v]

optional arguments:
  -h, --help            show this help message and exit
  -p PAGE, --page PAGE  page number
  -s SEARCH, --search SEARCH
                        term(s) to search for
  -v, --csv             print in CSV format
                        (if not set print in table format)

Aşağıdaki komut ile -s arama parametresini ekleyerek Kaggle verisetleri arasından mnist verisetlerini arayalım.

kaggle datasets list -s mnist

Aşağıdaki komut ile yukarıdaki listeden belirlediğimi klasik MNIST verisetine alternatif olarak hazırlanan, 28x28px gritonlu resimlerden oluşan 60.000 eğitim - 10.000 test için ayrılmış olan moda veriseti Fashion MNIST veriseti dosyalarını görelim.

kaggle datasets files -d zalando-research/fashionmnist

 

Ve son olarak aşağıdaki komut ile verisetinin tüm dosyalarını bulunduğumuz klasör altına indirelim.
NOT: -w parametresini bulunduğumuz klasör altına indirilmesini sağlar.

kaggle datasets download -d zalando-research/fashionmnist -w


Fashion-MNIST
verisetinin derin öğrenme algoritmalarıyla eğitilmesi ile ilgili eğlenceli ve teknik detaylı yazıyı Deep Learning Türkiye İngilzce blog sayfasından okuyabilirsiniz.

Veriseti indirmek için veya Kaggle API'nin diğer fonksiyonları için detaylı kullanımı buradan inceleyebilirsiniz.

Güncelleme - Kaggle API v1.1

Güncel versiyona aşağıdaki pip komutu ile geçebilirsiniz.

sudo pip install --upgrade kaggle

 

Referanslar