Новые компоненты для работы с Kaggle

В составе библиотеки Python Kits появился новый пакет — Loginom Kaggle Kit. Он помогает работать с соревнованиями Kaggle.

С помощью этого пакета вы можете скачивать и распаковывать датасеты для соревнований напрямую с репозитория Kaggle, отправлять свои решения (submits), просматривать оценки (scores) и таблицу лидеров (leaderboard).

Для использования Kaggle Kit нужно установить python-библиотеку kaggle: https://pypi.org/project/kaggle/. Также необходимо скачать токен kaggle.json из аккаунта на kaggle.com в разделе API и поместить его в один из каталогов ОС:

1. C:\Windows\System32\config\systemprofile\.kaggle — для серверной редакции Loginom
2. C:\Users\имя_пользователя\.kaggle — для настольной редакции Loginom.

Работа с данными компонентами будет продемонстрирована 15 августа на мастер-классе Решение задачи Kaggle Home Credit Default Risk.

Гибкое сохранение артефактов

Особенностью работы с библиотеками, где происходит обучение моделей, состоит в том, что необходимо сохранять сериализованные объекты языка Python в формате pickle и joblib на диске. Их еще называют артефактами.

Мы провели работу над тем, чтобы артефакты сохранялись в директорию, где расположен текущий пакет, в котором используются компоненты библиотеки. Ранее по умолчанию они сохранялись в директорию, где была расположена сама библиотека, что было неудобно.

Однако необходимо учитывать ряд особенностей самих компонентов, чтобы обеспечить сохранение артефактов в относительную директорию.

При работе с компонентами библиотеки sklearn_kit, например с универсальными узлами-учителями, такими как model.fitter и simple.fitter, требуется связать значения переменной пакета DerivedPackageFilePath и переменной на входе компонентов Путь к файлу. Такая же логика используется у компонентов библиотеки optbinning_kit.

У мета-компонентов, предоставляющих готовые настройки из библиотеки sklearn_meta, есть переменная Текущий путь к файлу, которая передает относительный путь к пакету, если на входе этих компонентов переменная Путь к файлу имеет пустое значение NULL.

У компонентов библиотеки category_kit логика сохранения артефактов в относительную директорию включена по умолчанию, если переменная Путь к файлу остается пустой. Так же это касается и компонентов для сохранения и загрузки config.

Прочие улучшения

• Проверка существования директории и возможность записи в нее перед обучением модели.
• Оптимизация импортируемых модулей языка Python для повышения производительности.
• Переход на безопасные функции импорта модулей, обработки параметров, вызова методов моделей и предсказаний.

Напоминаем, что вы можете узнать, как эффективно пользоваться библиотекой Python Kits на прошедшем воркшопе Машинное обучение из Python в Loginom.

Все электронные курсы Loginom Skills, использующие библиотеку Python Kits, были обновлены до актуальной версии.