Модель стоимости затрат MapReduce-вычислений

Abstract

Приведено описание математической модели стоимости затрат при выполнении MapReduce-заданий в распределенных средах. Выявлено, что общая стоимость всех затрат состоит из стоимости затрат на подготовку кластера к работе и запуск его задач, а также из стоимости ресурсов, необходимых на непосредственное выполнение этих задач. Рассмотрены основные параметры, влияющие на скорость выполнения и количество потребляемых ресурсов при решении задач с использованием парадигмы MapReduce. Определено четыре класса параметров, участвующих в оптимизации MapReduce: поток данных, поля стоимости, статистика потока данных и статистика полей стоимости. Установлен признак линейности модели стоимости затрат при решении задачи поиска частотности слов в массиве документов. Выявлено, что линейность сохраняется при решении задач, требующих последовательного применения нескольких MapReduce-моделей вычислений.