Модель распределенных вычислений MapReduce

Abstract

Предмет исследования данной статьи – алгоритмы и методы эффективной обработки и анализа данных большого объема, основанных на использовании парадигмы распределенных вычислений в компьютерных кластерах MapReduce. Рассмотрена общая схема работы, область применения и принципы параллельной реализа-ции MapReduce вычислений на кластерных системах. Выявлены основные стадии обработки информации в исследуемой модели: Map (предварительная обработка данных), Combine (частичная агрегация данных по ключу), Shuffle (разделение данных на секции и сортировка проме-жуточных пар по ключу), Reduce (свертка обработанных данных). Разработана классификация алгоритмов и методов решения задач, использующих описанную модель распределенных вычислений.