Параллельная обработка - не новое понятие. Операционные системы по крайней мере уже лет двадцать имеют дело с моделированием и реальным воплощением параллельного действия компьютеров. Разработчики аппаратных средств занимались проблемами параллелизма еще со времен фон Неймана. Действительно, в ранних проектах машин фон-неймановского типа рассматривались различные свойства параллельной работы.

Однако эти проекты отвергались главным образом из-за низкой надежности компонентов, доступных для конструирования машин. Способствовал реализации возможно более простых проектов и общий недостаток опыта. Ныне производители машин стали предоставлять разработчикам и программистам средства управления при использовании множества процессоров непосредственно для совместного решения одной задачи. Некоторый беспорядок в области параллельного программирования существует в настоящее время благодаря большому разнообразию компьютерных культур, которые стали источниками терминологии, используемой энтузиастами параллельного программирования. Часто это приводит к ситуациям, когда одно базовое понятие может быть описано тремя или четырьмя словами или фразами, которые имеют почти, но не полностью идентичный смысл.

Еще большее расхождение в терминологии возникает из-за различия между машинами с общей памятью и с передачей сообщений. Каждый тип машины может моделировать машину другого типа, однако хорошо видна линия раздела, что, конечно, отражается в двух перекрывающихся, но не идентичных множествах терминов для родственных понятий.