Мы не можем пока однозначно определить «время», но мы с высокой точностью определяем «интервал времени» или «длительность» (см. определение секунда из википедии) и в этом нет ничего субъективного. Эталон интервала времени − «секунда» относится к числу основных единиц измерения как для точных наук, так и в быту.
Эффект замедления времени из-за скорости движения или в присутствии массивного тела (кривизны пространства-времени) представляет собой увеличение длительности эталона интервала времени согласно формулам теории относительности и является объективной величиной. Например на орбитах GPS спутников часы тикают приблизительно на 38 мксек в день быстрее, чем на поверхности Земли и это научный факт.
А на вопрос − почему, ответ пока один − это особенность пространства-времени нашей Вселенной, которая строго описывается в рамках теории относительности Эйнштейна.