Рудольф Дизель родился 18 марта 1858 года в Париже в семье переплетчика книг. Обучался в Германии, закончил училище, а затем Аугсбургскую политехническую школу. После этого был приглашен в Мюнхенскую Высшую техническую школу, которую в 1880 году закончил, сдав выпускные экзамены с лучшими результатами с начала ее существования.
27 февраля 1892 года Дизель подает заявку на получение патента на «новый рациональный тепловой двигатель». Год спустя он получает патент под названием «Метод и аппарат для преобразования высокой температуры в работу» в императорском патентном бюро в Берлине.
С 1893 года Дизель ведет разработки нового двигателя на Аугсбургском машиностроительном заводе при финансовом участии компаний Фридриха Круппа и братьев Зульцер. Первый функционирующий двигатель был создан Дизелем там же в 1897 году. Мощность двигателя составляла 20 лошадиных сил при 172 оборотах в минуту, КПД 26.2 % при весе 5 тонн.
Это намного превосходило существующие двигатели Отто с КПД 20 % и судовые паровые турбины с КПД 12 %, что вызвало немедленный интерес промышленности. Двигатель Дизеля сразу же нашел применение и был по достоинству оценен во многих странах.
1 января 1898 года Дизель открыл собственный завод по производству дизельных двигателей. Работа шла успешно. Первый корабль с дизельным двигателем был построен в 1903 году, через пять лет построен первый дизельный двигатель малых размеров, первый грузовой автомобиль и первый локомотив на дизельном двигателе. В 1936 году впервые запущен в серию легковой автомобиль на дизельном двигателе (Мерседес-Бенц-260D).
29 сентября 1913 года Рудольф Дизель отправился из Антверпена на борту парома «Дрезден» в Лондон на открытие нового завода от одной из компаний, которая производила двигатели его конструкции. После того, как вечером он отправился в свою каюту, его больше никто не видел. Через несколько недель немецкими рыбаками были предъявлены для опознания два кольца, снятые с тела хорошо одетого мужчины, найденного в море.
По морскому обычаю тело оставили в воде. Сын Рудольфа Дизеля опознал кольца, как принадлежащие его отцу. Выдвигались версии о самоубийстве или убийстве Дизеля. Точные обстоятельства его смерти так и не были выяснены.