Николай Дмитриевич Зелинский родился (25 января) 6 февраля 1861 года в городе Тирасполе Херсонской губернии в семье дворян. Когда Коля бы еще совсем маленький, один за другим от чахотки умерли его родители, и мальчик остался на попечении бабушки. Она закаляла мальчика, и он рос здоровым и активным. Учился в Тираспольском уездном училище и Решельевской гимназии в Одессе. Химией он заинтересовался рано, в 10 лет.
Учился в Новороссийском университете, где преподавали выдающиеся ученые И. М. Сеченов, И. И. Мечников, Н. Н. Соколов, Н. А. Умов, А. О. Ковалевский и др. Выбрав в качестве специализации органическую химию, Зелинский успешно окончил университет в 1884 году и был оставлен на кафедре химии. Он проходил стажировку в Германии, где в результате химических опытов им был получен отравляющий газ иприт, и он сам стал первым пострадавшим от него.
Зелинский преподавал в Новороссийском университете, продолжая научные изыскания. Защитил магистерскую и докторскую диссертации. В 1893 году переехал в Москву. В Москве им было опубликовано более 200 научных работ, он впервые открыл доступный метод выделения альфа-аминокислот, разъяснил схему реакции, получил различные аминокислоты. Зелинский является автором термического крекинга нефти.
В 1911 году Зелинский перебрался в Петербург. В годы Первой мировой войны продолжал исследование нефти, повысил процент выхода толуола (это имело большое значение для изготовления взрывчатых веществ). Зелинский разработал угольный противогаз для защиты от отравляющих веществ, который уже к середине 1916 года был запущен в массовое производство.
Зелинский был почетным членом Московского общества испытателей природы, трижды был лауреатом Государственной премии СССР. В 1945 году Зелинский был удостоен звания Героя Социалистического Труда. Именем ученого назван Институт органической химии в Москве.
Николай Дмитриевич Зелинский скончался в Москве 31 июля 1953 года.