Народився Микола Васильович у родині генерал-лейтенанта артилерії, онука швейцарського архітектора, запрошеного до Росії Петром І. Коли йому виповнилось шість років, батьки переїжджають до м. Шостка. Батько Миколи Василь Васильович Гербель (1790–1870) на початку 1833 року зайняв посаду командира Шосткинського порохового заводу (1833–1849). Закінчив відомий благородний пансіон при 1-й Київській гімназії, після — Ніжинський ліцей. У 1848 році став юнкером Ізюмського гусарського полку і вже 1849 року брав участь в угорському поході. Після походу перебував на Волині і Поділлі, в місцях де квартирував полк. 1851 року переведений у Петербург, до лейб-гвардії уланського полку, а 1859 року вийшов у відставку зі званням штаб-ротмістр.

1852 року у Петербурзі Гербель випустив книгу «Изюмский слободской казачий полк. 1651–1765», яка і по сьогоднішній день залишається важливим джерелом з історії України. Друкував також вірші «На 200-летие Изюмского гусарського полка», у газеті «Русский Инвалид» — статті з історії полка. Інші відомі історичні праці Гербеля: «Нежин» (1852 р.), «Лицей князя Безбородько».

Проте найбільше Гербель відомий як перекладач. Найвідоміший його переклад «Слово о полку Ігоревім» під назвою «Игорь князь Северский» (СПб., 1854). Окремими виданнями вийшли переклади Гербеля англійських, американських, німецьких, слов'янських поетів, зокрема сонетів Шекспіра (СПб., 1880), віршів та поем Байрона (СПб., 1873).

Як редактор та видавець Гербель перший в Росії здійснив широке видання відомих іноземних поетів російською мовою: Ф. Шиллера у 9 томах, Дж. Байрона у 5 томах, В. Шекспіра у 4 томах, Е. Гофмана у 4 томах, Й. Гете у 10 томах.

Підготував та видав антології: «Поезія слов'ян» (1871), «Англійські поети у біографіях та зразках» (1875), «Німецькі поети у біографіях та зразках» (1877). Видав також антологію «Російські поети у біографіях та зразках» (1873). У вільній друкарні за кордоном він випустив заборонені в Росії вірші О. Пушкіна (1861), К. Рилеєва (1861) та «Збірник віршів декабристів» (1862). Вів активну співпрацю з О. Герценом та М. Огарьовим у Лондоні. У 1860 р. у Петербурзі видав «Кобзар» Тараса Шевченка в перекладі російських поетів, що пізніше був тричі перевиданий. 1862 року перевидав там же літературну спадщину Євгена Гребінки з його життєписом.

Вірші самого Миколи Гербеля, небагаточисельні, побачили світ у 2-х томах 1882 року у Петербурзі. У спогадах відомого художника Миколи Ге, згадується, з яким захопленням Герцен читав твори Шевченка у його перекладі: «Боже, что за прелесть, так и повеяло чистой нетронутой степью, это ширь, это свобода».

Микола Гербель познайомився з Тарасом Шевченком у 1846 році у Ніжині, коли ще навчався у ліцеї, згодом зустрічався з ним у Петербурзі. Тоді, у Ніжині, Шевченко записав в альбом Гербеля початок свого вірша «Гоголю» і подарував йому автограф вірша «Л» («Поставлю хату і кімнату»). Альбом Гербеля з обома автографами Шевченка зберігається у Відділі рукописів Державної публічної бібліотеки ім. М. Є. Салтикова-Щедріна у Санкт-Петербурзі (РФ).

У 1856 році Гербель надрукував у журналі «Библиотека для чтения» свій переклад вірша «Думка» («Нащо мені чорні брови»), що став першим опублікованим російським перекладом творів Шевченка. Він же перший, у 1869 році, переклав на російську «Заповіт» українського поета. Всього Гербель переклав 18 творів Шевченка, зокрема, і поему «Гайдамаки».

Про Миколу Гербеля згадує також у своїх споминах про роки гімназії Михайло Грушевський: «Дуже приємно було читати розділи про українську літературу в хрестоматії «Поезія слов'ян» Гербеля — вона трактувалася тут як справжня література, і се страшенно мене тішило по тодішніх часах».

Помер Микола Васильович Гербель 20 березня 1883 року у Петербурзі.