Герман Холлерит родился 29 февраля 1860 года в городе Буффало (США) в семье немецких иммигрантов. В 1879 году он окончил Горную школу при Колумбийском университете и стал ассистентом профессора У.Трубриджа сначала в Колумбийском Университете, а затем и в Бюро по переписи населения, сотрудником которого также являлся Трубриджа.
С 1882 года Холлерит преподает в Массачусетском Технологическом институте, а в 1884 году перешел на работу в Патентное ведомство США.
Но в историю Герман Холлерит вошел как создатель электрической табулирующей системы. В 1888 году он создает особое устройство — табулятор.
По принципу действия эта система была очень проста: данные, отмеченные в картах дырочками штампом, наподобие пишущей машинки, снимались машиной и переносились на счетный механизм. Каждое положение дырочки обозначало определенное значение, которое суммировалось на числовых часах.
Это изобретение имело значительный успех при переписях населения США в 1890 и 1900 годах.
В 1896 году Герман Холлерит создал компанию TMC по сбыту своих табулирующих машин. В 1911 году он продал свою компанию, и она вошла в промышленный конгломерат C-T-R, созданный предпринимателем Чарльзом Флинтом. В 1924 году C-T-R была переименована в IBM.
Умер Герман Холлерит 17 ноября 1929 года.