Джон Гилберт родился 10 июля 1897 года в городе Логан, штат Юта, США, в семье театральных актеров.
Дебютировал на киноэкране в 1915 году в возрасте восемнадцати лет в историческом фильме о Гражданской войне между Севером и Югом под названием «Трус». На протяжении последующих пяти лет снимался на второстепенных и эпизодических ролях, успев появиться в 45 фильмах. В 1921 году кинокомпания Fox Film Corporation заключила с Джоном контракт сроком на три года, после чего ему стали предлагать главные роли, в основном романтических героев.
Карьера Гилберта развивалась быстрыми темпами. В 1924 году он перешел в MGM и стал одним из ведущих актеров киностудии.
В фильме-мелодраме о любовном треугольнике, «Плоть и дьявол», с ним в паре впервые играла Грета Гарбо. На съемках между актерами вспыхнул роман, который едва не закончился браком. Впоследствии Гилберт и Гарбо снялись вместе еще в двух картинах.
В 1929 году Гилберт дебютировал в звуковом кино, но карьера его пошла к закату. В 1932 году Гилберт снялся в картине «Вниз по лестнице» по собственному оригинальному сценарию. Фильм получил положительную оценку критиков, но не сумел вернуть былую популярность актера.
Джон Гилберт был четыре раза женат, но все его браки были недолговечными и через пару лет заканчивались разводом. В промежутках между ними Гилберт заводил романы с коллегами по цеху. Известен его роман с Марлен Дитрих, которая была с актером в последние два года его жизни.
Последние годы Гилберт серьезно подорвал здоровье алкоголем.
9 января 1936 года он скончался в Лос-Анджелесе, приняв дозу снотворного и подавившись собственным языком во сне.