Агрикола родился 13 июня 40 года в семье сенатора, прекрасного оратора Юлия Грецина. Вскоре после рождения сына Грецин был казнён Калигулой, за отказ выступить с обвинительной речью против Марка Юния Силана. Детство Агрикола провёл в Массилии с матерью Юлией Присциллой.
Как сыну сенатора, до начала политической карьеры Агриколе необходимо было пройти военную службу в звании военного трибуна. В 59 году он в первый раз участвовал в походе в Британию и принимал участие в подавлении восстания Боудикки.
После возвращения в Рим Агрикола женился на Домиции Децидиане. Этот брак принес ему почёт и влиятельную поддержку. Все годы до гражданской войны, последовавшей за смертью императора Нерона, Агрикола провёл, не привлекая к себе внимания, без особого стремления к славе или чрезмерному обогащению.
В начале 69 года поместье Агриколы в Лигурии было разграблено мародёрствующими моряками Отона. Во время налёта погибла Юлия Присцилла — мать Агриколы. После этого, прослышав о выступлении Веспасиана, Агрикола принял его сторону.
В 71 году Агрикола получает командование легионом в Британии. Там он продемонстрировал превосходные дипломатические качества и талант военачальника.
В 77 году он был возведён в звание консула, и в 78 году отправился консульским легатом в Британию, где выказал необыкновенную деятельность в качестве полководца и администратора. Он не только укрепил пошатнувшееся владычество римлян в этой отдалённой провинции, но и расширил его до Каледонского плоскогорья.
Летом 84 года Гней Юлий Агрикола разбивает численно превосходящую армию Калгака в битве у Граупийских гор. После этого он был отозван в Рим и впоследствии не получал никаких назначений. Историки объясняют это завистью со стороны императора Домициана. А в связи с неожиданной смертью Агриколы 23 августа 93 года указывают на ходившие в обществе слухи о его отравлении.