Александр Николаевич Яковлев родился 2 декабря 1923 года в деревне Королёво Ярославской губернии. Участвовал в Великой Отечественной войне, служил рядовым в артиллерийской части, а затем командиром взвода на Волховском фронте в составе 6-ой бригады морской пехоты.
После войны Яковлев окончил исторический факультет Ярославского педагогического института им. К.Д. Ушинского. В 1956–1959 годах стажировался в аспирантуре на кафедре международного коммунистического и рабочего движения.
В 1960 году окончил аспирантуру Академии общественных наук при ЦК КПСС, защитил кандидатскую диссертацию по теме: «Критика Американской буржуазной литературы по вопросу внешней политики США 1953–1957 годов».
С 1984 года Яковлев становится членом-корреспондентом, а с 1990 года действительным членом Академии наук СССР (сейчас РАН).
Яковлев стоял у истоков организации второй программы Всесоюзного радио – Радиостанции «Маяк», которая начала вещание в 1964 году. Вместе с академиком Т. И. Заславской выступал за сохранение и поддержку так называемых «неперспективных деревень».
В ноябре 1972 года опубликовал в «Литературной газете» свою знаменитую статью «Против антиисторизма», в которой выступил против национализма и шовинизма, в результате чего был отправлен послом в Канаду, проведя там с 1973 по 1983 годы.
После распада СССР с января 1992 года занимал пост вице-президента Фонда социально-экономических и политологических исследований. В январе 2004 года вошёл в состав «Комитета-2008: Свободный выбор». 28 апреля 2005 вошёл в наблюдательный совет общественной организации «Открытая Россия».
Умер 18 октября 2005 года. Похоронен на Троекуровском кладбище в Москве.