После Октябрьской революции Япония активно участвовала в интервенции на Дальнем Востоке России. Попытки советского правительства нормализовать советско-японские отношения оставались безуспешными. Япония была настроена враждебно. Даже разгром Антанты в европейской части России в 1918—1920 годах и укрепление международных позиций Советской России не изменили ситуацию: Япония продолжала уклоняться от признания СССР.
Тогда советские власти 13 февраля 1924 года направили японскому консулу во Владивостоке уведомление о том, что положение консула Японии с этого момента перестает признаваться советской стороной официальным, а сам он будет рассматриваться как частное лицо.
Это для японской стороны оказалось неожиданным. Тем более, что в том же 1924 году СССР установил дипломатические отношения с Великобританией, Францией и Китаем.
В связи с этим очередное предложение Москвы о нормализации межгосударственных отношений было принято Японией. 14 мая 1924 года в Пекине начались официальные советско-японские переговоры. Они завершились 20 января 1925 года подписанием договора, включавшего советско-японскую конвенцию об основных принципах взаимоотношений, ряд деклараций, протоколов и нот, регулирующих взаимодействие сторон.
Все прежние договоры Японии с царской Россией предполагалось пересмотреть. Согласно конвенции, Япония обязалась к 15 мая 1925 года вывести свои войска с территории Северного Сахалина, который после этого переходил под суверенитет СССР.
Договор содержал ряд значительных уступок СССР в пользу Японии, на которые советская сторона пошла ради установления дипломатических отношений. Это было необходимо для стабилизации ситуации на российском Дальнем Востоке, так как признание Японией Советской России вело к прекращению или, по крайней мере, усложнению поддержки японской стороной антисоветских белогвардейских сил на Дальнем Востоке за пределами СССР.