Село Верхние Раковые Рясы упоминается в 1676 году. Эти места стали ускоренно заселяться в период строительства, так называемой, Белгородской черты (1635-1658 гг.). Здесь селились служилые люди, состоявшие во второй запасной охранной линии. Позднее село Верхние Раковые Рясы получило название «Голожохово». Название образовано из двух слов – «голый» и «жох» (место). Голожохово – поселение на голом месте.
В Описании церквей и монастарей Рязанской епархии, которое было составлено И. Добролюбовым, имеется информация о том, что накануне 1676 года в селе была построена деревянная церковь св. Георгия Победоносца.
Вместо этого деревянного храма в 1787 году была поставлена по храмозданной грамоте Тихона II епископа Воронежского и Задонского и освящена 13 ноября того же года в прежнее храмонаименование новая деревянная церковь. В 1850 году при ней построена колокольня.
В 1864 году Георгиевская церковь упомянута как ветхая, а в 1868 году начато строительство нового каменного храма. В 1875 году храм был освящён во имя святого великомученика Георгия Победоносца с приделом в честь Смоленской иконы Божией Матери. Начатая одновременно с церковью постройка колокольни была окончена в 1879 году.
В 1880 году деревянная церковь была разобрана и продана в село Домачи, а на её месте построена часовня.
При церкви имелась церковно-приходская школа и библиотека. В 1890-х годах при храме действовало церковно-приходское попечительство.
В 1908 году прихожане приступили к расширению своего храма. Можно отметить, что после расширения храм стал необычен по своей планировке: он имел 4 апсиды.
В 1932 году храм был закрыт после ареста священника Мирона Тимофеевича Ледовских. А в 1959 году Голожохово переименовано в Первомайское.
В 1988 году колхоз «Красный Путиловец», который все эти годы использовал здание Георгиевской церкви под склад, капитально отремонтировал его и оборудовал под спортивный зал.
По просьбе местных жителей 27 сентября 1990 года храм Смоленской иконы Божией Матери возвращён верующим. Первое богослужение состоялось в 1991 году. В настоящее время является действующим храмом.