Деревянная церковь Успения Пресвятой Богородицы впервые упоминается в документах в 1681 году. Находилась она в центре слободы Грайвороны, на Торговой площади. Как и все первоначальные строения, она сгорела во время пожара 1848 года.
После 1856 года на том же месте начали возводить каменный собор Успения Пресвятой Богородицы. Завершили строительство в 1884 году. Восьмигранную колокольню достраивали позже. Главный большой колокол весом в триста пудов подняли уже накануне революции 1905 года.
Собор имел три алтаря. Главный был освящён во имя Успения Божьей Матери, правый (южный) алтарь – во имя великомученицы Екатерины, левый (северный) – во имя святителя Иоасафа Белгородского.
При соборе имелось 76 сажен земли, здесь же располагались сторожка и церковно-приходская школа, в которой обучались 30 мальчиков и 20 девочек.
Мелодичный малиновый звон восьми соборных колоколов слышался за пять километров. Людей стекались сюда послушать красивые богослужения. Церковный хор исполнял не только древние православные напевы, но и литургию Чайковского, всенощную Рахманинова, напевы Бортнянского.
В соборе одновременно служило три священника, дьякон и регент. Литургии совершались ежедневно (иереи менялись в порядке установленной очереди), а по большим праздникам «соборно», то есть всем клиром.
Собор был самой посещаемой церковью Грайворонского уезда.
В 1928 году собор был закрыт, во время Великой Отечественной войны частично разрушен, окончательно снесён в 50-е годы ХХ века.