Храм Пророка Илии в Сумах был построен до 1705 года, поскольку в некоторых документах есть упоминания о службах, проходивших в этом храме. До 1720 года священником в этом храме был Антоний Словенский, рукоположенный в 1705 году Преосвященным Иустином (Базилевичем), митрополитом Белгородским и Обоянским. В 1732 году при церкви уже была церковно-приходская школа, а службы исполняли два священника. В 1792 году в результате пожара церковь сгорела. И 20 мая 1793 года по благословению Феоктиста (Мочульского), епископа Белгородского и Курского, началось строительство нового деревянного храма, которое было завершено в ноябре того же года. В июле 1836 года, по благословению Мелетия (Леонтовича), архиепископа Харьковского и Ахтырского, началось строительство каменной церкви, которое было прервано 23 августа 1839 года большим пожаром, уничтожившим почти весь город, в том числе и старый деревянный храм. В 1844 году строительство возобновилось и завершилось в 1851 году стараниями купца Степана Игнатьевича Тихонова. Он употребил до 1500 рублей серебром своего капитала на дом Божий. В 1845 году был освящен придельный престол Свт. Митрофана на хорах, а в 1851  главный храм. Серебряные ризы к четырем местным иконам  Спасителя, Божией Матери, Иоанна Предтечи и Пророка Илии -  спасенным при пожаре, пожертвовал в 1786 году секретарь Иван Емельянович Стрельченко. При пожаре было спасено также Евангелие, позолоченное, в серебряном окладе.

Сегодня среди многих чтимых икон, привезенных из Святых Мест, предметом особого благоволения являются иконы Святителей  Митрофана Воронежского и Тихона Задонского с частицами мощей, икона Свт. Николая, освященная на его мощах в Бари, Толгская и Казанская иконы Божией Матери. В ограде Ильинского храма 2 августа 1998 года в престольный праздник архиепископом Сумским и Ахтырским Ионафаном была освящена часовня в честь Свт. Тихона Задонского

Ильинская церковь построена в стиле классицизма. Храм однокупольный, четырехпрестольный, с пристроенной трехъярусной колокольней. Иконостас деревянный резной, в центральной части  трехъярусный. При храме были церковно-приходская школа и земское училище.

По Справочной книге для Харьковской епархии Ивана Самойловича, в 1904 году земли усадебной, пахотной и сенокосов нет, хворостяного леса  13 десятин 595 сажен. Прихожан мужского пола 3403 и женского  3499. Причта по штату положено: два священника, диакон и два псаломщика. К приходу приписаны хутора Гаек, Косовщина, Кононенко, Бульбовщина и Россоховатый.

Священник Иоанн Дмитриев, 45 лет, окончил курс в семинарии, в сане с 1884 года. Занимал должность законоучителя прогимназии и в 2-х классном городском училище. Священник Филарет Григорович, 62 лет, окончил семинарию по 2 разряду, в сане и на настоящем месте с 1869 года. Занимал должность законоучителя в церковно-приходской школе, народном училище и городском приходском училище. Диакон Михаил Корнильев, 39 лет, окончил курс духовного училища, псаломщик и на настоящем месте с 1885 года, в сане диакона с 1897 года. Занимал должность учителя церковно-приходской школы. Псаломщик Леонид Бабич, 29 лет, уволен из 2-го кл. духовного училища, псаломщик с 1894 года и на настоящем месте с 1903 года. Псаломщик Митрофан Сукачев, 38 лет, из 1-го кл. духовного училища, псаломщик с 1893 года и на настоящем месте с 1901 года. Церковный староста купец Иван Кулишов  с 1902 года.

По информации из православной газеты Миссионер за 2001 год, в Ильинском храме служили: до 1924 года протоиерей Владимир Расположенский (1875-1924гг.); в 1941-1942 годах протоиерей Георгий Золотарев (1873-1942гг.); в 1941- 1957 годах протоиерей Петр Симонов (1883-1959гг.); в 1965 году протоиерей Никон Филоненко (1880-1971гг.); в 1972-1973 годах протоиерей Григорий Курылас (1892-1983гг.); протоиерей Серьгий Даньшин (1908-1988гг.), протоиерей Порфирий Кочмала (1888-1987гг.) и протоиерей Михаил Хижняков. Не прерывали никогда священники Пророко-Ильинского храма связи с Глинской пустынью. После закрытия монастыря в 61 году, служили в Ильинской церкви иеромонах Геронтий и другие.