Леонид Трофимович Гаркавый родился 13 января 1910 года в городе Волковыске Гродненской губернии в семье служащего. В 1914 году семья переехала в Борисоглебск Тамбовской губернии (ныне Воронежская область).
В октябре 1926 года он начал работать киномехаником и электромонтёром городского управления зрелищных предприятий. В августе 1930 года Леонида Трофимовича избирают членом бюро Борисоглебского райкома ВЛКСМ, он работает в райкоме ВЛКСМ председателем райбюро пионеров, заведующим массово-экономическим отделом. В январе 1932 года его назначили председателем райбюро пионеров Липецкого райкома ВЛКСМ.
В апреле 1932 года Леонид Трофимович призван в ряды Красной армии, после чего надолго связал с ней свою жизнь. В 1938 году молодой командир принят в члены ВКП(б). В 1940-м старший лейтенант Гаркавый назначен комиссаром стрелкового батальона. Он проходил службу в 107-й мотострелковой дивизии, которая 17 июля 1941 года начала воевать против немецких оккупантов. В должности инструктора политотдела дивизии сражался под Смоленском, оборонял Москву, был ранен 3 октября 1941 года.
После госпиталя Л. Т. Гаркавого отправили в Севастополь, где 27 июля 1942 года он снова был тяжело ранен. За проявленное мужество при обороне Севастополя он был представлен в 1942 году к ордену Ленина. Леонид Трофимович награждён также орденами Отечественной войны I и II степени. 15 июня 1943 года Л. Т. Гаркавого комиссовали из армии. Он уехал в Бийск, где в это время находилась в эвакуации его семья. В 1944 году Леонид Трофимович стал парторгом на Бийском котельном заводе, а в феврале 1948-го его выбрали первым секретарём Промышленного райкома партии города. После упразднения райкома он стал заместителем директора Бийского котельного завода, а затем вторым секретарём горкома КПСС.
С 1950 по 1980 год Л. Т. Гаркавый бессменно работал в должности председателя горисполкома. В 1951 году его избрали депутатом Алтайского краевого совета депутатов трудящихся от Заречного округа города Бийска. Леонид Трофимович постоянно искал новые пути в развитии города. Пришло время больших строек и трудовых свершений, которое позднее назовут «эпохой Гаркавого». В городе началось строительство промышленных предприятий, что дало мощный толчок развитию социальной сферы и жилищного строительства. Бийск за эти годы превратился в промышленный город с развивающейся социальной инфраструктурой.
Благодаря усилиям Леонида Трофимовича в 1960 году пущен первый трамвай, а в 1965-м сдан Коммунальный мост — первый капитальный мост через Бию, связавший две части города и ускоривший движение по Чуйскому тракту, начало которого находилось в Бийске. Уже в мирное время Леонида Трофимовича наградили орденами Трудового Красного Знамени, «Знак Почёта» и многими медалями. В 1980 году ему присвоили звание почётного гражданина города Бийска. Именем Л. Т. Гаркавого назван сквер в исторической части города. 11 ноября 1988 года Леонид Трофимович Гаркавый умер в Бийске.