Türkiye Cumhuriyeti’nin ilk Diyanet İşleri Başkanıdır. 15 Cemaziyelevvel 1277 (29 Kasım 1860) yılında Ankara’da doğdu. İlk ve orta tahsilini Ankara’da yaptı. Arapçayı ve İslâmî ilimleri İstanbul’da Beyazıd Dersiâmlarından Atıf Bey’den okudu ve icazet aldı. Daha sonra tekrar Ankara’ya döndü ve Fazliye Medresesi’nde müderris olarak göreve başladı. Birçok talebe yetiştirdi ve icazetler verdi. İlk memuriyetine Ankara Fazliye Medresesi’nde müderris olarak başladı. 10 Ekim 1898’de Ankara İstinaf Mahkemesi azalığına getirildi. 25 Kasım 1908 tarihinde de Ankara Müftüsü oldu. Ayrıca 1911 yılında bir süre Sivrihisar Kaymakamlığı görevini de vekâleten yürüttü.
Milli Mücadele’nin ilk günlerinde Ankara’da “Müdafaa-i Hukuk Cemiyeti”ni kurdu ve bu cemiyetin başkanı oldu.
Yokluklar içerisinde düşmanla mücadeleye hazırlanılan o karanlık ve acı günlerde Mustafa Kemal Paşa ile birlikte çalıştı ve maddî-manevî büyük hizmetlerde bulundu.
Bu çalışmaları sırasında İstanbul Hükümeti tarafından âsi kabul edilip, Ankara Müftülüğünden azledilerek (1920) idama mahkûm edildi. Ancak Ankara Hükümeti Rifat Efendi’yi derhal müftülük görevine iade etti. Altı ay Muğla(Menteşe) Mebusu olarak TBMM’de çalıştı. Ancak müftülük görevini tercih ederek 27 Ekim 1920’de Mebusluktan ayrıldı. 23.12.1922- 30.03.1924 tarihleri arasında Şer’iye Vekâleti Heyet-i İftaiye azalığında bulundu.
04 Nisan 1924 tarihinde başladığı Diyanet İşleri Başkanlığı görevini,vefat tarihi olan 5 Mart 1941 tarihine kadar sürdürdü.