1945 yılında Aşkale’nin Sos (şimdiki adı Dağlı) köyünde doğdu. 7 yaşında bağlama çalmaya başladı. 14 yaşına dek aşıklık geleneğinde türküler öğrenip çaldı.

Sonraki yıllarda İstanbul’a gelerek Nida Tüfekçi’den ders aldı. 1965’te İstanbul Radyosuna girdi. 3 yıl sonra ayrıldı. 1974’e dek değişik türlerde yaklaşık 200 beste yapıp 45 plak doldurdu. Yüzlerce sanatçıya bağlama çaldı.

1975’te İstanbul Teknik Üniversitesi Devlet Konservatuarına öğretim görevlisi olarak çağrıldı.

Musa Eroğlu ve Muhlis Akarsu’yla başlayıp sonra Yavuz Top’un da katıldığı »Muhabbet« çalışmalarının 1980 sonrası halk müziğinin sıçrama yapmasında, özellikle aşıklama konusunda önemli katkısı oldu.

Arif Sağ’ın 1982’de açtığı müzik okulunda bugüne dek binlerce kişi eğitim gördü ve birçok yetenekli insan için bu okul önemli bir fırsat oldu.

Japonya’dan Amerika Birleşik Devletleri’ne dek birçok ülkeye çağrıldı.

1996 yılından itibaren Betin Güneş yönetimindeki Köln Senfoni Orkestrası eşliğinde Erol Parlak ve Erdal Erzincan’la birlikte çeşitli Avrupa kentleri ve Türkiye’de verdiği konserler büyük ilgi gördü.

1996 yılında Cumhurbaşkanlığı tarafından verilen özel ödülü alan Sağ, 1998 yılında verilen »Devlet Sanatçısı« unvanını geri çevirdi.
Arif Sağ, bugüne dek 50 kadar kişisel kaset/CD hazırladı. Ayrıca bilinen birçok sanatçının müzik çalışmalarında yönetmenlik yaptı. Özellikle 1970'li yıllarda olmak üzere yüzlerce sanatçıya bağlamasıyla eşlik etti.

1987-1991 yılları arasında Ankara milletvekili olarak parlamentoda görev yapan Sağ’ın tüm halk çalgılarını çalabileceği konusunda belgesi bulunmaktadır.