Anneler Günü kadar eski olmasa da Babalar Gününün de bir geçmişi vardır. Bazı tarihçiler, Babalar Gününün Antik Roma’da bile
kutlandığını belirtirken, bazıları tarih belirtmez. Babalar Gününün Batı Virginia’da ortaya çıktığını savunulmaktadır. Batı Virginia’da yaşayan John Dowdy’nin annesi öldükten sonra onun yerini alan babası için böyle bir gün kutlanmasını istediği söylenir. Diğer araştırmacılar ise 1910 yılında Washington’daki John Bruce Dodd’un 6. çocuğunun doğumu sırasında hayatını kaybeden annesinin ardından hayatını çocuklarına adayan babası William Smart’a özel bir gün armağan etmek amacıyla bu fikri ortaya attığını belirtmektedir.
Dodd, anneler günü kutlanırken babalar gününün olmayışını büyük bir haksızlık olarak değerlendirmiş ve babasının doğum günü olan 5 Haziran’ın babalar günü ilan edilmesi için çalışmalara başlamıştır. Ancak bu çalışmalar bir sonraki yılın 19 Mayıs’ına kadar sürer.
Babalar Günü ilk kez 19 Haziran 1910′da Washington’un Spokane şehrinde kutlanır. Daha sonra diğer eyaletlere yayılır. Ancak Babalar Günü resmi olarak 1924 yılında Amerika Birleşik Devletleri Başkanı Calvin Coolidge’in desteğiyle kutlanmıştır. 1966 yılında ise o dönemin başkanı Lyndon Johnson, her yıl haziran ayının üçüncü pazarının Babalar günü olarak kutlanacağını açıklayan bir bildiri yayımlamıştır.