Rebhorn werd vaak gecast als een man met autoriteit. Hij speelde bijvoorbeeld een geniepige politicus in Independence Day, en een officier van justitie in de tweedelige laatste aflevering van televisieserie Seinfeld.

In Homeland vertolkte hij de rol van Frank Mathison, de vader van Claire Danes’s personage Carrie Mathison. Maar hij was vaker op televisie te zien in series zoals Law & Order en Boston Legal. Ook speelde hij een rol in grote films als The Game en Scent of a Woman.

In de grofweg vijftig jaar waarin hij actief was, speelde hij meer dan honderd film- en televisierollen.