O'Herlihy ging als student architectuur acteren om zijn collegeld te verdienen. Hij werkte in Hollywood met sterren als Orson Welles en Gregory Peck . In 1947 was hij de tegenspeler van James Mason in de thriller Odd Man Out. Zijn filmdebuut maakte de Ier in 1948 in de VS als Macduff in MacBeth van Orson Welles.
In de jaren tachtig tradt de acteur veel op in televisiefilms. In 1987 was hij wel te zien in Paul Verhoevens succesvolle actiefilm RoboCop. In 1990 speelde hij ook nog in het vervolg. Ook was hij te zien in een aantal afleveringen van de televisieserie Twin Peaks.
Als toneelacteur heeft O' Herlihy in meer dan zeventig toneelstukken gespeeld, voornamelijk in Dublin.