Rosenberg studeerde af in Ierse Literatuur. Hij begon eind jaren '50 met het regisseren van diverse televisieseries, waaronder The Defenders en The Untouchables. In 1968 werd zijn film Cool Hand Luke voor vier Oscars genomineerd , waaronder die voor beste acteur (Paul Newman). De film won uiteindelijk een Oscar voor beste mannelijke bijrol (George Kennedy).

Het hoge niveau van Cool Hand Luke haalde Rosenberg daarna niet meer, waardoor hij nooit echt door heeft kunnen stoten naar de top van Hollywood. The Amityville Horror, over een echtpaar met drie kinderen dat in een vervloekt huis gaat wonen, werd wel zijn grootste kassucces. My Heroes Have Always Been Cowboys (1991) was de laatste film die Rosenberg regisseerde.

Paul Newman noemde in een uitgegeven verklaring Rosenberg een regisseur die voor niemand anders onderdeed.