ll devient violoniste de l'Orchestre symphonique de la Radio néerlandaise, et en même temps, prend des leçons auprès du chef d'orchestre Ferdinand Leitner, qui lui confie en 1955 le poste de second chef d'orchestre de l'orchestre de l'Union des radios néerlandaises. En 1961, c'est la consécration : Bernard Haïtink succède à Eduard van Beinum à la tête de l'Orchestre du Concertgebouw d'Amsterdam, où il va rester pendant 27 ans. En 1967, il devient également le principal chef de l'Orchestre philharmonique de Londres, et ce jusqu'en 1979. En 1972, Haitink commence à porter son attention sur l'opéra. Il devient ainsi en 1978 le directeur muscial du Festival de Glyndebourne, poste qu'il occupera jusqu'en 1988.
D'août 2002 à 2004, Bernard Haitink est directeur de la Staatskapelle de Dresde. En 2006, il accepte de devenir chef principal de l'Orchestre symphonique de Chicago aux côtés de Pierre Boulez (chef émérite) dans l'attente de la nomination d'un nouveau directeur musical. En dehors de ce poste, il détient actuellement des positions honorifiques à l'Orchestre philharmonique de Berlin (membre honoraire), à l'Orchestre symphonique de Chicago (chef émérite) et à l'Orchestre royal du Concertgebouw d'Amsterdam (chef honoraire). Depuis le début des années 2000, il dirige régulièrement l'Orchestre symphonique de Londres.