En 1945, il étudie en Palestine avec Leo Kestenberg et se produit avec l'Israel Philharmonic Orchestra. En 1946, il poursuit ses études avec Olga Samaroff à la Juilliard School, et un an plus tard, il reçoit le prix Leventritt. C’est le début de sa carrière internationale : il joue pour la première fois avec le New York Philharmonic Orchestra sous la direction de George Szell, le Concerto pour piano n° 3 de Rachmaninov.
A partir de 1957, il interrompt son activité de concertiste pour développer sa technique. Après une période de silence qui dure jusqu’à 1966, il donne son premier récital à Paris, puis il se produit à Berlin en interprétant le Concerto pour piano n° 1 de Tchaïkovski sous la direction de Herbert von Karajan, qui décrira Weissenberg comme « l’un des meilleurs pianistes de notre temps ».
Parallèlement à son activité de pianiste, il fonde la Alexis Weissenberg Piano Master Class à Engelberg, en Suisse, et compte parmi ses élèves des musiciens comme Kirill Gerstein, Simon Mulligan and Nazzareno Carusi.
Sa discographie comprend la Sonate pour piano de Franz Liszt, les Concertos pour piano n. 4 et 5 de Beethoven, les œuvres pour piano et orchestre de Chopin, les oeuvres pour pianos de Debussy ; les Sonates pour piano n. 1 et 2 de Rachmaninov ainsi que ses Préludes, et les Sonates pour violon et piano n° 1-3 de Brahms.
Il s’est éteint le 8 janvier 2012 dans sa maison de Lugano, en Suisse, à l’âge de 82 ans.