Роуз — один из тех виолончелистов, чья карьера включала период работы в оркестре. Позже он говорил своим студентам, что это лучший способ набраться опыта. В случае Роуза он пошел по стопам своего кузена, став членом Симфонического оркестра NBC под управлением Тосканини и в возрасте 20 лет стал главным виолончелистом. После одного сезона он занял позицию в Кливлендском оркестре, которым тогда руководил Артур Родзинский. В 1943 году Родзинский переехал в Нью-Йорк, где стал главным дирижером Нью-Йоркского филармонического оркестра. Он взял Роуза с собой. Роуз оставался лидером виолончелистов оркестра до 1951 года. Находясь в Филармонии, он дебютировал с исполнением Виолончельного концерта Лало в 1944 году. Он также принял предложение преподавать в Джульярдской школе в 1947 году. За исключением лет с 1951 по 1962, когда он преподавал в Институте Кертиса в Филадельфии, он оставался в составе преподавателей Джульярда до конца своей жизни.
Играя на виолончели Амати с богатым звучанием 1662 года, Роуз обладал насыщенным, плавным тоном. Его игра отличалась свободным, непринужденным звучанием, свободным подходом к рубато и ощущением спонтанности. Эти качества были достигнуты благодаря напряженной практике (четыре-пять часов в день даже на гастролях) и тщательному планированию всех аспектов исполнения. "Я не верю в получение вдохновения в последнюю минуту на публичном выступлении," — однажды сказал он.
Он развил успешную гастрольную карьеру, но оставался сильно преданным преподаванию и стал одним из самых уважаемых и успешных учителей виолончели в Америке. Среди его учеников были Йо-Йо Ма, Стивен Кейтс и Линн Харрелл. Кейтс вспоминает, что студент "в общем, выходил с урока с чувством, что он на миллион долларов... он давал вам уверенность."
В своем преподавании он предпочитал естественные позиции и техники. Он не соглашался с мнением, что смычок виолончели можно держать так же, как его держат скрипачи, с мизинцем на верхней части смычка. С другой стороны, его подход к вибрато напрямую заимствован из техники скрипача Фрица Крейслера, в том, что движение вибрато идет от верхней части руки, а рука поворачивается на пальце, который находится на струне. Он считал, что верхняя часть руки может двигаться наиболее свободно и позволяет вибрато любой ширины и скорости.
Роуз записывался на Columbia Records, и среди его великих записей — концерт Шумана с аккомпанементом Бернстайна и "Шеломо" Блоха с Юджином Орманди. Он также сформировал камерное трио, Трио Истомин-Стерн-Роуз, которое сделало много прекрасных записей.
