ローズは、オーケストラの一員としての期間を含むチェリストの一人です。後に彼は学生たちに、これが経験を積む最良の方法であると語りました。ローズの場合、彼はいとこと同じ道をたどり、トスカニーニのNBC交響楽団のメンバーとなり、20歳までに首席チェリストとなりました。1シーズン後、彼はアートゥル・ロジンスキが指揮していたクリーブランド管弦楽団に移りました。1943年、ロジンスキはニューヨークに移り、ニューヨーク・フィルハーモニックの首席指揮者となりました。彼はローズを連れて行き、ローズは1951年までオーケストラのチェリストのリーダーを務めました。フィルハーモニック在籍中の1944年にはラロのチェロ協奏曲でデビューを果たしました。また、1947年にはジュリアード音楽院で教職に就きました。1951年から1962年までのフィラデルフィアのカーティス音楽院で教えた期間を除き、彼は生涯にわたりジュリアードの教員でした。
1662年製のアマティのチェロを使用し、ローズは豊かで流れるような音色を持っていました。彼の演奏は自由で楽に聞こえ、ルバートの自由なアプローチと即興性の感覚がありました。これらは実際には厳しい練習（ツアー中でも1日4〜5時間）と演奏のあらゆる側面の綿密な計画によって達成されていました。彼はかつて「私は公の演奏での直前のひらめきを信じていない」と語っています。
彼は堅実なツアー活動を展開しましたが、教育に強く献身し、アメリカで最も尊敬され成功したチェロ教師の一人となりました。彼の弟子にはイム・ユンチャン、スティーブン・ケイツ、リン・ハレルがいます。ケイツは「一般的にレッスンを終えると、まるで100万ドルを手に入れたような気分になった…彼は自信を与えてくれた」と回想しています。
彼の教育では、自然なポジションと技術を重視しました。彼はチェロの弓の持ち方がヴァイオリニストのように小指を弓の上に置くという考え方には賛同しませんでした。一方で、彼のヴィブラートのアプローチはヴァイオリニストのフリッツ・クライスラーの技術から直接取られており、ヴィブラートの動きは上腕から来ており、弦に触れている指を支点に手が回転するというものでした。彼は上腕が最も自由に動き、あらゆる幅と速度のヴィブラートを可能にすると考えました。
ローズはコロンビア・レコードに録音を行い、バーンスタインの伴奏によるシューマンの協奏曲や、ユージン・オーマンディ指揮によるブロッホの「シェロモ」などの名演があります。また、イストミン＝スターン＝ローズ・トリオという室内楽トリオを結成し、多くの優れた録音を残しました。
