1968年、ネーメ・ヤルヴィはアルヴォ・ペルトのCredo（ラテン・ミサの一部のテキストを設定した作品）を指揮しましたが、当時ソビエト政権はそのような宗教的言及を禁止していました。この芸術的自由を支持する立場から引き起こされた政治的動乱により、家族は1980年にエストニアを離れてアメリカ合衆国へ移住しました。パーヴォ・ヤルヴィは当時17歳でした。
彼はニューヨークのジュリアード音楽院とフィラデルフィアのカーティス音楽院で音楽を学び、ロサンゼルス・フィルハーモニック・インスティテュートではレナード・バーンスタインに師事しました。特に北欧のレパートリーを指揮し始める一方で、フランス音楽やロシア音楽など他の好みの分野も確立しました。
パーヴォ・ヤルヴィはその後、最初の常任職を務めました。マルメ交響楽団（1994-97）の音楽監督、ロイヤル・ストックホルム・フィルハーモニー管弦楽団（1995-98）およびバーミンガム市交響楽団（1996-99）の首席客演指揮者です。
2000年代に入ると彼のキャリアは加速し、活動は多様化しました。シンシナティ交響楽団の公演に招かれた際、初演後すぐに音楽監督のオファーを受けました。2001年以降、この技術的に卓越したアメリカのオーケストラと共に活動しています。
2003年、数年間の協力の後、フランクフルトを拠点とするヘッセン放送交響楽団から音楽監督就任の要請を受けました。2004年にはブレーメン・ドイツ室内管弦楽団の芸術監督に就任し、この独立した室内オーケストラと共に、一般とメディアから高い評価を受けたベートーヴェンの交響曲全集を録音しました。
パーヴォ・ヤルヴィはすでに約50枚の録音を行っています。その中でも特に愛着があるのは、ストックホルムで録音したステーンハンマルの第2交響曲とシベリウスのレミンカイネン組曲およびクレルヴォ、同じ作曲家のカンタータをエストニア国立交響楽団、エストニア国立男声合唱団、エレルヘイン少女合唱団と共に演奏したもので、これはエストニアにとって初のグラミー賞受賞となり、ソビエト時代から脱却しつつあった国に大きな影響を与えました。また、シンシナティ交響楽団とのルトスワフスキの管弦楽のための協奏曲、彼に近い二人の作曲家、エルッキ・スヴェーン・テュールの声楽作品とレポ・スマラの交響曲に捧げられたCDもあります。
2004年、パーヴォ・ヤルヴィは初めてパリ管弦楽団を指揮し、ニールセン（交響曲第2番）、ベルク（7つの初期の歌）、シベリウス（ペレアスとメリザンドの舞台音楽）を演奏しました。彼らの間の相性はすぐに良好となり、コンサートは素晴らしいものでした。2006年にはバルトークとコダーイに捧げられたコンサートに招かれ、2007年には2010-11シーズンから同楽団の音楽監督に就任することに同意し、シベリウスのヴァイオリン協奏曲とショスタコーヴィチの交響曲第7番を指揮しました。それ以来、パリ管弦楽団と共にモーツァルト、ベートーヴェン、チャイコフスキー、プロコフィエフ、ドビュッシー、ビゼー、ブリテン、そして同郷のアルヴォ・ペルトの音楽など幅広いレパートリーに取り組んでいます。2010年9月にリリースされたビゼー作品の最初の録音に続き、2011年9月にはマティアス・ゲルネ、フィリップ・ジャルスキー、エリック・ピカード、パリ管弦楽団合唱団と共にフォーレのレクイエムを収録した別のCDがリリースされました。
2010年、パーヴォ・ヤルヴィはシンシナティ交響楽団の音楽監督としての10年間の成功した任期を終えました。彼のオーケストラへの貢献を称え、名誉音楽監督に任命され、パリ管弦楽団の音楽監督としての任期は2015-16シーズンまで延長されました。
2012年7月、パーヴォ・ヤルヴィが2015/16シーズンの初めからNHK交響楽団の首席指揮者に就任することが発表されました。
2011年には、フレデリック・ミッテランによってフランスにおける音楽への卓越した貢献に対して芸術文化勲章シュヴァリエを授与されました。
