RStan Getting Started またはその松浦健太郎さんによる日本語版の冒頭に詳しく書かれていますが，まずは C++ コンパイラのインストールが必要です。
C++コンパイラとして，Windowsの場合は，Rtoolsを入れるのが簡単です。
Macの場合は，Xcodeのインストールを勧めている記述もありますが，これは一般の方にはお勧めしません。Xcodeは，使わないならディスク容量の無駄になるだけでなく，しばしばアップデートされる際に，大きいのでなかなかダウンロードできないことがあります。Xcodeそのものを使わないなら，ゴミ箱にドラッグ＆ドロップして捨ててしまってかまいません。代わりに「コマンドラインツール」をインストールしましょう。これは簡単で，ターミナルに
xcode-select --install
と打ち込むだけでインストールが始まります（gcc などと打ち込んでもインストールするか聞かれるかもしれません）。
これが終わったら，Rでrstanパッケージをインストールするために，お好きなR環境（生のR，RStudio，ESSなど）で次のように打ち込みます：
install.packages("rstan")
これでインストールは終わりです。あとは，次のようにしてRに読み込みます：
library(rstan)
この後で，一般には次のような設定をすることが推奨されています：
rstan_options(auto_write=TRUE) # コンパイルした結果を保存する options(mc.cores=parallel::detectCores()) # 複数コアを使う（メモリが十分にある場合）
今どきのコンピュータはたいてい4コアくらいありますので，4本のシミュレーションを並行して実行することができます。