\chapterのあるページでヘッダを変更したいということでしたら，別行見出しの設定としてpagestyleを渡せばよいと思います．\ModifyHeadingを使うのが手軽かと思います．
> さらに、\frontmatter、\appendix、\bibliography環境でchapter相当のものがないのか、奇数ページの左上に「参考文献」などが出てしまいます。（jsbookの方には\appendixはないですが、本文と同じようヘッダのスタイルにしたい）
こちらは仰ることがわかっていませんが，bibliography環境については\jlreqsetup{thebibliography_heading=???}は使えないのでしょうか．
なお，やりたいことをきちんと書いた方が答えやすいかと思います．「適切にアンダーラインを引きたい」と書かれていますがこれでは（少なくとも自分には）何が適切なのかわかりません．