LaTeXのmarkbothの中身を読んでいないので以下が適切かわかりませんが、
\documentclass[book,titlepage,paper=a4paper,fontsize=11pt,jafontscale=0.9247]{jlreq}
\renewcommand\chaptermark[1]{\markboth{第\thechapter 章\quad #1}{}}
\renewcommand\sectionmark[1]{\markright{\thesection . #1}\mark{\thesection . #1}}
\RenewPageStyle{myheadings}{nombre=\thepage,odd_running_head=\topmark,even_running_head=\leftmark,clear_markcommand=false}
\begin{document}
\pagestyle{myheadings}
で一応お望みのようになっています。