鎌倉時代、武蔵国の大名の息子に、 吉見二郎、男衾三郎の兄弟がいた。
　吉見二郎は、京の美しい女を妻に迎え、慈悲という名の一人娘を得て、吉見の館で貴族の ように風流で裕福な暮しをしていた。一方、男衾三郎は、兄二郎とは対照的に醜女を妻とし、 質実剛健そのままの荒武者のような暮らしぶりだった。その妻の容姿といったら、 鼻と口は大きく、髪はちりぢりでまるで鬼のようだった。
　ある時、吉見二郎は盗賊に殺されてしまう。身寄りのない妻や娘は、 二郎の遺言で、三郎が世話をすることになったのだが、三郎は死んだ兄の領地を奪い、 男衾の妻のいうままに兄の娘の慈悲を「唐風」、「子(ね)の日」と名を変えさせて下女に使った。
　そのような時、赴任したばかりの国司が吉見の館を訪ね、下女に 似合わぬ美しい娘に気をとめた。その娘こそ、二郎の一人娘慈悲であった。三郎の辛い仕打ちに 耐えながら、慈悲(子の日)は母親の血を受け継ぎ美しく成長していたのである。
　のちに国司がその娘を妻にと望んだとき、男衾の妻は、自分 の娘(これまた醜女)を着飾って会わせたが、国司は年が明けても返事をせず、 ひとり歌を詠むばかりだった。

　○双葉より緑変らで生ひたらむ、子(ね)の日の松の末ぞゆかしき

　○音に聞く掘兼(ほりかね)の井の底までも、我、わびしむる人をたづねん

　この絵巻は最初の部分しか伝わらず、男衾三郎を主人公として描くまでに至っていない。