この絵巻物の謎の成り立ちについて触れる前に、物語について上・中・下巻の流れから実録を避け説話の形をとった作者の意図に沿って書くと以下のようになる。
京都・清涼殿近くにある応天門が炎上するという大事件が起きる。 その犯人は左大臣の源信(みなもとのまこと)であると伴大納言が告発して、源信は無実の罪を着せられる。しかし嫌疑を掛けられた源信を、忠仁公藤原良房が清和帝に何の証拠も無いまま処罰する不合理を諌言(かんげん)し、清和帝もこれに従い源信を赦免する。
かくして事件の真犯人は解からぬ仕舞いで、迷宮入りの気配かと思われた。
ところが、右京在住の右兵衛の舎人という天皇警固を司る下級役人の子供と、伴大納言家に仕える出納役の子供が隣家同士で喧嘩をし、それが親を交えた騒動から両家を巻き込むスキャンダルに発展したのだ。子供の喧嘩に親が出るという事態で、ひょんな事から放火事件は伴大納言による謀略であることが発覚する。
即ち、喧嘩に負けた子供の舎人は、それまで隠していたが出納役の当主である伴大納言が、応天門階段から降りる姿を事件当夜に目撃していたのである。 この舎人夫婦の真相の暴露と、それを聞いた人々による都の処々での噂話の連鎖… やがて帝の耳にも届き、舎人夫婦は役所で迅問を受ける事になる。
このように真犯人が判明して検非違使の一行が大納言邸へ逮捕に向かい、牛車に乗せられた大納言伴善男の連行、そして流罪という形で事件は一件落着する。
この様に粗筋を追って書くと、何やら勧善懲悪風の真犯人探しのドラマ仕立てに聞こえるが、実際の事件では謀略的な政治背景と登場人物の関係性はそれほど単純な物語ではないのだ。
「伴大納言絵巻」の説話には主要な五人の人物が登場する。その中で、清和天皇以外の人物は様々な憶測を呼ぶ形で描かれている。絵巻の主人公伴大納言善男、左大臣源信、右大臣藤原好相、頭中将藤原基経、そして忠仁公藤原良房。特に大きな謎として問題となるのは、上巻の第十三紙と第十四紙に登場する、天皇に放火犯を告発し讒言(ざんげん)する人物と、それを見咎め天皇に諫言(かんげん)するため参内する良房に対し、それを盗み聞きしている人物。これらにまつわる連続した描写シーンにおいて、特定しかねる二人の登場人物に関わるものである。
「伴大納言絵巻」上巻第十三紙に描かれた東庭に立つ束帯姿の貴人はいったい誰か、また同第十四紙に描かれている清涼殿広縁で室内の話を盗み聞きしている束帯姿の 貴人は誰か。そして、この二人の〈謎の人物〉は同一人物なのか、違うのか。また、伴大納言とされる人物は後ろ向きに佇む姿で初登場し、不思議な事に最後の 牛車で連行されるところまで一度も顔を描かれていない。