現代的な町の片隅、丘の上という高台に、時代に取り残されたかのように古い洋館が建っている。長年閉鎖されていたその建物は、「クローバー図書館」という私設図書館だった。幼い頃から本を愛してきた相川千尋は、いつか本に関わる仕事に就きたいと願っていた。そんな彼女は、クローバー図書館の住み込み管理人という仕事を得る。
古い写真のような佇まいのその場所では、次々と奇妙で、ありえない出来事が起こっていく。
誰もいないはずなのに、誰かに見られているような感覚。いつの間にか移動している本。窓の外から覗き込む、大きな大きな影。そして夜になると、どこからともなく現れ、「昔からの常連」と名乗る人々。
個性豊かな面々に囲まれながら、千尋は図書館の開館準備を進めていく。しかし、度重なる奇妙な出来事や、常連たちの正体に対する疑念と混乱を、やがて彼女は抑えきれなくなっていく。
彼女の問いかけに、彼らはこう答えた。
「ごめんね。黙ってたんだ。私たちは人間じゃないんだよ」
「本当は、私たち、本なんだ」