鲸崎町海边的悬崖下有一个大人们不曾涉足的地方，那是孩子们的秘密基地，一家由魔法师经营的当铺。 这家常铺不能典当金银珠宝、名书钻表，只能典当「回忆」。在二十岁前，每个人都可以把回忆寄放在这里，换取金钱，也可以将回忆赎回。不过，一旦过了二十岁生日，就会忘记关于当铺的一切。当然，也包括没被赠回的回忆。 永泽里华，鲸崎国中校刊社的新社长。为了采访魔法师，里华来到「回忆当铺」，并因此结识了三不五时就来典当回忆的小学生芋川遥斗。一次与魔法师的闲谈中，里华得知同班同学白土芽依几乎天天到当铺典当不愉快的回忆…...