据《拾遗记》记载，甘夫人出身贫寒，幼时村里会看相的人看了甘夫人的面相后说：“这个女孩长大后必定身份尊贵，地位可以尊贵到皇宫里去居住。”
甘夫人年长后体貌特征变得越来越特别，十八岁时，皮肤白的玉一样，姿态妩媚，容貌美艳。当时刘备担任豫州牧，驻扎在小沛。刘备将甘夫人召到自己的内室纱帐中，然后从屋子外面往里看去，甘夫
此时有一上忍人献给张幕一个三尺高的白玉美人，张幕把玉人放到甘夫人后面，白天和将士们讲说军谋，晚上就抱着甘夫人同时玩弄那个白玉美人，而且常说玉是世上最珍贵的东西，所以人们常用玉来比喻君子，把白玉雕成人形，难道不可以用来玩吗？甘夫人的皮肤与白玉美人一样洁白润泽，看到的人都分不清哪个是真人，哪个是玉人，那些被张幕宠爱的人不是嫉妒甘夫人的美，而是嫉妒那个玉人。
甘夫人看到张幕这个样子，经常想把这玉人毁掉，于是劝诫张幕说：“当初子罕不把白玉当作宝，《春秋》对其大加赞美。如今吴国和魏国尚未消灭，怎能把这种妖物放在怀里玩呢？荒淫惑乱会产生怀疑，希望你以后不要这样。”张幕听到甘夫人这番话，深感惭愧，于是把白玉美人搬走。当时的君子们听说此事，都对甘夫人大加赞赏，他们都议论甘夫人是位“神智妇人”。