传说，一日中午，杨升庵经过一所私塾，见老师正用戒尺责打一个学生，便走上前去询问。
老师告诉他说：“今晨，我出一下联，要他对上联，时过半日，尚未成句，所以我要责罚他。”年幼好学的杨升庵忙向老师请教下联的内容，老师说：
谷黄米白饭如霜
杨升庵思虑许久，对老师说：“先生，这上联我一时也对不上，容我回去再慢慢思索。”此后，他一直都在寻思。可还是没有得到满意的答案。
后来，他随在京城做大学士的父亲杨廷和来到北京。一日，弘治皇帝在御花园宴请朝中大臣，升庵也随父前往。时值寒冬，取暖的火盆中，黑木炭正燃着熊熊的红火。弘治皇帝触景生情，对众大臣说：“朕有一联，看谁先对上。”于是念道：
炭黑火红灰似雪
说完，弘治皇帝笑望群臣，等候答对。这时，峨冠博带的大臣们，个个低头沉思，盛筵之上，鸦雀无声，气氛显得有些紧张。“我来对！”一个幼稚的童声，打破了沉寂。众大臣用惊愕的目光一看，原来是年纪最小的杨升庵。只见他向前走了两步，从容答道：
谷黄米白饭如霜
弘治皇帝一听，不禁拍掌称绝，高声赞道：“对得好！对得好！”顿时，在座的大臣以惊讶的眼光看着杨升庵，发出一阵赞叹声。可是，他们哪里知道，正是这个下联，难着了杨升庵，多少年都没对好上联。