些宗室子弟都是眼高于顶的少年，未免就存了藐视，再加上宝玉所教授的画技，却是大写意，尤其爱画嶙峋的山石、怪鸟、细竹、茂兰，至于那些纨绔子弟所爱的工笔美人、花鸟、草虫，他却只说不会，由此未免有些多事的人便厌他孤傲，不懂得阿谀逢迎，时常在宗学太傅那里告他的黑状，好在太傅看在世交的面上，替宝玉担待了一二，他还不甚难受。
然而那一日却祸从天降，原来那孙绍祖自从调任西疆之后，着实卖力，很快就小胜了几场，捷报传到京中，圣颜大悦，于是不久便奉命回京述职。那孙绍祖在宗学里也结交了不少狐朋狗友，尤其是宗室子弟，他更是折节拉拢，所谓臭味相投，无需多说。这日他正是来找从前的一个朋友，是兵部尚书的小舅子，家中列侯出身，两个人从内院出来时，正遇到了往里面走来的宝玉。
孙绍祖一眼看到宝玉，不由得戾气横生，他微末时，结了贾府的亲家，其实本意是攀附二房王夫人这一线的贵妃和王子腾的势力，谁知王夫人根本不睬他，他便深恨贾府二房一脉，见了宝玉，便勾起了旧恨，冷笑道：“这不是宝二爷吗？怎么做起教书先生来了？是不是没了贵妃，就没有硬撑腰子的人了？”他那朋友也不是个善良之辈，听了这话，便也调笑道：“哦，孙兄还不知道吗？他家如今指望不着女人，吃不着软饭也就罢了，越发不争气，指望着戏子吃饭了……”便一长一短将自己听来的蒋玉菡和忠顺王府之事添枝加叶地说来，孙绍祖听得哈哈大笑，宝玉只气得脸色煞白，也不进去，也不跟太傅请辞，只把手中抱着的画帖掷到地上，便拂袖而去。
当晚贾赦便找上门来，原来孙绍祖恶人先告状，跑到自己丈人家里，添油加醋地把宝玉的所作所为说了一遍，末了说：“小婿也是为了亲眷的关系，说的话也许不中听，却全是好意，谁知宝兄弟完全不把小婿放在眼里，就当面将画册掷了一地，引得宗学里的子弟全跑出来看，小婿甚感丢脸……”那贾赦便来兴师问罪，责备宝玉处事孟浪，宝钗等人原不知道宝玉何故就突然辞去了差事，至此才明白。
贾政听说宝玉得罪了朝中正得势的孙绍祖，未免又怕又急，便唤来宝玉劈头盖脸骂了一顿。宝玉也不回嘴，当晚回去，便命家人收拾收拾，搬出了小院，去城外二十里叫黄叶村的地方，租下了一小块土地，起了几间草舍，安置了下来。
贾政越发生气，便由着他自生自灭，宝玉不善营生，越发穷了，只靠卖画和典当勉强为生。