曹雪芹在右翼宗学的岁月是他长大成人后生活最稳定的阶段，随着一些变故发生，也行将结束了。乾隆十五年，内务府对右翼宗学实行改组，不但人事方面要进行调整，校址也将迁到宣武门内绒线胡同新址。
曹雪芹与敦氏兄弟们日日剪烛快谈、联吟结社的事，终于引起了宗学的注意。试想，一个当差的内务勤杂人员，竟吸引了那么多位学生在他周围，对他钦服、崇拜，这岂不是跟宗学的正统教育分庭抗礼吗？再说，皇室子弟崇拜一个包衣奴才成何体统。
恐怕还有一个原因，曹雪芹孤傲狂放，他的诗文谈吐，确比不少有功名、头衔的教师高明得多，这样下去，教师们还会有脸面吗？如此种种，宗学终于借了个因由，把曹雪芹扫地出门了。
曹雪芹失业了，没有了正当的职业，就意味着没有饭吃了。曹雪芹从此进入了一个十分困难的流浪的时期，这种处境也是他后半生的基本状况。
他是一个公子哥儿出身的人，不懂得生计的事，也无经营之门路，甚至连衣食也不能自理，是需人服侍的废物。这就是他自谓的天下无能第一了。
他很快就陷入了缺衣少食、举目无援的困境。在极端的困窘折磨着他的时候，他发出了“富贵不知乐业，贫穷难耐凄凉”的感慨。
当时潦倒的曹雪芹，所能想出来的办法就是求亲告友，忍辱负重地求一个寄食借住之地，暂且勉强苟活。
平郡王府是第一处可以托身寄命的所在。姑母会疼怜他，收容他。平郡王府里多了一个半个吃闲饭的穷亲戚，原算不得一回事。有些难堪之言，遭受下边人的白眼，难听的话……这些世态炎凉的人间相，他领会了。
不幸的是平郡王福彭只活到乾隆十三年便去世了。福彭一死，府中情况随之大变了，曹雪芹看情形无法再住下去，只好向姑母辞行，只好来到了岳父母家。
然而他在岳父母家的经历并不很愉快。也许就有些像小说中封肃这个人对待他的女婿甄士隐那样：“今见女婿这等狼狈而来，心中便有些不乐……士隐乃读书之人，不惯生理稼穑等事……肃每见面时，便说些现成话，且人前人后，又怨他们不善过活，只一味好吃懒做等语。士隐知投人不着，心中未免悔恨……”
这种局面自然不能久长，渐渐便与岳父母家断绝了来往。在无亲友可投时，曹雪芹不得不住在庙院里，此时的情况可真是每况愈下了。曹雪芹小时去过的古庙卧佛寺，那时是赏景，如今成了贫无可归的曹雪芹的寄居处。
住处是勉强有了，可是三餐没着落。于是曹雪芹就靠写小说来维持生计。可是写小说是要用纸的，而他连纸也无钱去买。他就把旧历书拆开，翻转了页子作为稿纸，每夜一个人挑灯写作。
比寄食生涯略为强一些的，是他后来有了在富贵人家做西宾，也就是当家庭教师的机会。由于人人都知道他才学最富，罕与之匹，于是被“明相国”府请去做了西宾。
明府的主人明亮本人是通文墨的，能作小诗句，还能画几笔墨竹。但他对曹雪芹这样放荡不拘的人，未必喜欢，再加上旁人的嫉妒和诬谤，给曹雪芹加上了一个有文无行的罪状。不久，明亮就把曹雪芹辞掉了。
被相府辞退了的曹雪芹，声名大坏，没人再敢请他了。曹雪芹在北京城内已无立足容身之地。曹雪芹做西宾时继续写人人皆知的《石头记》，不少人爱看他的书稿，及至看不到下文时，就来催促他快些接写下去。
曹雪芹每当此时，就对催书的人说：“你给我弄来南酒、烧鸭，我吃饱喝足，就给你续写下一回！”
虽然生活惨淡，但他却性格诙谐，善谈，能令听者终日忘倦。曹雪芹在无衣无食之际，自然也曾忍耻求告过自己的骨肉同胞和至亲近戚。但是他得到的是辱骂多于帮助。
一时间，曹雪芹真是举足无定，走投无路。不错，京城里还有几家有身份的亲朋尚未求到，但是，那寄人篱下的滋味可真是不好受。这条路决不能再走。他不禁想起了杜甫在困厄时，沉痛吟出的悲凉诗句：
朝叩富儿门，暮随肥马尘，
残杯与冷炙，到处潜悲辛。
