五四以后，曹汝霖退出政界，完全打消了东山再起的心思，退出了政界。
赋闲在家，他并没开始享清福，一方面经营银行，
另一方面，利用银行赚的钱，积极做慈善。
每年冬天，曹家都向拉洋车的车夫施舍100套棉衣。
施舍的方式也比较特别，每次由家里当差的抱着几套棉衣出门，
看见街上有衣不蔽体的车夫，便雇他的车，
拉到僻静的小胡同，叫车停下来，施舍给车夫一套，
然后再去物色下一个对象。
据说这个办法可以避免棉衣被人冒领，
还可以尽量让车夫有尊严的接受曹家的好意，
可以说一举两得，细思极佳。
二十年代末年，曹汝霖花了大量钱财和精力，办了一所医院。
穷人就医，缴费颇多优惠，甚至完全免费。
医院不赚钱，每年都需要曹家经营的银行花钱补贴，
才能保证不关门。
