曹丕这个皇帝是汉献帝禅让得来的，这对于汉献帝刘协来说既是一种无奈之举，实际上也是一种明智的选择，因为当时已经没有汉臣而全部都是魏王国的属下了。

当时群臣都称颂魏国的功德，又多贬低前朝。只有卫臻申明汉献帝禅让帝位的义举，称颂汉代的美德。

文帝几次注视卫臻，说：“天下的珍宝，朕要和山阳公一起享有。”升任尚书，转任侍中吏部尚书。

卫臻最后官至司徒。但卫臻虽然官位很高，但和他的父亲比起来，名声却不是十分显赫，而他的父亲卫兹，对于老曹家来说，却是一个大名鼎鼎的人物。

初平元年(190年)，关东各州郡起兵讨伐董卓，公推袁绍为盟主。

但这些军队都害怕董卓的强大，各个都想自保，没有人敢率先进兵。

曹操认为，起义兵是为了来消灭暴乱，现在大军已经汇合起来，就不应该再迟疑。应该趁着董卓失去民心之际，迅速出击，一战而天下可定。

但众诸侯依然各怀心思，按兵不动。曹操于是决定单独带兵西进，先占领要地成皋，他的好朋友陈留太守张邈派出将军卫兹带兵跟随着他。

这个卫兹就是卫臻的父亲。卫兹这个人，史书说他“有品行识大体”，他不接受当时三公大臣的征召，在董卓做乱时却自己召集了三千兵，参与了讨伐董卓的义举，归属在陈留太守张邈名下。

曹操刚到陈留的时候，卫兹见了他说：“能平定天下的一定是这个人。”曹操对他也很惊奇，曾屡次去拜访他，一起商谈国家大事。

这样一看，卫兹跟随曹操西进，也并不完全是一个偶然事件。

只可惜在这次战斗中，由于曹操势单力孤，战事失利，卫兹也在这次战斗中战死。

因为这种关系，曹操每次来到陈留境内，就都会派使者前去祭祀卫兹，同时对卫臻也是十分偏爱。

东郡人朱越谋反，供出卫臻。曹操下令说：“我和你父亲共同发动大事，我对他很钦敬。开始听到朱越的口供，本来我就不相信。及至得到荀令君的书信，更证实了你的忠诚正直。”从此卫臻也正式进入了曹魏集团。