И sendmail и postfix поддерживают протокол milter для фильтрации почты (
www.milter.org). Подобный подход использует, например, фильтр подписывания DKIM (http://en.wikipedia.org/wiki/DKIM), правда там не x509.
Так что можно написать свой фильтр для решения этой задачи. Существует ряд библиотек для работы с протоколом. Например на python (
pymilter), далее в своем фильтре можно задействовать интерфейс к OpenSSL (
pyOpenSSL) которым подписывать какие-то поля.
Если не подходит python, то можно написать фильтр на perl (
Sendmail::Milter) или на C (
milter.org API)
