Han är den andre premiärministern som petas av sitt eget parti på mindre än sju månader.
Resultatet av omröstningen var ett enhälligt ja till att avskeda premiärministern, säger en PSD-medlem till Reuters. En annan partimedlem meddelar att Tudose har avgått.
Paul Stanescu, en annan partiföreträdare, kommer att utses som tillfällig regeringschef, enligt källorna.
I juni förra året avgick premiärminister Sorin Grindeanu sedan han förlorat en misstroendeomröstning från parlamentsledamöter i det egna partiet PSD.
Utrikes
15.1.2018
Regeringskris i Rumänien
Rumäniens premiärminister Mihai Tudose avgår eftersom politiker från hans socialdemokratiska regeringsparti PSD röstat nej till att ge honom stöd, enligt partikällor.