No canon, não há limitação mágica no tamanho de um objeto que é uma chave de portal.
Almost any inanimate object can be turned into a Portkey. (Pottermore)
O motivo pelo qual você vê apenas objetos pequenos é principalmente evitar que os trouxas os agarram acidentalmente, assim como a facilidade de agarrar.
A massa claramente não é um problema, já que os portais de transporte de massa são feitos para os jogos mundiais de Quadribol, onde milhares de pessoas recebem mais de chaves de portal.
P.S. Mais interessante, você pode nem necessariamente PRECISAR de fazer okey de toda a TARDIS. Seus panos portam com você como estão, assim como seus pertences; Portanto, há uma chance de que o seu veículo (cabine telefônica) também funcione, já que eles não são conceitualmente diferentes. Mas isso não é abordado diretamente no palpite tão puro do cânone.