如果您购买的淘宝衣服有问题，但商家拒绝退款或退货，您可以采取以下措施：

与商家协商：首先，您可以与商家沟通并说明问题。尽量以书面形式（如淘宝聊天记录或电子邮件）与商家联系，以便您有证据。在沟通时，保持冷静和礼貌，并详细说明问题的性质和您的要求。如果商家同意解决问题并退款或退货，那么问题就解决了。

提交投诉：如果商家拒绝解决问题，您可以向淘宝平台提交投诉。在淘宝平台上，您可以找到“客服中心”或“帮助中心”，然后选择“投诉维权”选项。在提交投诉时，您需要提供详细的证据，如照片、聊天记录等，以证明商家存在问题。淘宝平台会对您的投诉进行审核，并在必要时介入解决问题。

申请仲裁：如果投诉未能解决问题，您可以向淘宝平台申请仲裁。淘宝平台会为您提供仲裁服务，帮助您与商家达成公平的解决方案。在申请仲裁时，您需要提供更多的证据，并详细说明问题的经过和您的要求。仲裁结果将由淘宝平台根据证据和规则做出决定。

寻求法律帮助：如果以上措施均未能解决问题，您可以考虑寻求法律帮助。您可以向当地的消费者协会或律师咨询，了解您的权利和可行的法律途径。如果需要，您也可以向法院提起诉讼，以维护自己的合法权益。

总之，如果您在淘宝上购买的衣服有问题，但商家拒绝退款或退货，您可以通过与商家协商、提交投诉、申请仲裁或寻求法律帮助等方式来解决问题。在处理问题时，请保持冷静和耐心，并保留好所有相关证据。