Selon l'article 28 du traité sur le fonctionnement de l'UE (ex-article 23 TCE), l'Union est fondée sur une union douanière qui s'étend à l'ensemble des échanges de marchandises, et qui comporte l'interdiction, entre les États membres, des droits de douane à l'importation et à l'exportation et de toutes taxes d'effet équivalent, ainsi que l'adoption d'un tarif douanier commun dans leurs relations avec les pays tiers. L’union douanière de l'UE s'étend à l'ensemble des échanges de marchandises. Cela signifie que bénéficient aussi de la libre circulation à l'intérieur de l'Union européenne les marchandises en provenance de pays tiers, pour autant qu'elles soient mises en libre pratique, c'est-à-dire que les formalités douanières les concernant aient été accomplies et les droits de douane et taxes d'effet équivalent perçus dans l'État membre d'importation (article 29 TFUE, ex-article 24 TCE).
Les articles 13 et 14 du traité de Rome prévoyaient que les droits de douane et les taxes d'effet équivalent à des droits de douane à l'importation devaient être éliminés progressivement au cours de la période de transition qui devait durer douze ans, depuis le 1er janvier 1958 jusqu'au 31 décembre 1969. Malgré la faculté laissée aux six États membres originaires par le traité CEE de moduler le rythme de l'abaissement des droits de douane entre eux selon les produits, si un secteur connaissait des difficultés, l'abaissement s'est opéré de manière linéaire, c'est à dire sans heurts. Le rythme du désarmement tarifaire a même été accéléré par deux décisions du Conseil et la période transitoire s'est terminée un an et demi plus tôt que prévu par le traité, c'est-à-dire dès le 1er juillet 1968. Cela démontre qu'aucun pays n'a connu de problèmes majeurs à cause du désarmement tarifaire, puisque l'objection d'un pays aurait empêché la modification du rythme de désarmement tarifaire prévu par le traité. Les pays qui ont adhéré à la Communauté/Union européenne plus tard ont eu une période transitoire de cinq ans pour la suppression des droits de douane dans les échanges intracommunautaires. Cela se fit aussi sans problèmes. Certainement, plusieurs industries précédemment protégées ont été obligées de se moderniser ou de fermer, mais un grand nombre de nouvelles entreprises ont été créées ou développées sur des bases saines.
La réalisation accélérée de l'union tarifaire signifiait qu'à partir du 1er juillet 1968 les échanges intracommunautaires étaient libérés des droits de douane et des restrictions quantitatives aux importations et aux exportations. Toutefois, ainsi qu'on va le voir plus loin, les autres obstacles aux échanges, c'est-à-dire les taxes d'effet équivalent à des droits de douane et les mesures d'effet équivalent à des restrictions quantitatives n'avaient pas disparu, loin de là. Pourtant, le bon fonctionnement de l'union douanière exigeait l'élimination de ces obstacles également à la fin de la période transitoire. Le traité de Rome mentionnait expressément la nécessité "d'alléger, dans toute la mesure du possible, les formalités imposées au commerce" (Art.10 CEE). En réalité, dès que le désarmement tarifaire avait été accompli, la "guerre bureaucratique" avait été intensifiée entre les administrations des États membres soucieuses de protéger autant que possible la production nationale et en même temps de prévenir la diminution de leurs propres fonctions et pouvoirs. Bien sûr, chaque formulaire, chaque coup de tampon avait une raison: recouvrement de taxes, collecte de statistiques, contrôles visant à empêcher les importations de produits non conformes aux réglementations nationales, etc. Mais chaque tampon coûtait aussi du temps et de l'argent aux entreprises européennes.
De nombreuses barrières aux échanges étaient dissimulées dans des réglementations nationales, telles que celles nécessaires pour la protection de l’environnement ou de la santé humaine, qui étaient différentes d’un État à l’autre [voir la section 6.1]. Leurs effets restrictifs étaient souvent plus préjudiciables que ceux des droits de douane et des restrictions quantitatives. En effet, alors que les barrières douanières renchérissaient ou limitaient quantitativement les importations, les réglementations disparates pouvaient bloquer totalement l'importation d'un produit par un pays membre. Heureusement ces cas extrêmes étaient plutôt limités, mais ainsi que nous le verrons dans le chapitre sur le marché commun, l'élimination des entraves non douanières aux échanges a nécessité trois fois plus de temps et d'efforts que l'élimination des entraves douanières.
Malgré le non achèvement de l’union douanière en 1968, les résultats économiques de la libre circulation des marchandises étaient indiscutables. De 1958 à 1972, alors que les échanges entre les six États membres fondateurs de la CEE et le reste du monde avaient triplé, les échanges intracommunautaires avaient été multipliés par neuf. Cette croissance exceptionnelle des échanges a été un facteur essentiel du développement économique et du relèvement du niveau de vie dans les pays membres originaires de la CEE. L'effet de stimulation du grand marché a créé un climat de confiance aux entreprises, qui s'est traduit par une croissance des investissements et de l'emploi. Les consommateurs étaient les grands gagnants, car ils trouvaient une offre très diversifiée des produits à meilleur compte qu'avant le désarmement tarifaire. L'union douanière avait donc bien visé l'objectif de prospérité de l'intégration européenne. La tâche des institutions communes était, donc, d'éliminer les problèmes qui restaient pour ainsi accroître les bénéfices de l'union douanière.
En cas de plainte, la Commission examine si elle est bien fondée et invite, le cas échéant, l'État concerné, sur base de l'article 258 du TFUE (ex-article 226 TCE), à modifier ou à abandonner une réglementation ou une pratique contraire au droit européen. Si le pays visé ne se conforme pas à cette demande, la Commission saisit la Cour de justice, dont l'avis est contraignant tant pour l'État membre que pour les institutions européennes. Il faut dire que la plupart de ces cas sont réglés après une mise en demeure adressée par la Commission à l'État membre concerné. Les autorités nationales, souvent après concertation avec les services de la Commission, retirent ou modifient les réglementations incriminées. Un comité consultatif en matière douanière et de fiscalité indirecte, composé de représentants des organisations professionnelles ou des consommateurs concernées par les problèmes douaniers et fiscaux, facilite le dialogue entre les parties impliquées dans l'union douanière [Décision 91/453].