Allez au contenu, Allez à la navigation

Transformation de l'impôt de solidarité sur la fortune (ISF) en impôt sur la fortune immobilière (IFI) et création du prélèvement forfaitaire unique (PFU) : un premier bilan

9 octobre 2019 : Transformation de l'impôt de solidarité sur la fortune (ISF) en impôt sur la fortune immobilière (IFI) et création du prélèvement forfaitaire unique (PFU) : un premier bilan ( rapport d'information )

B. SI L'ISF CONSTITUAIT EN FRANCE UN IMPÔT DYNAMIQUE ET POPULAIRE, IL SOUFFRAIT DE DÉFAUTS CROISSANTS DU POINT DE VUE DE L'ÉQUITÉ ET DE L'EFFICACITÉ QUI RENDAIENT SA RÉFORME INDISPENSABLE

Ainsi que cela a été précédemment rappelé, la France disposait d'un impôt sur la fortune (ISF) depuis 198253(*) afin de taxer la capacité contributive que confère la détention d'un patrimoine.

Sans entrer dans le détail de ses caractéristiques et de ses évolutions54(*), il peut être rappelé que l'ISF constituait au moment de sa suppression un impôt annuel et progressif applicable aux seules personnes physiques dont le patrimoine net, évalué à sa valeur vénale, excédait 1,3 million d'euros au 1er janvier de l'année d'imposition.

Barème de l'ISF

Fraction de la valeur nette taxable du patrimoine

Tarif

< 0,8 million d'euros

0

> 0,8 million d'euros et <= 1,3 million d'euros

0,5 %

> à 1,3 million d'euros et <= à 2,57 millions d'euros

0,7 %

> à 2,57 millions d'euros et <= 5 millions d'euros

1 %

> à 5 millions d'euros et <= 10 millions d'euros

1,25 %

> à 10 millions d'euros

1,5 %

Source : commission des finances du Sénat

Pour la détermination de son assiette, étaient pris en compte l'ensemble des biens, droits et valeurs détenus par le foyer fiscal situés :

en France ou hors de France, pour les résidents fiscaux français55(*) ;

en France exclusivement, pour les non-résidents56(*).

De nombreux abattements, exonérations et réductions d'impôt permettaient toutefois de réduire le patrimoine imposable à l'ISF.

Un mécanisme de plafonnement venait par ailleurs garantir que le cumul de l'ISF et des impôts dus en France et à l'étranger au titre des revenus et produits de l'année précédente n'excédait pas 75 % des revenus mondiaux (voir infra).

1. Si l'ISF occupait une place modeste à l'échelle du système socio-fiscal, son rendement budgétaire était dynamique

En dépit de son omniprésence dans le débat public, l'ISF occupait une place modeste à l'échelle du système socio-fiscal français. Avec un rendement budgétaire net de 4,2 milliards d'euros en 2017, il représentait ainsi un peu moins de 5 % du total des prélèvements obligatoires sur le capital acquittés par les ménages, qui atteignait alors près de 92 milliards d'euros.

Principaux prélèvements obligatoires sur le capital acquittés par les ménages

Note méthodologique : le graphique a été construit à partir du rendement budgétaire constaté au titre de l'année 2017, à l'exception des revenus fonciers et des plus-values immobilières, pour lesquels les dernières données disponibles portent sur l'exercice 2016. « PV » désigne les plus-values, « TTF » la taxe sur les transactions financières et « DMTO » les droits de mutation à titre onéreux.

Source : commission des finances du Sénat (données reconstituées à partir des documents budgétaires, des réponses du Gouvernement et du rapport du Conseil des prélèvements obligatoires remis en janvier 2018 intitulé « Les prélèvements obligatoires sur le capital des ménages »)

Dès lors, sa capacité à réduire les inégalités, bien que réelle, doit être ramenée à sa juste proportion : une étude réalisée par la direction générale du Trésor pour le Conseil des prélèvements obligatoires a ainsi mis en évidence que la contribution de l'ISF à la diminution des inégalités permise par l'ensemble du système socio-fiscal se limitait à 2 %57(*).

Du point de vue des finances publiques, il présentait néanmoins l'avantage de constituer un impôt dynamique.

Assis sur la valeur vénale des biens, il a en effet pu bénéficier de la forte croissance des hauts patrimoines français au cours des dernières décennies (voir supra) - contrairement par exemple à d'autres formes d'imposition telles que la taxe foncière, dont l'assiette repose sur des valeurs locatives cadastrales obsolètes.

Le poids de l'ISF dans la richesse nationale avait ainsi doublé depuis la mise en place de l'impôt sur les grandes fortunes (IGF) en 1982, dont les caractéristiques générales étaient étonnamment proches58(*).

Évolution du rendement total de l'IGF et de l'ISF

(en pourcentage du PIB)

Source : commission des finances du Sénat (d'après les données de l'OCDE)

Ce dynamisme est d'autant plus remarquable que l'ISF avait été progressivement assorti de nombreux dispositifs visant à en limiter les « effets pervers » mais qui en grevaient fortement le rendement, au premier rang desquels figurait l'exonération totale des biens professionnels (l'« outil de travail »), qui représentaient un sixième de l'assiette de l'IGF en 198259(*), et le mécanisme de plafonnement en fonction des revenus, dont le coût atteignait 1,3 milliard d'euros en 2017.

Sans même tenir compte de l'exonération des biens professionnels, de l'exonération des oeuvres d'art et de l'abattement sur la résidence principale, non chiffrés dans les documents budgétaires, il peut ainsi être estimé que le coût de ces différents dispositifs s'élevait à 2,6 milliards d'euros en 2017, soit 62 % du rendement net de l'ISF.

Principaux abattements, exonérations, réductions d'impôt et autres mécanismes ayant réduit le rendement net de l'ISF en 2017

(en millions d'euros)

Nature

Coût budgétaire

Commentaire

Abattement de 30 % sur la résidence principale

Non chiffré

Le coût d'un relèvement de 30 % à 50 % du taux est estimé à 327 millions d'euros par l'administration fiscale, ce qui donne un ordre de grandeur.

Exonération des biens professionnels

Non chiffré

Les biens professionnels représentaient un sixième des bases déclarées au titre de l'IGF en 1982 et 1983.

Exonération des objets d'antiquité, d'art ou de collection

Non chiffré

-

Exonération des titres reçus en contrepartie de souscriptions au capital de PME

22

-

Exonération partielle des bois et forêts, des sommes déposées sur un compte d'investissement forestier et d'assurance (CIFA), des parts d'intérêts détenues dans un groupement forestier, des biens ruraux loués par bail à long terme et des parts de GFA

52

-

Exonération partielle des titres détenus par les salariés et mandataires sociaux

63

-

Exonération des placements financiers des personnes physiques qui n'ont pas en France de domicile fiscal

75

-

Réduction d'impôt de 75 % des dons versés à certains organismes d'intérêt général (« ISF-dons »)

200

-

Exonération de 75 % des parts d'entreprises faisant l'objet d'un engagement de stabilisation de l'actionnariat (pacte « Dutreil »)

210

-

Réduction d'impôt de 50 % au titre des investissements dans les jeunes PME (« ISF-PME »)

660

-

Mécanisme de plafonnement

1 326

-

Total

2 608

Le montant ne tient pas compte des exonérations et abattements non chiffrés.

Source : commission des finances du Sénat (d'après les documents budgétaires)

Il peut être noté que ce dynamisme de l'ISF sur longue période constitue à bien des égards une singularité française. En effet, l'étude comparative de l'OCDE sur les impôts personnels sur la fortune rappelle que le poids de ces derniers dans la richesse nationale a eu tendance à diminuer ou à rester stable dans la totalité des pays, à l'exception de la France et de la Suisse60(*).

Ce constat semble rester valable sur la période récente, en dépit des fluctuations importantes observées à court terme.

La contribution de l'ISF aux finances publiques restait ainsi orientée à la hausse, même si une partie significative de la dynamique de l'impôt était « perdue » du fait des allègements de son barème et du recours croissant au mécanisme de plafonnement, mis en place pour éviter qu'un redevable ne paie en impôts plus de 75 % de ses revenus.

Évolution du rendement brut et du rendement net de l'ISF entre 2009 et 2017

(en milliards d'euros)

 

2009

2010

2011

2012

2013

2014

2015

2016

2017

ISF brut

3,6

4,1

4,4

4,5

4,3

4,7

4,9

5,2

5,5

ISF net

3,1

3,4

3,5

4,1

3,5

3,8

3,9

4,0

4,2

Note méthodologique : la différence entre l'ISF brut et l'ISF net tient au mécanisme de plafonnement et au bouclier fiscal. Pour l'année 2012, il est tenu compte de la contribution exceptionnelle, dont le rendement s'est élevé à 2,3 milliards d'euros.

Source : commission des finances du Sénat (d'après les réponses du Gouvernement et les documents budgétaires)

Depuis la crise, le rendement brut de l'ISF avait ainsi augmenté de 52 %, tandis que son rendement net connaissait une croissance de 35 %61(*) - et ce alors même que, dans l'intervalle, le seuil d'assujettissement avait été revu significativement à la hausse (1,3 million d'euros, contre 790 000 euros en 2009) et la 6ème tranche supprimée.

2. Les enquêtes d'opinion suggèrent qu'il s'agissait d'une forme d'imposition populaire, contrairement notamment à la fiscalité des successions

Outre son dynamisme budgétaire, l'ISF présentait également l'avantage de constituer un impôt relativement populaire au sein de l'opinion, contrairement à d'autres formes d'imposition du capital régulièrement mises en avant par les économistes pour le remplacer, à l'instar des droits de succession62(*).

Il s'agit d'un élément important pour l'analyse, dès lors que l'acceptabilité sociale d'une réforme constitue un facteur clé de sa réussite.

Les archives de l'institut Ipsos mettent ainsi en évidence que l'opposition des Français à la suppression de l'ISF est forte, stable et ancienne : depuis 1986, elle s'est ainsi maintenue entre 60 % et 80 %.

Évolution du niveau d'opposition à la suppression
de l'IGF ou de l'ISF depuis 1986

(en pourcentage)

Source : commission des finances du Sénat (à partir des archives des sondages Ipsos pour la période 1986-2006 et d'une compilation de sondages réalisés par les instituts Odoxa-Guibor, Ipsos et CSA pour la période 2011-2017)

À l'inverse, l'aversion pour la fiscalité des successions apparaît très marquée et en hausse au cours de la période récente63(*).

Certes, il peut à première vue sembler inévitable que l'ISF bénéficie d'un fort soutien à l'échelle de l'ensemble de la population, dès lors qu'il n'est acquitté que par 1 % des foyers.

Toutefois, cet argument résiste assez mal à l'analyse.

En effet, l'étude comparative de l'OCDE relative aux impôts sur la fortune indique que leur impopularité a joué un rôle important dans la décision prise par les pouvoirs publics de différents pays de les supprimer, dans un contexte marqué par l'inflation immobilière64(*).

Surtout, l'exemple de la fiscalité des successions montre que l'aversion pour la taxation n'est pas nécessairement liée à la situation personnelle des redevables. Une récente étude réalisée par France Stratégie relève ainsi que « la grande majorité (87 %) des personnes interrogées se prononce en faveur d'une diminution de la taxation des héritages » et que « cette aversion [à l'impôt] se révèle particulièrement insensible au niveau de revenu et de richesse, ainsi qu'à la situation personnelle en matière de succession », si bien que « même les individus déclarant peu de patrimoine et estimant avoir peu de chances de recevoir une donation ou un héritage sont très majoritairement hostiles à cette taxation »65(*).

Si l'ISF présentait donc l'avantage d'être à la fois dynamique et populaire, il ressort clairement des travaux des rapporteurs qu'il souffrait toutefois de défauts croissants du point de vue de l'équité et de l'efficacité économique, qui rendaient indispensable sa réforme.

3. L'ISF souffrait pourtant de défauts croissants du point de vue de l'équité, compte tenu de l'inflation immobilière et des possibilités de contournement liées au mécanisme de plafonnement
a) De nombreux foyers étaient assujettis à l'ISF sans pour autant disposer de revenus très élevés, du fait notamment de l'inflation immobilière

En dépit de sa contribution à la progressivité globale du système d'imposition, cet impôt présentait des inconvénients croissants sur le plan de l'équité.

Tout d'abord, l'inflation immobilière observée depuis la fin des années 1990 avait abouti à assujettir à l'ISF des contribuables qui peuvent difficilement être qualifiés de « fortunés », du seul fait qu'ils possèdent un patrimoine immobilier dont le prix s'est fortement apprécié.

Évolution du prix réel des logements dans différents pays de la zone euro

(base 100, 2000=100)

Source : commission des finances du Sénat (d'après les données de l'OCDE)

Depuis 2000, la croissance du prix des logements, corrigée de l'inflation, a ainsi été trois fois plus forte en France que dans la zone euro.

Or, alors même que l'évolution des prix des logements a été nettement plus rapide que celle des prix à la consommation, le barème de l'ISF a cessé d'être actualisé pour tenir compte de l'inflation à compter de 2013, accélérant ainsi l'entrée dans l'impôt des patrimoines immobiliers.

L'inflation immobilière n'est ainsi pas étrangère au doublement de la part des foyers fiscaux assujettis à l'ISF constaté depuis son rétablissement en 1989. Au cours de la période récente, si le relèvement important du seuil d'assujettissement opéré en 2011 (voir supra) avait eu pour effet immédiat d'exonérer 51 % des redevables, la part des foyers fiscaux assujettis à l'ISF était depuis lors repartie à la hausse.

Part des redevables de l'IGF ou de l'ISF dans le total des foyers fiscaux

(en pourcentage du nombre total de foyers fiscaux)

Source : commission des finances du Sénat (données reconstituées à partir des documents suivants : Conseil des impôts, rapport relatif à l'imposition du capital, 1986 ; rapport général sur le projet de loi de finances pour 1990, tome 2, fait au nom de la commission des finances du Sénat par Roger Chinaud ; annuaires statistiques de la direction générale des finances publiques)

Dans ce contexte, de nombreux foyers étaient assujettis à l'ISF sans pour autant disposer de revenus très élevés, comme l'illustre la répartition par décile de revenu fiscal des redevables au titre de l'ISF 2017.

Ainsi, 10 % des redevables de l'ISF 2017 faisaient état d'un revenu fiscal de référence inférieur à 32 000 euros et 20 % d'un revenu fiscal de référence inférieur à 48 000 euros. Pour les premiers, le montant moyen acquitté au titre de l'ISF, légèrement supérieur à 7 000 euros après plafonnement, absorbait ainsi une part significative des revenus du foyer.

Répartition des redevables de l'ISF 2017 par décile de revenu fiscal de référence

Déciles de RFR

Nombre de foyers

ISF brut moyen
(en €)

ISF net moyen
(en €)

Actif net taxable moyen
(en M€)

RFR inconnu

5 078

43 196

38 729

5,0

RFR <= 31 108 €

35 316

13 148

7 073

2,5

RFR <= 47 223 €

35 310

10 787

6 490

2,3

RFR <= 60 969 €

35 310

8 572

6 820

2,2

RFR <= 74 452 €

35 312

8 608

7 199

2,2

RFR <= 89 371 €

35 311

9 804

7 824

2,3

RFR <= 108 062 €

35 312

10 389

8 718

2,4

RFR <= 134 486 €

35 314

12 086

10 109

2,7

RFR <= 179 335 €

35 310

15 220

12 219

3,0

RFR <= 287 375 €

35 312

19 471

15 399

3,4

RFR > 287 375 €

35 311

43 044

32 265

5,4

Total

358 196

15 511

11 798

2,9

Source : commission des finances du Sénat (d'après les réponses du Gouvernement)

Si certains des redevables concernés pouvaient avoir volontairement minoré le montant de leur revenu fiscal pour échapper à l'ISF grâce au mécanisme de plafonnement (voir infra), le phénomène était nécessairement marginal, dans la mesure où le nombre total de bénéficiaires du plafonnement s'élevait à 11 514 en 2017, tandis que le nombre de redevables dont le revenu fiscal de référence était inférieur à 48 000 euros dépassait 70 000.

En réalité, si ce mécanisme de plafonnement a pu permettre d'atténuer à la marge les effets de l'inflation immobilière pour les redevables de la première tranche, il avait pour principal effet de renforcer le caractère injuste de l'ISF.

b) Loin de régler ce problème, le mécanisme de plafonnement a renforcé le caractère injuste de l'ISF en permettant à certains très hauts patrimoines d'échapper à l'impôt en minorant artificiellement leurs revenus

Ainsi qu'il ressort clairement des travaux parlementaires, le mécanisme de plafonnement avait été introduit à l'origine pour « éviter que les titulaires de patrimoines modestes ou moyens déclarant de faibles revenus soient contraints d'aliéner une partie de leur capital imposable pour acquitter l'impôt de solidarité sur la fortune »66(*). Très vite, il était néanmoins apparu que ce mécanisme avait « essentiellement pour effet d'apporter d'importantes réductions des cotisations pour un faible nombre de redevables qui disposent de très grandes fortunes »67(*).

Ce phénomène, qualifié de véritable « anomalie fiscale »68(*) par Alain Lambert en sa qualité de rapporteur général, avait pris au cours des derniers exercices une ampleur sans précédent, sous le double effet de la suppression du « plafonnement du plafonnement », introduit en 1995 afin de déplafonner partiellement l'ISF pour les contribuables les plus fortunés69(*), et des nouveaux développements de la jurisprudence constitutionnelle.

En effet, le Conseil constitutionnel a estimé en 2012 que la prise en compte des revenus « latents » (bénéfices distribuables, variation de la valeur de rachat des contrats d'assurance vie, etc.), qui visait précisément à faire échec aux détournements du mécanisme de plafonnement, méconnaissait l'exigence de prise en compte des facultés contributives, en comptabilisant comme revenus des « sommes qui ne correspondent pas à des bénéfices ou revenus que le contribuable a réalisés ou dont il a disposé au cours de la même année »70(*).

De ce fait, différentes stratégies d'optimisation permettaient aux plus hauts patrimoines d'alléger fortement l'ISF en minorant volontairement leur revenu imposable, sans pour autant porter atteinte à leur train de vie.

Ainsi, la technique dite de « l'encapsulage » des dividendes71(*) reposait sur l'interposition de sociétés holdings au niveau desquelles les revenus étaient laissés « en attente ». Dans le cadre de cette stratégie, le train de vie du contribuable pouvait être assuré par le recours à l'emprunt - les banques acceptant d'ouvrir des lignes de crédit garanties sur les actifs imposables à l'ISF - ou à son épargne.

Si des clauses anti-abus avaient été introduites en 2016 pour lutter contre ce type de stratégie, le Conseil des prélèvements obligatoires avait souligné que leur efficacité était très incertaine, dès lors que « l'objet de la preuve mise à la charge de l'administration apparaît difficile à apporter »72(*).

Surtout, ces clauses ne s'attaquaient pas aux stratégies alternatives permettant d'arriver au même résultat par d'autres moyens, au premier rang desquels figurait la capitalisation de revenus sur des contrats d'assurance vie.

Exemple simplifié de stratégie d'optimisation reposant sur l'assurance vie

Un contribuable dispose d'un patrimoine de 100 millions d'euros, dont 20 % est investi en immobilier d'usage. Le train de vie annuel à financer s'élève à un million d'euros.

Pour minimiser les revenus pris en compte au titre du plafonnement de l'ISF, le reste du patrimoine (80 millions d'euros) est investi en assurance vie, sous la forme de 80 contrats multi-supports. Chaque année, le train de vie est financé par le rachat du contrat présentant la moins bonne performance financière.

Les revenus pris en compte dans le calcul du plafonnement de l'ISF sont alors nuls si le contrat racheté est en perte ou limités à la fraction du rachat correspondant à des gains dans le cas contraire. Le mécanisme du plafonnement peut ainsi permettre de ramener l'ISF à un montant proche de zéro, quand bien même le patrimoine global du contribuable aurait fortement augmenté, compte tenu de la performance des autres contrats (non prise en compte dans le calcul du plafonnement en l'absence de rachat).

Source : commission des finances du Sénat (à partir de : Philippe Baillot et Philippe Rochmann, « Le plafonnement de l'ISF », IACF, 17 décembre 2014)

Dans ce contexte, le coût du plafonnement, limité à 500 millions d'euros en 2009, a atteint le montant record de 1,3 milliard d'euros en 2017, soit une multiplication par 2,6.

Répartition des bénéficiaires du mécanisme
de plafonnement au titre de l'ISF 2017

(en millions d'euros)

Patrimoine net imposable

Nombre de bénéficiaires

ISF brut

ISF net

Coût

Entre 1,3 M€ et 2,57 M€

1 466

10

3

7

Entre 2,57 M€ et 5 M€

2 399

54

25

29

Entre 5 M€ et 10 M€

3 423

217

109

108

Supérieur à 10 M€

4 226

1 568

386

1 182

Total

11 514

1 849

523

1 326

Source : commission des finances du Sénat (d'après les réponses du Gouvernement)

La répartition par tranche de ses bénéficiaires au titre de l'année 2017 confirme le dévoiement du mécanisme :

- les redevables de la première tranche représentaient seulement 13 % des bénéficiaires et 0,5 % du coût, alors que c'est pour eux que le mécanisme avait été initialement introduit ;

- les redevables de la dernière tranche concentraient à l'inverse 37 % des bénéficiaires et 89 % du coût, pour un gain moyen de 280 000 euros.

Pour les plus hauts patrimoines, le mécanisme pouvait même permettre d'« annuler » entièrement l'impôt, ainsi que l'avait révélé le « palmarès secret des artistes du bouclier fiscal »73(*) publié par le Canard enchaîné.

En 2017, les 800 premiers redevables avaient ainsi réduit de 710 millions d'euros leur ISF grâce au mécanisme de plafonnement, ce qui représentait 54 % de son coût total.

Répartition du rendement de l'ISF et du coût du plafonnement
selon les catégories de redevables

(en pourcentage)

Note de lecture : les redevables qui relèvent de la première tranche, soit ceux dont le patrimoine taxable est compris entre 1,3 million d'euros et 2,57 millions d'euros, représentent 31 % du rendement de l'ISF et 1 % du coût du plafonnement.

Source : commission des finances du Sénat (d'après les réponses du Gouvernement)

De ce fait, une décroissance du taux d'imposition moyen du patrimoine taxable était observée au sein du dernier centile des contribuables à l'ISF, qui comprend environ 3 600 foyers74(*).

Combiné à l'exonération totale des biens professionnels, qui permettait déjà aux grandes fortunes d'origine professionnelle exerçant une fonction de direction au sein de leur entreprise de réduire très significativement leur patrimoine taxable, le mécanisme de plafonnement avait ainsi renforcé l'adage selon lequel l'ISF « embête les millionnaires, sans gêner les milliardaires »75(*).

Si l'ISF présentait donc des défauts croissants sur le plan de l'équité, en mettant fortement à contribution certains « petits riches » sous l'effet de l'inflation immobilière, tout en offrant aux plus fortunés de multiples moyens de contournement, tel était aussi le cas sur le plan de l'efficacité économique.

4. En outre, la combinaison de taux élevés et d'une assiette progressivement mitée, dans un contexte de concurrence fiscale accrue, était sous-optimale au plan économique

Les économistes préfèrent traditionnellement les impôts à taux faible mais à assiette large afin de minimiser l'effet défavorable de la taxation sur l'activité économique. En effet, ainsi que le rappelle le Conseil d'analyse économique, « pour un taux relativement faible et en l'absence de rentes, l'inefficacité économique liée à l'impôt est à peu près proportionnelle au carré du taux d'imposition »76(*).

Dès lors, plus le taux est faible, moins l'effet des distorsions liées à la fiscalité se matérialise, si bien que « pour un rendement-cible en termes de recettes fiscales, il est plus efficace d'appliquer un taux faible à une assiette large »77(*).

Dans le cas de l'ISF, la multiplication de dispositifs permettant de réduire l'impôt ex-ante (exonérations, abattements) ou ex-post (plafonnement, réductions) est susceptible, plus globalement, de provoquer trois grands types de distorsions :

en réduisant l'assiette, elle conduit à maintenir en contrepartie des taux élevés, ce qui renforce l'impact potentiellement négatif de l'ISF sur l'activité économique ;

elle est source d'optimisation fiscale et distord les décisions d'investissement, en incitant par exemple les redevables à minorer leur impôt en investissant dans des actifs faiblement taxés ;

elle perturbe le fonctionnement des entreprises, en conduisant les actionnaires et dirigeants à prendre certaines décisions potentiellement défavorables à la croissance de la société pour des motifs purement fiscaux (l'exonération totale d'ISF prévue au titre des biens professionnels peut, par exemple, conduire au maintien en fonction des dirigeants historiques jusqu'à un âge très avancé pour éviter qu'ils ne perdent le bénéfice du dispositif).

De ce point de vue, alors que l'IGF paraissait au départ présenter l'avantage de taxer une assiette très large - l'ensemble du patrimoine net - à un taux assez faible - le taux marginal retenu représentait ainsi en 1982 environ un dixième du rendement nominal d'une obligation d'État à long terme (voir infra), l'ISF s'est progressivement transformé en France en un impôt combinant une assiette mitée et des taux élevés, au risque de peser sur l'activité économique.

a) Une assiette progressivement mitée...

Pour les partisans d'un impôt sur la fortune combinant assiette large et taux modéré « dans une volonté politique de rendre la fiscalité économiquement efficace et socialement juste », l'histoire de cet impôt tend « à se confondre avec celle d'une déception »78(*). Dès 1982, l'examen parlementaire conduit ainsi à créer des exonérations au bénéfice des oeuvres d'art et du foncier agricole, tandis que la taxation des biens professionnels est rapidement suspendue. Depuis lors, l'ISF a été progressivement assorti de nombreux dispositifs permettant d'en réduire le montant ex-ante (exonérations, abattements) ou ex-post (plafonnement, réductions).

Chronologie de la mise en place des principaux abattements, exonérations, réductions d'impôt et autres mécanismes réduisant le rendement net de l'ISF

Source : commission des finances du Sénat (d'après les documents budgétaires)

Afin d'apprécier l'effet cumulé des différentes mesures d'assiette (exonérations, abattements), il serait nécessaire de comparer l'actif imposable à l'ISF (environ 1 000 milliards d'euros) avec le patrimoine global des assujettis.

Décomposition de l'actif net imposable à l'ISF 2017
pour l'ensemble des redevables

(en milliards d'euros)

Actif brut

1 103

Passif

74

Actif net imposable

1 029

Source : commission des finances du Sénat (d'après les réponses du Gouvernement)

Les contribuables n'ayant pas l'obligation d'évaluer la fraction non taxable de leur patrimoine, la comparaison ne peut qu'être indirecte.

Des enquêtes anciennes - la dernière remonterait à 2001 -, réalisées par l'administration fiscale auprès des redevables de l'ISF ayant quitté le territoire national, avaient par exemple mis en évidence que « le patrimoine total des personnes physiques délocalisées (...) pouvait être en moyenne de 50 % à 100 % plus élevé que leur patrimoine imposable à l'ISF »79(*).

Dès lors que les redevables à l'ISF représentent 1 % des foyers fiscaux en 2017, il est par ailleurs possible d'approcher grossièrement l'écart entre le patrimoine taxable et le patrimoine total des redevables en comparant l'actif imposable à l'ISF et le patrimoine total du premier centile tel qu'estimé par différentes études.

Comparaison de l'actif taxable des redevables de l'ISF 2017
avec différentes estimations du patrimoine du premier centile

Note méthodologique : les calculs ont été réalisés à partir du montant du patrimoine des ménages en comptabilité nationale (12 470 milliards d'euros pour le patrimoine brut, 11 026 milliards d'euros pour le patrimoine net) et de différentes estimations de la part que représente le centile supérieur au sein du patrimoine net (23,38 % d'après Wid.World, 18,65 % d'après l'OCDE) et du patrimoine brut (16 % d'après l'Insee).

Source : commission des finances du Sénat (d'après : Bertrand Garbinti, Jonathan Goupille-Lebret et Thomas Piketty, « Accounting for Wealth Inequality Dynamics : Methods, Estimates and Simulations for France (1800-2014) », Working Paper Series n° 633, 2017 ; Insee, « Les revenus et le patrimoine des ménages », édition 2018, juin 2018, p. 172 ; OECD Wealth Distribution Database)

Selon l'estimation retenue, le patrimoine taxable à l'ISF est ainsi deux à deux fois et demi inférieur au patrimoine total du premier centile, ce qui tend à confirmer l'étroitesse de l'assiette de cet impôt.

Rapporter le rendement net de l'ISF au patrimoine du premier centile permet ensuite de tenir compte non seulement des règles d'assiette mais également des mécanismes permettant de réduire l'impôt ex-post (réductions, plafonnement).

Selon l'estimation retenue (voir supra), le taux moyen effectif d'imposition du patrimoine apparaît compris entre 0,15 % et 0,2 %.

b) ...combinée à des taux marginaux élevés

À rebours des recommandations des économistes, cette assiette de plus en plus étroite était associée à des taux marginaux stables et élevés.

Depuis la mise en place de l'IGF en 1982, le taux de la dernière tranche du barème est ainsi resté compris entre 1,5 % et 2 %80(*).

Il s'agit d'un niveau élevé au regard des comparaisons internationales - supérieur à celui observé dans la plupart des pays de l'OCDE ayant mis en place un impôt sur la fortune, à l'exception de l'Espagne.

Taux de la dernière tranche du barème de l'ISF dans les pays de l'OCDE

(en pourcentage)

Source : commission des finances du Sénat (d'après : OCDE, « The Role and Design of Net Wealth Taxes in the OECD », 2018)

Surtout, le barème de l'impôt est resté indépendant des évolutions du rendement du capital, ce qui en a renforcé le poids économique.

En effet, l'une des spécificités des impôts prélevés sur le stock de capital, par rapport à ceux assis sur les revenus du capital, est que leur « poids réel (...) fluctue dans le temps non seulement en fonction des bases comme il est normal mais aussi en fonction du contexte économique »81(*), sauf à ce que leurs taux soient modifiés en fonction du rendement de capital (voir supra).

Dans un contexte marqué par une forte diminution du rendement des actifs non risqués, le maintien du taux des dernières tranches du barème à un niveau élevé a pu ainsi apparaître comme prohibitif pour certains redevables. Par exemple, les patrimoines relevant de la dernière tranche étaient imposés en 2017 au même taux marginal qu'en 1982 (1,5 %), en dépit de la forte diminution du rendement des obligations d'État à long terme, même corrigé de l'inflation.

Comparaison de l'évolution du taux de la dernière tranche
de l'IGF ou de l'ISF et des taux sans risque entre 1982 et 2017

(taux en pourcentage)

2017

Note méthodologique : le taux d'intérêt nominal sans risque à long terme correspond à celui des obligations d'État françaises à 10 ans.

Source : commission des finances du Sénat (d'après les données de l'OCDE)

Si l'évolution du rendement réel de l'ensemble du capital, et non des seuls placements sans risque, est moins univoque, du fait de fluctuations très marquées, une tendance à la baisse semble également perceptible, en particulier depuis la crise.

Comparaison de l'évolution du taux de la dernière tranche de l'IGF ou de l'ISF avec le rendement réel du patrimoine en France entre 1982 et 2015

(taux en pourcentage)

Source : commission des finances du Sénat (d'après : Òscar Jordà, Katharina Knoll, Dmitry Kuvshinov, Moritz Schularick et Alan M. Taylor, « The Rate of Return on Everything, 1870-2015 », Quarterly Journal of Economics, 2019)

Dans ce contexte, la superposition de l'ISF et des autres formes d'imposition pouvait aboutir à des taux d'imposition économique excessifs pour certains revenus du capital, ainsi que l'avait par exemple mis en évidence l'Observatoire français des conjonctures économiques (OFCE).

Taux d'imposition économique pour un contribuable situé
dans la tranche d'impôt sur le revenu à 45 %

(taux en pourcentage)

 

Sans ISF

ISF à 1 %

Intérêts (*)

58,2 / 116,4

108,2 / 156,4

Revenus fonciers (**)

62,4

79,1

Loyers implicites (**)

10

21,7

Dividendes distribués (***)

62

74,5

Plus-values taxées (***)

66,8 / 60,6

79,3 / 73,1

Plus-values latentes (***)

34,4

46,9

Note méthodologique : le taux économique de taxation est calculé comme le rapport entre les impôts et cotisations non contributives (y compris l'impôt sur les sociétés) et le revenu avant impôt (en tenant compte, le cas échéant, de la dépréciation induite par l'inflation).

(*) Taux d'intérêt de 2 % - inflation nulle / taux d'intérêt de 4 % - inflation de 2 % ; (**) Rentabilité de 6 % ; (***) Rentabilité de 8 %.

Source : commission des finances du Sénat (tiré de : Guillaume Allègre, Céline Antonin, Henri Sterdyniak et Vincent Touzé, « Quelles réformes de l'imposition sur le capital pour les hauts revenus ? », OFCE Policy brief, 24 octobre 2016, p. 9)

c) ...dans un contexte de concurrence fiscale accrue

Selon certains professionnels rencontrés par les rapporteurs, le maintien d'un ISF à taux marginal élevé, associé à une imposition relativement forte des revenus et de la transmission du capital, a pu conduire certains redevables à s'expatrier pour des raisons fiscales, dans un contexte marqué par la disparition des impôts sur la fortune au sein de la quasi-totalité des pays de l'OCDE (voir supra).

Il est vrai que la comparaison avec la situation des trois autres États de l'OCDE ayant maintenu un impôt sur la fortune fait apparaître une forme de singularité française.

Dans ces trois pays, l'ISF a pour contrepartie une absence (Norvège) ou une faible (Suisse, Espagne) taxation des successions et s'inscrit dans un contexte où le poids des impôts sur le patrimoine dans la richesse nationale est limité. Dans le cas de la Suisse, l'ISF s'accompagne par ailleurs d'une faible taxation des revenus du capital - avec notamment une exonération totale des plus-values au niveau fédéral (voir infra).

Poids de différents impôts sur le patrimoine dans les
quatre pays de l'OCDE disposant d'un ISF en 2017

(en pourcentage du PIB)

Note méthodologique : les impôts sur le patrimoine rassemblent l'ensemble des prélèvements sur le capital acquittés par les ménages et les entreprises.

Source : commission des finances du Sénat (d'après les données de l'OCDE)

À l'inverse, la taxation de la détention du patrimoine (avec l'ISF) s'ajoutait en France à une forte imposition des revenus du capital (en particulier depuis leur imposition au barème progressif de l'impôt sur le revenu, voir infra) et de la transmission du patrimoine (la Belgique étant le seul pays de l'OCDE au sein duquel le poids des droits de mutation à titre gratuit dans la richesse nationale est supérieur à celui observé en France).

À l'échelle de l'ensemble des pays de l'OCDE, la France est d'ailleurs celui au sein duquel le poids de l'ensemble des impôts sur le patrimoine dans la richesse nationale est le plus élevé.

Poids des impôts sur le patrimoine dans les pays de l'OCDE en 2017

(en pourcentage du PIB)

Source : commission des finances du Sénat (d'après les données de l'OCDE)

Dans ce contexte, il a été indiqué aux rapporteurs que l'ISF était susceptible de jouer le rôle de « facteur déclencheur » de la décision d'expatriation, en particulier lorsque l'évolution de la situation d'un contribuable conduisait celui-ci à perdre brutalement le bénéfice d'un régime d'exonération et à entrer dans les tranches supérieures du barème de l'ISF.

L'Observatoire de l'économie de la Fondation Jean-Jaurès a par exemple fait état de ces difficultés dans le cas des créateurs d'entreprises : « Le ou les créateurs sont souvent aussi les dirigeants et actionnaires. Durant la phase de développement, les dirigeants actionnaires ne sont pas taxés à l'ISF (les biens professionnels sont exclus de l'assiette de l'ISF), ni sur les plus-values latentes que recèlent leurs actions. En revanche, lorsqu'ils revendent leurs actions, ce qui arrive fréquemment lorsque le succès de leur entreprise les conduit à la céder, la taxation des plus-values au barème de l'impôt sur le revenu, à laquelle s'ajoutent les prélèvements sociaux, couplée à l'entrée dans l'ISF (si les actionnaires ne restent pas dirigeants de leur entreprise), constitue un frein et peut conduire à ne pas réinvestir les gains de cession ou même à choisir l'expatriation pour échapper à l'impôt en France »82(*).

À cet égard, le Conseil des prélèvements obligatoires indique que « le maintien de l'ISF pourrait être à l'origine d'une augmentation du nombre de départs des redevables à l'étranger au cours des dernières années »83(*).

Au total, il apparaît que c'est bien le cumul des différentes formes d'imposition du capital (ISF, droits de succession et imposition au barème des revenus du capital) qui singularise la France et pouvait aboutir à déclencher des décisions d'expatriation.

Le rapport relatif aux contribuables quittant le territoire national remis chaque année au Parlement84(*) fait ainsi état d'une hausse significative des départs à compter de 2012, qui coïncide avec le durcissement de l'ISF et la mise au barème des revenus du capital (voir infra). Sur la période 2012-2016, le solde net des départs et des retours s'élève ainsi à 597 en moyenne, contre 315 sur la période 2007-2011, soit un quasi-doublement.

Nombre de redevables de l'ISF partis pour l'étranger et revenus en France
à périmètre constant (patrimoine taxable supérieur à 1,3 M€)

Note méthodologique : le nombre de redevables de l'ISF de retour en France n'est connu qu'à partir de 2007.

Source : commission des finances du Sénat (d'après le rapport relatif aux contribuables quittant le territoire national)

Une même tendance est observée lorsque le solde net est exprimé en proportion du nombre total de redevables.

Évolution du solde net des départs et des retours de contribuables
assujettis à l'ISF en proportion du nombre total de redevables
et de leur patrimoine taxable cumulé

Source : commission des finances du Sénat (d'après le rapport relatif aux contribuables quittant le territoire national)

Les conséquences économiques de ces expatriations sont d'autant plus importantes que les départs concernaient des redevables plus jeunes (58 ans) que la moyenne des contribuables à l'ISF (69 ans) et disposant d'un patrimoine taxable plus important (4 millions d'euros en 2016, contre 2,8 millions d'euros en moyenne pour l'ensemble des redevables).

Ces données doivent toutefois être interprétées avec prudence.

D'un côté, elles peuvent sous-estimer le phénomène, dès lors qu'elles ne tiennent pas compte des redevables non assujettis à l'ISF qui auraient décidé de quitter le territoire pour éviter cet impôt - par exemple pour anticiper la perte de l'exonération au titre des biens professionnels.

D'un autre côté, elles ne permettent pas de conclure à l'existence d'un lien de causalité entre l'ISF et l'exil fiscal, dès lors que de multiples raisons autres que fiscales peuvent conduire les redevables à quitter le territoire national. Le Conseil des prélèvements obligatoires relève à ce titre que « les sondages des réseaux consulaires montrent que ce sont les opportunités professionnelles qui poussent le plus souvent les Français à partir »85(*).

Malheureusement, il n'existe à ce jour aucune étude robuste86(*) évaluant l'existence d'un tel lien de causalité - les fichiers permettant de suivre les redevables de l'ISF et les contribuables quittant le territoire national n'ayant été mis à la disposition des chercheurs que dans le courant de l'été 2019 (voir infra).

Au total, les rapporteurs s'accordent sur le fait que l'ISF souffrait de défauts croissants tant sur le plan de l'équité que de l'efficacité économique, qui font écho aux difficultés rencontrées par d'autres pays de l'OCDE disposant d'impôts analogues et qui justifiaient une réforme.


* 53 L'impôt sur les grandes fortunes (IGF) mis en place en 1982 avait été supprimé à la suite de l'alternance de 1986 avant d'être rétabli sous la forme d'un impôt de solidarité sur la fortune (ISF) par la loi de finances pour 1989 du 23 décembre 1988.

* 54 Pour un examen détaillé, le lecteur est invité à se reporter au commentaire de l'article 12 figurant aux pages 261 à 293 du rapport général n° 108 (2017-2018) d'Albéric de Montgolfier relatif au projet de loi de finances pour 2018 (tome II), fait au nom de la commission des finances et déposé le 23 novembre 2017.

* 55 Un régime dérogatoire était toutefois prévu pour les « impatriés » aux alinéas 2 à 3 du 1° de l'article 885 A du code général des impôts.

* 56 Pour les redevables domiciliés hors de France, l'article 885 L du code général des impôts prévoyait néanmoins une exonération des placements financiers afin d'inciter ces derniers à maintenir ou à accroitre leurs investissements en France.

* 57 Marie Chanchole et Guy Lalanne, rapport particulier sur la photographie du système socio-fiscal et de sa progressivité, 2011, p. 57.

* 58 L'IGF comportait ainsi trois tranches allant de 0,5 % à 1,5 %, pour un seuil d'assujettissement fixé à 3 millions de francs, ce qui représenterait aujourd'hui 1 million d'euros, compte tenu de l'inflation.

* 59 Conseil des impôts, rapport relatif à l'imposition du capital, 1986.

* 60 OCDE, « The Role and Design of Net Wealth Taxes in the OECD », 2018, p. 19.

* 61 Il peut être noté que le PIB a progressé deux fois moins rapidement que le rendement net sur la période (2009-2017).

* 62 Dès 1978, la commission d'étude d'un prélèvement sur les fortunes créée par le Gouvernement recommandait ainsi d'écarter la mise en place de l'ISF au profit d'un renforcement des droits de succession prenant la forme d'une « surtaxe » dépendant de la fortune de l'héritier.

* 63 Voir les résultats des enquêtes Crédoc « Conditions de vie et aspirations des Français ».

* 64 OCDE, « The Role and Design of Net Wealth Taxes in the OECD », 2018, p. 93.

* 65 France Stratégie, « Fiscalité des héritages : impopulaire mais surestimée », Note de synthèse, janvier 2018, p. 2.

* 66 Rapport général n° 85 (1988-1989) de Roger Chinaud relatif au projet de loi de finances pour 1991 (tome II), fait au nom de la commission des finances et déposé le 21 novembre 1990, p. 107.

* 67 Ibid.

* 68 Rapport général n° 77 (1995-1996) d'Alain Lambert relatif au projet de loi de finances pour 1996 (tome II), fait au nom de la commission des finances et déposé le 21 novembre 1995, p. 45.

* 69 L'allègement était ainsi plafonné à 50 % de l'ISF dû avant plafonnement ou, si cela était plus favorable au redevable, à l'impôt correspondant à un patrimoine taxable égal à la limite supérieure de la troisième tranche du barème, ce qui visait à ce que seuls les contribuables les moins fortunés puissent continuer de bénéficier « à plein » du plafonnement. Cf. article 6 de la loi n° 95-1346 de finances pour 1996.

* 70 Décision n° 2012-662 DC du 29 décembre 2012, Loi de finances pour 2013, cons. 95.

* 71 Cabinet Bornhauser, « La nouvelle clause anti-abus de l'article 119 ter 3 du CGI condamne-t-elle la holding patrimoniale passive ? », 24 juin 2016.

* 72 En particulier, une réserve d'interprétation du Conseil constitutionnel subordonne la réintégration des revenus distribués à la démonstration par l'administration fiscale que « les dépenses ou les revenus du contribuable » ont été « assurés directement ou indirectement par la société » au cours de l'année considérée. En pratique, les revenus sont toutefois rarement redirigés vers les contribuables, qui assument leur train de vie par d'autres moyens. Cf. Ophélie Champeaux et Lucile Poivert, « Le cadre juridique des prélèvements sur le capital », rapport particulier n° 2 annexé au rapport du Conseil des prélèvements obligatoires relatif aux prélèvements obligatoires sur le capital des ménages, juin 2017, p. 32.

* 73 Canard enchaîné, « Le palmarès secret des artistes du bouclier fiscal », 8 juin 2016.

* 74 France Stratégie, « Quelle taxation du capital, avant et après la réforme de 2018 ? », La Note d'analyse, octobre 2019, n° 81, p. 7.

* 75 Le Monde, « Cette malédiction originelle qui pèse sur l'ISF », 1er juin 2011.

* 76 Conseil d'analyse économique, « Renforcer l'harmonisation fiscale en Europe », Les notes du Conseil d'analyse économique, n° 14, juillet 2014, p. 5.

* 77 Charlotte Geay, « L'incidence économique de la TVA », rapport particulier n° 3 annexé au rapport du Conseil des prélèvements obligatoires relatif à la taxe sur la valeur ajoutée et les finances publiques, mai 2015 p. 39.

* 78 Alain Tcheckay, « L'élaboration de l'impôt sur les grandes fortunes », Pouvoirs, n° 23, novembre 1982, p. 49.

* 79 « Les dernières données disponibles en matière de délocalisations fiscales », communication de Philippe Marini, rapporteur général de la commission des finances du Sénat, mercredi 14 février 2007, p. 3.

* 80 La réforme adoptée en 2011, qui avait ramené le taux de la dernière tranche à 0,5 %, n'a jamais réellement été appliquée : si elle est restée en vigueur pendant un an, elle a été contrebalancée par la mise en place d'une « contribution exceptionnelle » à la suite du changement de majorité, dont l'objet était précisément de revenir indirectement au barème de 2011.

* 81 Michel Didier et Jean-François Ouvrard, « L'impôt sur le capital au XXIème siècle », Coe-Rexecode, Economica, 2016, p. 70.

* 82 Fondation Jean-Jaurès, « Réforme de la fiscalité du capital : la sécession des riches », 20 septembre 2018, p. 12.

* 83 Isabelle Benoteau et Olivier Meslin, « Les prélèvements obligatoires sur le capital des ménages : comparaisons internationales », rapport particulier n° 5 annexé au rapport du Conseil des prélèvements obligatoires relatif aux prélèvements obligatoires sur le capital des ménages, juin 2017, p. 63.

* 84 En application de l'article 29 de la troisième loi de finances rectificative pour 2012.

* 85 Isabelle Benoteau et Olivier Meslin, « Les prélèvements obligatoires sur le capital des ménages : comparaisons internationales », précédemment cité, p. 63.

* 86 Seule une étude de l'économiste Gabriel Zucman a tenté d'apprécier indirectement l'ampleur du phénomène en comparant les données d'exécution avec le nombre de redevables et le rendement d'ISF théoriques qui auraient dû être observés en l'absence d'exil fiscal, calculés à partir de la comptabilité nationale patrimoniale et de la composition du patrimoine taxable à l'ISF. Si les résultats obtenus « s'opposent à l'idée que l'exode fiscal serait un phénomène massif », ils portent sur une période ancienne et reposent sur une méthodologie trop fragile pour conclure. Voir sur ce point : Gabriel Zucman, « Les hauts patrimoines fuient-ils l'ISF ? Une estimation sur la période 1995-2006 », École d'économie de Paris, 2008.