Une banque régionale du nord-est des États-Unis, gérant plus de 20 milliards de dollars d’actifs, a fait l’acquisition d’un autre établissement financier héritant ainsi d’environ 2 000 prêts commerciaux adossés à des immeubles résidentiels multifamiliaux; une concentration qui dépassait les limites de risque internes de la banque. Son intention était donc de céder ces prêts, une décision courante dans ce type de situation.
La difficulté vient du fait que céder un portefeuille de prêts à bon prix exige bien plus que le seul solde du prêt. Les potentiels acquéreurs ont besoin de savoir ce à quoi ils souscrivent: l’adresse du bien, l’âge du bâtiment, les taux d’occupation, l’existence ou non d’une caution personnelle, et quelques autres critères d’évaluation du risque déterminants pour la qualité de l’actif. Sans ces informations, les acheteurs appliquent une forte décote pour couvrir l’incertitude, ou renoncent à soumettre une offre.
Pour la banque, toutes ces informations existaient quelque part mais ce « quelque part » correspondait à environ 250 000 scans de documents accumulés sur toute la durée de vie de ces prêts (dossiers d’origination, expertises, états locatifs, actes juridiques). Près d’un téraoctet de contenu au total, sans aucune indexation ni structuration. Un traitement manuel aurait pris des mois, et il n’existait aucun moyen fiable d’effectuer des recherches dans des documents constitués d’images.
« Notre client avait ces données critiques enfermées dans des PDF hérités d’une acquisition. Nous savions que Databricks pouvait absorber ce volume et cette complexité, et pouvait leur offrir une gouvernance complète, du document non structuré vers une information exploitable. C’est donc la direction que nous leur avons donnée. »
— Guillaume Colley, Directeur de l’IA, Cavallo Technologies
Construire le pipeline
La banque a sollicité Cavallo Technologies pour trouver comment exploiter ce corpus. La solution que nous avons conçue s’appuie sur Databricks Document Intelligence et s’articule en trois volets principaux.
La première étape consistait à filtrer les documents trop anciens pour réduire le volume traité: l’année du document était extraite des quelques premières pages de chacun des 250,000 documents à l’aide des fonctions SQL de Databricks ai_parse_document et ai_query, puis retenues ou écartées selon l’âge du document.
La deuxième étape utilisait aussi la fonction ai_parse_document de Databricks pour exécuter la reconnaissance optique de caractères (OCR) sur les 170 000 documents restants et en extraire le texte, Spark Structured Streaming assurant la parallélisation sur l’intégralité du corpus. Toutes les données étaient stockées dans Delta Lake sous Unity Catalog, ce qui garantissait leur gouvernance et leur auditabilité de bout en bout.
Le troisième volet était plus complexe. Une fois le texte disponible, il faut encore retrouver des faits précis susceptibles de se situer n’importe où parmi des dizaines de documents de plusieurs centaines de pages par prêt, formulés différemment selon la personne qui a rédigé le document et l’époque. Une simple requête ne suffit pas à obtenir un résultat fiable. Nous avons construit ce que nous appelons un pipeline automatisé de génération augmentée de récupération (RAG): un agent IA propulsé par Claude, que nous instancions pour chaque prêt: l’agent accède aux documents concernés, répond à une série de questions précises dont nous consignons les réponses, puis est arrêté avant de passer au prêt suivant. Le tout, entièrement automatisé et sans intervention humaine.
Le pipeline a traité environ 1 To de documents en quelques jours, pour un coût de calcul de quelques milliers de dollars seulement.
Les résultats
Le pipeline d’extraction a atteint une précision de 90 % sur un échantillon validé manuellement, un niveau que les équipes de la banque ont jugé suffisant pour leurs décisions de valorisation des prêts.
« Une fois les attributs extraits, l’équipe crédit de la banque a enfin pu classer le portefeuille dans les bonnes catégories. Avoir cette visibilité leur a permis de valoriser les prêts à un niveau plus élevé que sans cette information. »
— Guillaume Colley, Directeur de l’IA, Cavallo Technologies
Pourquoi Databricks
Si le projet a aussi bien fonctionné, c’est notamment parce que Databricks permet d’exécuter l’intégralité du pipeline, de l’ingestion et l’OCR jusqu’à l’indexation vectorielle, l’inférence des LLM et le stockage des résultats au sein d’un même environnement gouverné, plutôt que d’assembler des services externes. L’écosystème de modèles ouvert de Databricks a permis d’intégrer des LLM tiers sans dépendance à un fournisseur : Claude a été retenu ici, mais un autre model comme ChatGPT, Gemini ou Llama auraient tout aussi bien pu convenir.
« Ce cas d’usage se situait à l’intersection de fonctionnalités d’IA très avancées et d’un volume de données considérable. Traiter une telle quantité de données non structurées sur une plateforme unifiée et à cette vitesse n’aurait été possible qu’avec Databricks. »
— Guillaume Colley, Directeur de l’IA, Cavallo Technologies
A propos de Cavallo Technologies
Chez Cavallo, une entreprise spécialisée dans Databricks, nous accompagnons les équipes d’entreprise dans la conception et la mise en œuvre de systèmes d’IA de production sur Databricks. Si votre équipe travaille sur ce projet, nous serons ravis d’analyser l’architecture avec vous.