Le Keynote
LightNews LightNews
banner
lekeynote.pomhello.fr
Le Keynote
@lekeynote.pomhello.fr
26 followers 11 following 240 posts
Rédacteur pour un tout nouveau magazine numérique d’articles consacrés aux keynotes et aux puces Apple
Posts Replies Media Videos
lekeynote.pomhello.fr
Mais quel rapport avec le scan des documents me direz-vous ?

Et bien, c’est cette même API qui est utilisée pour le scan des documents, permettant la suppression des ombres de l’appareils que l’on aperçoit souvent lorsqu’on prend un document en photo.
À gauche, la photo d’une feuille où est écrit WWDC24, avec l’ombre de l’appareil photo et de la main avec la pouce levé apparaissant clairement sur la feuille. À droite, même photo mais avec Constant Color activé. On ne fait que deviner l’ombre de l’appareil photo ni de la main avec le pouce levé, tellement les ombres ont été atténuées.
July 7, 2024 at 5:03 PM
lekeynote.pomhello.fr
Quelque soit la couleur ambiante (normal, rouge, vert, bleu), la photos résultantes de l’API Constant Color semblent être identiques. Il serait impossible, si on les mélangeait, de dire laquelle a été prise sous quel éclairage. Tellement elles semblent identiques.
En haut, de gauche à droite, la photo de la plante avec une couleur intérieure chaude, avec couleur ambiante rouge, avec couleur ambiante verte, avec couleur ambiante bleue. En bas, de gauche à droite, le résultat avec API Constant Color. On a l’impression d’avoir la même photo à chaque fois. impossible de savoir comme cela laquelle a été prise sous quel couleur ambiante.
July 7, 2024 at 5:02 PM
lekeynote.pomhello.fr
Cette API, Constant Color, permet de shooter des objets comme s’ils étaient éclairés dans de bonnes conditions, sans que cela soit vraiment le cas. Voyez la photo de la plante prise sous un éclairage normal avec la photo le la même plante prise sous un éclairage rouge. C’est juste bluffant 🤯
Sur la photo de gauche on voit une plante couleur violet avec des feuilles vertes dans pot en terre glaise dépose sur table basse de salon avec les ombres de la fleur sur la table, en arrière plan, sur la droite un fauteuil de salon de couleur bleu, à sa gauche, un grand pot de fleur avec les tiges des fleurs que l’on voit dedans. À sa gauche une table ronde blanche, et le bout d’un autre fauteuil de salon, également bleu. Sur la photo de droite, la même photo mais avec l’utilisation de l’API Constant Color. Plus d’ombre de la plante sur la table basse. Le pot en terre glaise apparaît bien plus clair par rapport à la photo de gauche où il avait l’air brun foncé. Le fauteuil bleu dans le fond est bien moins brillant que sur la photo de gauche. À gauche, photo de la même plante prise dans les mêmes conditions exceptée cette fois que l’éclairage ambiant est rouge. Les ombres sur la table sont dans le rouge, le pot de la plante est bien plus rouge. Le fauteuil qui semblait bleu auparavant est maintenant dans les tons roses/mauves, le mur du fond qui semblait gris, tiré dans les rouges. Les feuilles de la plante ne sont plus aussi vertes. Et le cœur de la plante qui était jaune avec des pétales de couleur violet. Ce même cœur semble orange. À droite, photo prise également sous cet éclairage rouge mais avec l’API Constant Color actif. La photo semble être identique que la photo de droite de l’image précédente. Les couleurs y sont identiques. Jamais on ne croirais que cette photo a été prise sous un éclairage rouge.
July 7, 2024 at 5:02 PM
lekeynote.pomhello.fr
Qu apprenons nous durant cette session ? Qu’Apple a réussi à mettre dans l’iPhone la puissance d’un studio photographique avec des plateformes d’éclairage. Rien que ça. Et cela grâce au mode portrait et l’API Constant Color.
Capture d’écran session 10162 on y voit un studio photo avec une plante déposée sur une table blanche avec une toile blanche comme fond qui va du plafond jusque parterre et un appareil photo numérique sur trépieds avec un grande source lumineuse pour bien éclairé la plante. Capture d’écran session 10162 on y voit une plante déposée cette fois dans une boîte blanche avec une source lumineuse dans le plafond de cette boîte blanche, boîte blanche qui est déposée sur une table ronde basse de salon, avec des fauteuils de salon en arrière plan. Et une personne tenant un iPhone à la main pour prendre une photo de cette plante située dans la boîte blanche. On est clairement plus dans un studio professionnel mais chez un particulier.
July 7, 2024 at 5:00 PM
lekeynote.pomhello.fr
Pour terminer, gros plan sur quelque chose dont j’ignore totalement ce que c’est.
Mais c’est clairement passé de 8 blocs sur le M3 (gros plan de gauche) à 10 sur le M4 (gros plan de droite).
Et ils sont disposés tout à fait autrement et ailleurs sur la puce (près d’un cœur-P)
9/10
Gros plan de la puce M3 sur un composant équipes de 8 coeurs 4 en haut et 4 en bas par rapport à un bus horizontal auxquels ces 8 coeurs sont connectés. Ce composant se trouve en dessous des coeurs efficients. Gros plan sur la puce M4 montrant un composant équipés de 10 coeurs 5 à gauche et 5 à droite par rapport à un bus vertical auxquels ces 10 coeurs sont connectés. Celui-ci est situé à droite d’un coeur performant.
June 21, 2024 at 10:47 AM
lekeynote.pomhello.fr
Sur la droite, au milieu, les deux Display Engine.
Mais remarquez comme ils sont fort différents sur la puce M4 comparé à la puce M3. Ils ont l’air bien plus gros,
8/10
Gros plan sur le côté droit de la puce M3 avec les 2 Display Engine situés au milieu du côté droit. Gros plan sur le côté droit de la puce M4 avec les deux Display Engine sur le milieu. Ces 2 display Engine ont l’air plus costauds sur le M4 que sur le M3.
June 21, 2024 at 10:46 AM
lekeynote.pomhello.fr
Gros plan sur les coeurs efficients
On en voit bien 4 sur la puce M3, avec le CPU Cache Eff, et le bloc AMX juste au dessus.
À droite, les 6 coeurs Eff sur la puce M4, avec le CPU Cache Eff.
La qualité de la photo ne permet malheureusement pas de localiser le bloc AMX.
7/10
Les 4 coeurs efficients de la puce M3 et le cache mémoire et au dessus de celui-ci le bloc AMX. Les 6 coeurs efficients de la puce M4, avec le cache. La qualité de l’image ne permet pas de confirmer la position du bloc AMX.
June 21, 2024 at 10:42 AM
lekeynote.pomhello.fr
Gros plan sur la partie inférieure gauche des puces M3 (gauche) et M4 (droite)
Sur la puce M3, on y voit 2 contrôleurs Thunderbolt
Sur la puce M4, on en voit 4.
6/10
Gros plan sur la puce M3 où sont mentionnés 2 ports Thunderbotd. Gros plan sur la puce M4 où j’ai encadré ce qui semble être les contrôleurs Thunderbolt. Et, surprise, on n’en a pas 2 mais 4.
June 21, 2024 at 10:40 AM
lekeynote.pomhello.fr
Gros plan sur le Neural Engine.
À gauche, gros plan du Neural Engine sur la photo de la puce M3 analysée par @Frederic_Orange.
À droite, ce qui a été identifié comme étant le Neural Engine sur la puce M4 par @techinsightsinc où ils ont oublié d’y inclure la cache mémoire.
5/10
À gauche du CPU Perf situé en dessous de la cache mémoire pour CPU Perf, on a affaire aux 16 coeurs du Neural Enfine, disposés sur 2 colonnes de 2 fois 4 coeurs. On voit en dessous de ces 2 colonnes de 8 coeurs du Neural Engine, de la cache mémoire, qui doit en largeur 3/4 par rapports aux 2 colonnes de 8 coeurs et plus ou moins 1 colonne de 2x3 coeurs du Neural Engine en hauteur. À gauche du CPU Perf situé en dessous de la cache mémoire pour CPU Perf, on a affaire aux 16 coeurs du Neural Enfine, disposés sur 2 colonnes de 2 fois 4 coeurs. Difficile de savoir si ceux-ci ont changé par rapport au M3 car le texte rajouté par Tech Insight nous empêche de voir les détails. On voit en dessous de ces 2 colonnes de 8 coeurs du Neural Engine, de la cache mémoire, mais qui cette fois semble prendre plus de place en longueur tout en gardant la même hauteur de 2x3 coeurs du Neural Engine.
June 21, 2024 at 10:37 AM
lekeynote.pomhello.fr
Gros plan sur la partie où se trouve les CPU Performants.
Sur base du travail effectué par @Frederic_Orange sur la puce M3, je crois qu’on retrouve bien la même disposition pour les coeurs CPU-P et qu’on peut du coup isoler le bloc AMX où l’on devine 8 parties les mêmes (en bleu)
4/10
Zoom sur la partie des CPU-Performants de la puce M3. En haut à gauche deux coeurs performants situés côte à côte. En dessous le Perf CPU Cache, sur une longueur 2 fois plus longue que les deux coeurs performants. En dessous, mais plus centré par rapport au Perf CPU Cache, les 2 autres CPU performants. On entrevoit à la gauche de ces 2 coeurs performants les 16 coeurs du Neural Engine. où on peut voir ce qui a été identifié par Frederic_Orange comme étant le bloc AMX, à droite du CPU Perf 2. On y devine 8 blocs petits blocs carrés, entre autre. Zoom sur la partie des CPU-Performants de la puce M4. En haut à gauche deux coeurs performants situés côte à côte. En dessous le Perf CPU Cache, sur une longueur 2 fois plus longue que les deux coeurs performants. En dessous, mais plus centré par rapport au Perf CPU Cache, les 2 autres CPU performants. On entrevoit à la gauche de ces 2 coeurs performants les 16 coeurs du Neural Engine. Mais fait intéressant, alors que sur la puce M3, les 16 coeurs du neural engine occupait la même hauteur que celle du cœur CPU-P situé à leurs droite, ici pour la puce M4, les 16 coeurs du Neural Engine prennent un peu plus de place en hauteur. où on peut voir au même emplacement de ce qui a été identifié par Frederic_Orange comme étant le bloc AMX, à droite du CPU Perf 2, 8 petits blocs carrés (entourés en bleu sur la photo) assez similaires aux 8 petits carrés du bloc AMX de la puce M3. Mais ici, ces 8 petits carrés sont disposés de façon quelque différentes sur la puce M4 par rapport à la puce M3.
June 21, 2024 at 10:34 AM
lekeynote.pomhello.fr
Gros plan sur la partie supérieure des puces. Où se trouvent les coeurs GPU et DDR. Toujours 10 coeurs GPU sur la puce M4. Mais agencé quelque peu autrement sur la droite, prenant plus de place sur la droite, obligeant à mettre le DDR de droite un peu plus bas sur la puce.
3/10
Gros plan sur la partie haute de la puce M3. On y voit les 8 blocs lpddr5 et les 10 coeurs GPU. 4 a gauche, 4 à droite et 2 au centre. Avec un bloc lpddr5 à leur gauche et 2 blocs lpddr5 à leur droite Les blocs DDR5 et les 10 coeurs GPU. 4 a gauche, 4 à droite et 2 au centre. Les coeurs GPU semblent prendre plus de place. Obligeant les blocs DDR5 de droite d’être positionnés plus bas.
June 21, 2024 at 10:31 AM
lekeynote.pomhello.fr
À gauche l’analyse de @Frederic_Orange pour la puce M3.
À droite l’analyse de @techinsightsinc pour la puce M4, retouchée (comme expliquée précédemment), et que j’ai fait pivoter pour avoir les coeurs GPU en haut aussi, pour faciliter la comparaison entre les deux puces,
2/10
Le slide de @Frederic_Orange où il décrit la puce M3. On y voit les cœurs GPU, les cœurs CPU, les cœurs du Neural Engine, les blocs AMX, les caches, les 2 contrôleurs Thunderbolt, les deux display engine et les 8 blocs LPDDR5 Image de la puce M4 provenant de chez @techinsightinc où l’on voit les coeurs cpu, les coeurs GPU, les caches mémoire, le neural engine et les ddr5.
June 21, 2024 at 10:27 AM
lekeynote.pomhello.fr
En partant de la photo de la puce M4 de Tech Insight techinsights.com/blog/introduci…, j’ai joué avec quelques réglages pour mieux faire ressortir quelques détails (à droite)
Et partager avec vous les quelques découvertes.
🧵👇
1/10
Photo de la puce Apple M4, provenant de l’article https://www.techinsights.com/blog/introducing-tsmc-n3e-power-behind-apples-m4-soc. Malheureusement elle n’est pas trop nette, rendant difficile de voir certains détails. Chose importante à savoir, les cœurs GPU sont sur le côté gauche sur cette photo et le neural engine sur le côté bas. La même photo mais avec netteté mis sur 55 et définition sur 100. Et autres réglages. Ça permet de faire mieux ressortir certains éléments de la photo. Et donc, c’est à parti de celle-ci que j’ai démarré l’analyse, en comparant cela avec le travail effectué par @Frederic_Orange sur la puce M3.
June 21, 2024 at 10:21 AM
lekeynote.pomhello.fr
Image mise à jour par Frédéric en tenant compte des chiffres communiqués que vous aviez déjà dans le Alt Text.
Même image que la précédente mais avec précision que le modèle de language on device était de 3 milliards de paramètres et avait un vocabulaire de 49K Que le modèle pour les image est castré pour ne pas générer d’images photorealistes. Tout comme celui tournant sur le PCC. Que le modèle de langage du PCC aura un vocabulaire de 100K et supportera plus de langues et de termes techniques.
June 16, 2024 at 4:27 PM
lekeynote.pomhello.fr
Interviewers : Hey Apple, what about AI ?
Apple : We do Machine Learning for a long time now.
Interviewers : Yeah, but we mean, what about Generative AI ?
Apple : Ah, You mean AI (Apple Intelligence) ?
Interviewers : Yes, we mean AI !
Apple : We do Machine Learning…🤪🤪🤪🤪🤪
Table 2 columns Title column A : everyone except Apple Title column B: logo Apple Line 1, column A : Generative AI vs Line 1, column B : AI (Apple Intelligence) Line 2, column A : AI vs Line 2, column B : Machine Learning Traduction Tableau en 2 colonnes Titre colonne A : tout le monde sauf Apple Titre colonne B : logo Apple Ligne 1, colonne A : Generative AI vs Ligne 1, colonne B : AI (Apple Intelligence) Ligne 2, colonne A : AI vs Ligne 2, colonne B : Machine Learning.
June 16, 2024 at 4:07 PM
lekeynote.pomhello.fr
Mais j’ai besoin de 2 tweets pour décrire le slide via alt text
À droite, le Private Cloud Compute. Tournant sur du matériel Apple fort sécurisé et équipé d’un OS fait sur mesure. Aucune donnée sauvegardées. Des modèles plus larges puisque par exemple le modèle de langage supportera un vocabulaire de 100K au lieu de 49K et plus de langues et de termes techniques. A la demande de l’utilisateur, celui ci pourra parler avec chat-gpt d’openAI. Gratuitement avec compte anonyme ou avec compte chatGPT qui pourra être payant. Ce sera la version chatGPT 4o auquel l’utilisateur aura accès. Disponible en bêta fin de cette années en anglais américain seulement et sur liste. Plus tard en 2025 étendu à d’autres pays d’autres langues et même d’autres OS (visionOS, watchOS, HomePodOS ?)
June 16, 2024 at 10:20 AM
lekeynote.pomhello.fr
Encore un travail magnifique de Frederic_Orange qui a réussi l’exploit de résumer Apple Intelligence en 1 slide.
À gauche, l’iPhone 15 Pro équipé de iOS 18 et A17 Pro. Logo de Apple Intelligence sur l’écran de l’iPhone 15 Pro. Apple Intelligence Orchestration. C’est lui qui décidera en toute transparence pour l’utilisateur de tout faire en local ou de faire appel au Private Cloud Compute. Plusieurs modèles on device dont un pour le langage et un autre pour l’image. Celui pour le langage a 3 milliards de paramètre et un vocabulaire de 49K. Celui de l’image est castré pour ne pas générer d’image photorealistique. Le Semantic Index sera construit sur base de vos données personnelles. Siri en tirera bénéfice. On a aussi des outils d’aide à l’écriture et image playground pour aider à la créations d’images excepté les images photoréalistiques. Toutes les apps auront la possibilité d’alimenter le Semantic Index mais aussi de s’intégrer encore plus avec Siri grâce à l’App Intents Toolbox. En bas, rappel que l’A17 Pro est équipé de 8Go Ram de CPU, GPU, Neural Engine et Secure Enclave.
June 16, 2024 at 10:12 AM
lekeynote.pomhello.fr
Et on arrive à réduire le temps de latence de moitier dans certains cas entre l’iPhone 14 Pro équipé de la puce A16 et l’iPhone 15 Pro équipé de la puce A17 Pro.

D’où le nombre de 35 000 milliards d’opérations (INT8) par seconde avancés lors du keynote de septembre 2023.
On part d’un modèle en FP16 qu’on réduit en INT8. En dessous un dessin où l’on voit au-dessus des cases FP16 ayant comme nombre 12.5, -300.0, 11, 17, 0 Qui deviennent des nombre entiers.
June 15, 2024 at 3:08 PM
lekeynote.pomhello.fr
Tout d’abord, on y apprend une chose très importante, qui n’avait à ma connaissance jamais été dévoilé publiquement jusqu’à présent : un changement côté matériel pour le calcul de nombres int8.
Ancienne doc, jusqu’à la semaine passée incluse : In newer hardware, e.g. iPhone 15 pro (A17 pro), there is increased int8-int8 compute available on NE, compared to previous versions. Hence, activation and weight quantization for networks running on NE can give even more latency gains, as seen in the examples in the performance impact section. Nouvelle doc mise à jour cette semaine : On newer hardware, e.g. iPhone 15 pro (A17 pro), quantizing both activations and weight to int8 can leverage optimized compute on the Neural Engine. This can help improve runtime latency in compute-bound models.
June 15, 2024 at 3:07 PM
lekeynote.pomhello.fr
Voici les extraits des communiqués de presse ou des Apple Event pour l’A16, A17 Pro, M1, M2, M3 et M4. En plus de l’A14 et l’A15.

On comprend bien que les chiffres pour le M1 et M2 sont identiques à ceux de l’A14 et A15.

Et ceux de l’A16 et M3 sont assez proches.
À gauche, les extrait de communiqués de presse de l’A14 et l’A15 comme repris sur l’image précédente. À droite de celui de l’A14, celui du M1, indiquant que l’ANE peut exécuter 11 000 milliards d’opérations par seconde. Tout comme l’ANE du A14. À droite de celui de l’A15, celui du M2, indiquant que son ANE peut exécuter 15 800 milliards d’opérations par secondes. Tout comme l’ANE de l’A15. Ces chiffres sont donc donnés pour des calculs en FP16. En dessous du communiqué de l’A15, celui de l’A16, capable d’effectuer près de 17 000 milliards d’opérations par seconde. A sa droite, celui du M3, capable d’effectuer 17 600 milliards d’opérations par seconde. Un peu mieux que l’A16 car bénéficiant du passage au 3nm. En dessous de l’A16, le communiqué de l’A17 Pro indiquant 35 000 milliards d’opérations par seconde. À côté du communiqué de l’A17 Pro, celui du M4 indiquant 38 000 milliards d’opérations par seconde. Ce qui s’explique par un passage à une gravure en 3nm de 2ème generation.
June 15, 2024 at 2:58 PM
lekeynote.pomhello.fr
Si on fait le parallèle avec les communiqués de presse, on voit que ce sont les même chiffres. Excepté que dans le communiqué de presse, apple parle de milliards d’opérations par secondes et non de Tflops.
À gauche, le graphe issu du document avec pour chaque puce allant de l’A11 à l’A15, les nombres en TFlops FP16. À droite des extraits des communiqués de presse concernant le Neural Engine de chacune de ces puces. Pour la puce A11: Le nouveau système neuronal de l’A11 […] effectue jusqu’à 600 milliards d’opérations par seconde […]. Pour la puce A12: Un nouveau design huit cœurs lui permet d’effectuer jusqu’à 5 000 milliards d’opérations à la seconde … Pour la puce A13: La puce A13 Bionic a […] un Neural Engine huit cœurs dédié, capable de réaliser cinq mille milliards d’opérations à la seconde, Pour la puce A14 : la puce A14 Bionic renferme un nouveau Neural Engine à 16 cœurs, […]capable d’effectuer jusqu’à 11 mille milliards d’opérations par seconde, Pour la puce A15 Capable d’effectuer 15 800 milliards d’opérations par seconde, le Neural Engine 16 cœurs accélère les tâches d’apprentissage automatique dans les apps tierces.
June 15, 2024 at 2:56 PM
lekeynote.pomhello.fr
Dans ce document, on apprends que depuis la puce A11 jusqu’à la puce A15, les millions d’opérations par secondes étaient sur base d’opération FP16. C’est important de savoir cela, car on a déjà lu ailleurs le tout et son contraire.
Capture image de l’article apple https://machinelearning.apple.com/research/neural-engine-transformers On y lit ceci ANE Peak Throughput (FP16) Bar chart showing iPhone 13 Pro with A15 has a peak throughput of 15.8 teraflops. Bar chart showing iPhone 12 Pro with A14 has a peak throughput of 11.66 teraflops. Bar chart showing iPhone 11 Pro with A13 has a peak throughput of 5.4 teraflops. Bar chart showing iPhone XS with A12 has a peak throughput of 5.4 teraflops. Bar chart showing iPhone X with A11 has a peak throughput of 0.6 teraflops. iPhone 13 Pro with A15 15.8 TFlops 26x iPhone 12 Pro with A14 11.66 TFlops 20x iPhone 11 Pro with A13 5.4 TFlops iPhone XS with A12 5.4 TFlops iPhone X with A11 0.6 TFlops Figure 1: The evolution of the Apple Neural Engine, 2017 to 2021. The 16-core Neural Engine on the A15 Bionic chip on iPhone 13 Pro has a peak throughput of 15.8 teraflops, an increase of 26 times that of iPhone X."
June 15, 2024 at 2:54 PM
lekeynote.pomhello.fr
Apple a annoncé au mois de mai sa nouvelle puce M4 équipée d’un Neural Engine pouvant exécuter jusqu’à 38 000 milliards d’opérations par seconde contre 17 000 milliards pour la puce M3. Et toujours avec 16 coeurs. Comment est-ce possible ?

www.apple.com/fr/newsroom/...

Fil 🧵👇
Capture image communiqué de presse Apple de mai 2024 concernant la puce M4 https://www.apple.com/fr/newsroom/2024/05/apple-introduces-m4-chip/ Une image représentant la nouvelle puce M4 met en avant son Neural Engine et souligne 1) son design 16 cœurs ainsi que 2) sa rapidité et son efficacité énergétique accrues. La légende dit ceci : La puce M4 renferme le Neural Engine d’Apple le plus puissant à ce jour, puisqu’il peut effectuer 38 000 milliards d’opérations à la seconde – une vitesse 60 fois supérieure au premier Neural Engine, à l’ère de la puce A11 Bionic.
June 15, 2024 at 2:52 PM
lekeynote.pomhello.fr
3 nouvelles vidéos consacrées aux nouveautés des GPU M3 et A17 sont parues dans la série Tech Talks.

On vous les résumera dans les prochains jours

Mais sachez déjà que Dynamic Cache n’est pas propre aux puces M3 mais est également de la partie pour A17.

Les cachotiers.
Capture d’écran Tech Talks de l’app developer Tech Talks • Explore GPU advancements in M3 and A17 Pro. 9 novembre 2023. Durée 29 minutes • Discover new Metal profiling tools for M3 and A17 Pro 9 novembre 2023. Durée 33 minutes • Learn performance best practices for Metal shaders 9 novembre 2023. Durée 26 minutes • Bring your high-end game to iPhone 15 Pro 9 novembre 2023. Durée 16 minutes • Meet rule-based matchmaking in Game Center 9 novembre 2023. Durée 17 minutes
November 10, 2023 at 12:11 PM
lekeynote.pomhello.fr
Une puce qui viendrait se situer entre la M3 Max et la M3 Ultra. Je vous présente la M3 Pro Fusion

24 coeurs CPU 12P/12E
36 cœurs GPU
2 Neural Engine
4 Media Engine
Jusqu’à 72Go mémoire
Bande passante 300gbps

👇
Montage grossier fait par @leleynote.pomhello.fr dans le métro ce matin sur son iPhone où l’on voit deux puces M3 Pro reliées entre elle par le bus fusion, tout comme la M2 Ultra est l’assemblage de deux puces M2 Max reliées par le bus fusion.
November 7, 2023 at 11:25 AM