北京的护城河公共绿道，位于鼓楼附近。（via visuals_china@instagram）
上周的《李飞飞自传》读后感，还有后续。
那篇文章的结尾是，2012年一支加拿大团队使用神经网络算法，夺得了 ImageNet 比赛冠军。
今天就来说说，这支加拿大团队的故事。
大家看了就知道了，神经网络算法是怎么诞生的，背后的推手又是谁。
（1）杰弗里·辛顿（Geoffrey Hinton，1947-）
辛顿出生于英国，后移居加拿大。他是神经网络算法的奠基人和主要发明者。
神经网络的概念，是上世纪40年代后期提出的（提出人不是辛顿）。当时的想法是，既然人类通过神经网络进行思考，那么只要让机器模拟神经网络，机器就能思考了。
但是，那只是一个概念，并没有具体的算法。机器怎么模拟思考，人们并不知道。
1984年，辛顿在加州大学担任博士后，与两个同事一起提出了反向传播算法。
这个算法可以建立多层网络，产生一个输出结果，让神经网络变成了现实，也是后来更高级算法的基础。
由于它需要多层计算，后一层在前一层的结果上学习，所以被称为“深度学习”，辛顿因此成为“深度学习之父”。
辛顿后来因为这个贡献，获得了图灵奖（2018年）和诺贝尔物理学奖（2024年）。
（2）杨立昆（1960-）
杨·安德烈·勒坎（Yann André Le Cun，中文名杨立昆）是法国人。上个世纪80年代，他是多伦多大学博士后。
这一时期，辛顿也来到了多伦多大学任教，担任他的指导教师。
所以，杨立昆是辛顿的大弟子，继承和发展了辛顿的算法。他的主要成就是，为神经网络引入了卷积算法，并且做出了第一个有实际用途的神经网络。
1990年代，他用神经网络识别银行支票的手写数字，成功获得了企业的采用。
但是，这个应用也暴露了卷积神经网络的弱点：它需要大量样本的训练，耗费巨大的算力。银行支票只需要识别10个阿拉伯数字，如果是更多样化的场景，当时的计算能力难以做到。
学术界因此认为，卷积神经网络只适用特定的、计算量较小的场景，不具备推广的价值。这导致这种算法，以及辛顿和杨立昆，被冷落了二十年。
这二十年，杨立昆一直混迹于企业实验室和大学教研室。等到世界重新认识卷积神经网络，他在2018年与辛顿一起获得了图灵奖，现在是 Meta 公司的副总裁和 AI 首席科学家。
（3）亚历克斯·克里泽夫斯基（Alex Krizhevsky，1986-）
亚历克斯·克里泽夫斯基是乌克兰人，少年时随家人移民到加拿大。2007年，他进入多伦多大学，成为辛顿的博士生。
这时距离杨立昆提出卷积神经网络，已经过去快20年了。辛顿始终没忘记它，他鼓励亚历克斯和稍后要提到的伊尔亚·苏茨克维，使用这种算法，去挑战李飞飞的 ImageNet。
亚历克斯就写了一个程序，用 ImageNet 的1500万图片，来训练他的卷积神经网络。但是，计算量太大了，他的个人计算机根本跑不动，他就买了两块 Nvidia 显卡，每天24小时一刻不停地运算。
事实证明，卷积神经网络+大训练集+高速计算硬件，超过了其他一切已知的算法。最终，他们的三人团队以巨大优势，夺得了2012年第三届 ImageNet 算法比赛冠军。
这件事轰动了业界，各大互联网公司纷纷邀请辛顿和他的学生加入。百度也伸出橄榄枝，邀请辛顿担任首席科学家，但是最后输给了谷歌。
2013年，谷歌以4400万美元收购了辛顿成立的空壳公司，将辛顿、亚历克斯、伊尔亚三个人一起招入麾下。
2017年，亚历克斯辞职，现在一家创业公司研究 AI 技术。
（4）伊尔亚·苏茨克维（Ilya Sutskever， 1986-）
伊尔亚·苏茨克维出生于前苏联，后去了以色列，然后来到加拿大。他是亚历克斯·克里泽夫斯基在多伦多大学的博士同学，也是辛顿的博士生。
他与亚历克斯组成团队，共同赢得了2012年的 ImageNet 算法比赛。辛顿作为指导老师，也是团队一员。
他在2013年跟随辛顿加入谷歌，2015年辞职，成为 OpenAI 的联合创始人和首席科学家，后来是 ChatGPT 的主要作者之一。2024年，他离开 OpenAI，现在创立了自己的 AI 公司。
（5）安德烈·卡帕斯（Andrej Karpathy，1986-）
安德烈·卡帕斯出生于斯洛伐克，15岁随家人来到加拿大，在多伦多大学读完了本科。
他跟伊尔亚·苏茨克维很可能大学里就认识。但是，他没在多伦多大学读博士，而是去了斯坦福大学，指导老师就是李飞飞。
他的方向也是卷积神经网络，博士期间开设了斯坦福大学第一门深度学习课程，担任主讲。
2015年，他跟随伊尔亚一起加入 OpenAI，成为主要研究人员。
2017年，他离开 OpenAI，去了特斯拉，担任特斯拉 AI 总监，2022年离职。
（6) 总结
上面五人是神经网络算法的主要创立者和推动者。没有他们，就不会有今天的 AI 大模型。
但是，单单靠他们的算法，AI 不会成功。因为算法需要大量的数据进行训练，而训练需要高速计算的硬件。这三者缺一不可。
只有等到2012年，才万事俱备。神经网络算法 + 李飞飞的 ImageNet 训练集 + Nvidia 高速显卡，同时出现了。
历史于是翻开了新的一页，AI 时代正式来临。
（1）一家深圳公司推出了，可能最炫酷的树莓派机箱。
它自带机箱显示屏、RGB 灯光、风扇、NVMe SSD 扩展板，很适合用作 NAS 和 AI 边缘计算。
（2）芬兰尝试在驯鹿的鹿角，涂上荧光粉。
这是为了方便司机在夜间看到驯鹿，目前每年在芬兰公路上被撞死的驯鹿有4000头。
（3）在线会议软件 Google Meet，推出实时语音翻译，首先提供西班牙语版本。
在线会议时，对方说西班牙语，你听到的却是英语，而且声音、语调和情感都不变。
（4）意大利开源硬件公司 Arduino，研发出了可降解 PCB（电路板），减轻对环境的污染。
这种可降解电路板，将电路印刷在植物亚麻材料上，而不是传统的玻璃纤维和树脂。
不过，电路板上的铜无法降解，需要在丢弃电路板之前先回收。
（5）一家美国创业公司，准备发射卫星，将 AI 机房建在太空。
它依靠24小时的太阳能供电，也不用担心散热。
该公司希望通过这种方法，解决 AI 服务器的耗电和冷却问题。
1、手机的 Linux 桌面环境（英文）
作者出门不带笔记本，只带手机，再配上蓝牙键盘和 AR 眼镜。
他的安卓手机在获取 root 权限后，通过 chroot 安装了 Linux 发行版，从而可以运行桌面环境。
2、AI 应用的核心逻辑（英文）
作者提出，AI 应用（AI agent）的核心逻辑只需要9行代码。
3、浏览器默认屏蔽的端口（英文）
你可能不知道，浏览器无法打开下面的网址localhost:6000，原因是6000是浏览器默认屏蔽的端口。
4、推荐 RustDesk 远程桌面（英文）
Mac 电脑访问 Windows 电脑，一种方法就是使用远程桌面，作者推荐远程桌面工具 RustDesk。
5、HTML <dialog> 的 CSS 技巧（英文）
HTML 有一个原生的弹窗元素<dialog>，本文介绍两个配套使用的 CSS 技巧。
6、Git 配置详解（英文）
本文详细解释 Git 配置命令 git config 的几个最常见的设置。
1、Pyrefly
Meta 公司发布的 Python 代码的类型检查器，参见介绍文章。
新发布的一个开源浏览器，基于 Firefox，国外评价非常高，使用体验好，参见介绍文章。
3、xtool
Xcode 的替代品，在 Linux/Win/macOS 开发 iOS 应用。
在线批量转换文件，基于 WebAssembly 技术，完全本地完成，还可以编辑图片。（@xiaoshangmin 投稿）
5、耗子面板
Go 语言开发的服务器管理面板。（@devhaozi 投稿）
6、Goravel
Go 语言的 Web 开发框架，与 PHP 的 Laravel 框架保持一致，方便快速上手。（@devhaozi 投稿）
开源的游戏变速工具，通过调整 Windows 系统时间函数来实现游戏速度变化。（@game1024 投稿）
后端的 JS 相册应用，瀑布流展示图片，指定图片目录，直接运行即可。（@SimonAKing 投稿）
9、Jwno
网友开源的 Windows 10/11 平铺窗口管理器，键盘驱动。（@agent-kilo 投稿）
10、星河小程序
滴滴公司开源的跨平台开发框架，支持将小程序打包成为安卓、iOS、鸿蒙和 Web 四个平台的原生 App。（@dos1in 投稿）
1、aTrain
一个跨平台、图形界面的自动语音识别工具，基于 Whisper 模型，支持识别50多种语言，参见介绍文章。
在线的免费图像处理工具，提供多种 AI 功能，比如图片增强、去除水印、风格转换等十几种。（@worminone 投稿）
1、万物博物馆
一个跨平台的桌面软件，将维基百科变成一个虚拟博物馆。
每件展品与维基百科的一篇文章相对应，墙上的画框就是文章图片，讲解牌就是文章内容。
走廊则根据文章的链接通向其他展厅，有几乎无限的展厅可以参观。
《星球大战》的第一部电影，拍摄于1976年，里面有一个机器人 R2-D2，会四处走动，做各种动作，还会说话。
其实，它根本没那么高科技，拍摄的时候，就是里面藏了一个真人演员。
2、冰为什么体积大？
水变成冰以后，体积会增大10%，密度因此小于水，使得冰可以浮在水面上。
那么，冰的体积为什么会增大呢？
答案是冰的分子结构，跟水的分子结构不一样。
上图左侧是液态水的分子结构，右侧是冰的分子结构。其中，白色节点为氢原子，红色节点为氧原子。
可以看到，液态水是紧密聚合的网络结构，冰则是中空的网络结构。也就是说，冰的分子结构不是那么密合，所以体积就变大了。
Slack 是一家即时通信的软件公司。它的官网有一个“公司介绍”的页面，通常来说该页面的 URL 会是slack.com/about，但是 Slack 没有采用这种做法。
它将这个页面命名为is，并分拆成若干个子页面。
所以，“公司介绍”页面的 URL 是slack.com/is。
子页面的 URL 如下。
- slack.com/is/team-communication
- slack.com/is/everything-in-one-place
- slack.com/is/wherever-you-are
这样的好处是单单看 URL，就知道页面想要传递的信息，URL 本身就是对公司的一种宣传。
这种 is 的巧妙做法，后来被广泛借鉴。碰巧的是，is也正好是一个顶级域名，代表冰岛（iceland）。很多名人就申请了 is 域名，作为个人主页。
比如，艺术家杰西卡·希斯切（Jessica Hische）的个人网站，域名就是jessicahische.is，她介绍自己的页面 URL 就都是jessicahische.is/xxx的形式。
1、
我们很快会跟大家分享一个低调的研究成果。我们会给它起一个比 chatGPT 更好的名字，以防它流行起来。
— Sam Altman，OpenAI 的 CEO
2、
加尔定律经常被引用：“一个有效的复杂系统，总是从一个有效的简单系统进化而来。”
但是，它的推论很少被引用：“一个从零开始设计的复杂系统永远不会有效，你必须从一个可以运行的简单系统开始。”
3、
宇宙有两种可能：要么我们是孤独的，要么我们并不孤独。这两种可能性都同样令人恐惧。
— 阿瑟·克拉克，英国著名科幻小说家
4、
太阳绕银河系公转一圈需要2.3亿年，上一圈的时候，地球的主宰还是恐龙。
5、
我关注了一些教育工作者，他们都报告了同样的现象：他们的学生什么事情都用 ChatGPT，结果什么也没学到。
最终可能会出现这样一代人，自己的智力很低下，完全依赖于他们不理解的技术，一旦技术崩溃，他们永远无法从头开始重建。
— 尼尔·斯蒂芬森（Neal Stephenson），美国科幻小说家，“元宇宙”一词的创造者
© 版权声明
相关文章
暂无评论...