在电影「钢铁人」中东尼史塔克有一个非常优秀的助手，这边讲的不是由强·法夫洛扮演的〝得力助手〞快乐霍根，而是由保罗·贝特尼配音演出的人工智慧电脑兼虚拟管家贾维斯，相信看过电影的朋友都知道虚拟管家很有用，它不但可以跟主人进行对话、甚至也能帮忙做事、分析资料。不过大家知道这样的技术在未来真的有可能成真吗？国外就有网友自己研发了一组「GPT之眼」，透过摄影机把资料输进电脑，再转成讯息然后输入给GPT-4，然后GPT-4回覆的内容再透过电脑播放出来，以初步成型来说！这样的技术已经十分惊人了

国外有一位网友Mckay Wrigley近期也跟许多网友一样，正在研究GPT-4的神奇奥妙之处，在国外已经有很多人将这套系统玩出花样，像是用它来打报告或是进行文书处理，有人则是拿来写网站程序，不过刚刚所提到的这些可能都不比这位网友所做的还要厉害，因为他想做的是让AI有一双可以辨识现实世界物体的眼睛，使人工智慧电脑兼虚拟管家这件事成真

Mckay Wrigley是一位自学程式码的年轻人，从开始到现在不过四年时间，虽然比不上许多前辈或工程师大佬，但他最近所做的一项举动引起了网友注意，那就是替人工智慧装上眼睛，虽然他本人很谦虚的说这些很基本，但成果的确是相当显而易见！首先摄影的部份他选择苹果手机，用手机拍摄在电脑上进行直播，接着再使用视觉模型「YOLOv8」检测目标，为了确保资料全都正确，还必须事先将整栋屋子的所有东西（图片资料）输入至电脑，先汇集成一个数据库，以上这些跟等等提到的部份，据说都是他上网看了别人教学的20分钟影片自学的...所以，要嘛他是天才，再不然就是这些操作真的很简单？？？

还记得刚刚提到钢铁人电影中的虚拟管家吗？实际上为了让科技更贴近人性，Mckay Wrigley选择了OpenAI公司推出的语音自动识别系统「Whisper」，安装到电脑上进行对话分析，这套系统对于英文的识别準确率极高，因此只要有这套系统的帮助，就能将他讲的话转成文字输入给GPT-4，然后GPT-4输出的文字讯息会被AI语音生成器透过喇叭唸出来，如此一来一套虚拟管家系统就算完成了

内容大概就是这样，我觉得大家看影片可能会比较有感，总之画面里Mckay Wrigley用手机拍下画面的同时，上面的框框就是系统正在判读眼前的物体资料，接着他对着人工智能说什么是生酮饮食，然后AI回覆说这是一种高脂肪、低碳饮食方式，可以有效降低血糖跟胰岛素，让人体远离碳水化合物的同时改变身体的新陈代谢...等等，接着下一个话题就是，如果我给你(AI)看一些食物，你能告诉我那些是相关的食物吗？

接着画面就带到冰箱，里面有一些牛排、果汁、可乐、酱料等食物，画面动得很快有些画面一闪而过，不过画面上的框框也在不停闪烁，意思就是系统正在判别这些物品，最终GPT-4给出回答，里面有的牛排、蔬菜、蔬果等都是很棒的生酮食物，接收到这些讯息的Mckay Wrigley很开心，于是进一步要求AI找一份食谱，依照冰箱里面的东西做出料理，结果AI还给了一条网页连结，虽然这网页里的资讯不是很完美，因为用到了不少他没有的冰箱食材，但短短影片的展示已经向所有人展现人工智能管家的强大跟潜力

底下这段影片则是他前一阵子的尝试版本，但已经具备人与电脑良好的沟通方式与100%準确的识别能力，比方Mckay Wrigley拿出一罐健怡可乐并询问其热量，GPT-4能清楚回答商品名称以及这是零卡洛里的东西，接着拿出一根牙刷问AI这是什么，并且给出购买连结，这点GPT-4也能回答，最后秀出一张捍卫任务4的海报，请GPT-4给出画面里这个男人的讯息，而GPT-4也很清楚地回答出这是基努李维，这是他在电影「捍卫任务4」中扮演的角色

I gave GPT-4 eyes.

Here’s what I did:
- added some data to a vision model
- gave the AI camera access
- asked it questions about the scene
- it identified objects
- it searched web for info
- used that info to accurately answer

Watch it get 3 questions 100% correct! pic.twitter.com/qzUmcneXDi

— Mckay Wrigley (@mckaywrigley) April 26, 2023

以上就是这次跟大家分享的相关内容，我觉得大家刚刚看到的这些，在未来肯定会有大公司参与研发，也许不久的将来人们就可以靠VR设备，把虚拟跟现实结合再一起，实现一种超越现在能想像到的方便生活

所以将来人人都有一套贾维斯，但不一定每个人都会是东尼史塔克(财力)就是惹= =

钢铁人,贾维斯,AI,人工智能,GPT之眼,虚拟管家,GPT-4

评论0