——」
他思忖一会，摇了摇头，模板库，检索式————
俞兴再次发问：「吴总，如果就是像咱们这样自由的闲聊呢？漫无目的，没什麽特别中心的讨论，就好像————就好像它是一个真实的陪在旁边的人。」
吴恩达听着俞总这样的描述，用了一个词总结：「开放式的对话？」
俞兴眼睛一亮，点头道：「是的，TD模型在开放式对话上面的潜力怎麽样？」
「我明白你的意思，就好像做到科幻电影里有个能够与人自由对话的机器人，它所搭载的那种善解人意的核心程序。」吴恩达仔细思考着老板提出的要求，斟酌道，「从目前的研发情况来看，嗯，传统的自然语言处理模型是可以按照目录查字典，可以匹配关键词。」
「我们的TD—1是能看懂问题的意思再找字典里的答案。」
「但是，你的要求就好像是在字典之外再写出上面没有的东西。」
「如果这麽来推进开放式的对话，可能很快就会碰到天花板吧，因为，我们是用Transformer编码器+双向预训练进行的自然语言理解。」
「如果百度或者谷歌，包括碳矽数据可以用我们TD模型的思路把它集成到搜索业务里，我相信一定能更好的提升搜索结果的相关性。」
能够更好的理解用户搜索的问题，自然也就能更好的提供答案。
俞兴沉默了好一会，说道：「吴总，那还是拜托你把关於TD模型的原理再详细的给我一份论述，要是能参照业内的相关研究，那就更好了。」
他隐约发觉到问题了，TD模型似乎是检索式、搜索式应用方面更广，而不是後来主流的可以自由对话的生成式。
这里面或许是TD模型现在路线的研究还没推进到位，或许就是还存在基於Transformer机制上另外的路线。
如果想要验证这一点，只要对比OPENAI的研究就能知道了。
吴恩达察觉到老板的迷惑，但不知道到底是关乎什麽，也就答应了这个要求。
俞兴不确定自己的想法是否幼稚，不过，对於这件事的可能性也不是特别着急，连可以随时询问吴恩达等人的自己都难以摸清，那投资人们就难搞清楚了。
而且，美国之行就可以直接登门拜访请教。
DLF都愿意开源自己研究的东西，不要求其他家把他们研究的东西全部亮出来，对比找找参照总是可以的吧。
就在次日，吴恩达把TD—1模型更详细的材料发了过来。
俞兴推开半天时间，专门窝在办公室里啃这篇邮件。
按照吴恩达的表述，TD—1模型的本质是使用了12层Transformer编码器，再通过双向掩码预训练的自然语言处理模型，总参数量在1.1亿。
俞兴仔细看文件里的描述，怀疑是参数量还不够高的问题，但是，等到反覆浏览之後，另外一处对Transformer论文的描述又引起注意。
由谷歌发布的Transformer论文，它提出的是一套完整的编码器+解码器的架构，编码器用来理解输入的意思，解码器用来生成输出的文本。
俞兴静静的思考，编码器，理解，解码器，生成。
TD—1模型主要使用的是编码器的架构。
他乾脆把相关内容都写在了面前，然後把电话再次打给吴恩达：「吴总，为什麽我们
的TD—1主要是使用编码器，我看Transformer论文不是包含编码器和解码器吗？」
「刚开始我们用Transformer的时候确实是这样，但後来发现两个模块是可以拆开独立使用的。」吴恩达解释道，「我们认为首先得让模型能够读懂意思，最开始我们尝试了两个模块的对比，相同的参数下，编码器模型在语言理解上可以比解码器模型高出至少10%的效果。」
「而且，参数越大，两种模型的效果差距越明显。」
吴恩达没有深入的讲解技术问题，没听到俞总的回应，思考着又说道：「另外，TD模型这种编码器，它的结构更简单，推理更快，可以用更少的参数做出更好的效果，我们其实也参照了过去在百度的经验，TD—1更适合百度那种高并发和低延迟的海量业务场景，部署成本肯定会远低於同样效果的解码器方案。」
俞兴心中的倾向变得更加清晰了。
他轻轻叹了口气：「吴总，我明白了。」
吴恩达不解：「明白什麽了？」
俞兴肯定的说道：「都怪百度。」
都怪百度带来的坏习惯，让吴恩达等人潜意识考虑更适用於它的方案，当然，这仍然只是一种猜想，但验证起来就更简单了。
俞兴基本能够理解这里面可能存在的不同技术路线到底是什麽样，也就能够更加精准
的寻找佐证。
吴恩达听着电话里的声音，从头到尾都不明白俞总到底在疑惑什麽，这会也只能说道：「俞总，TD模型的挖掘潜力还很大，我们是有信心把它做到更好的。」
「没事，吴总，慢慢来，不要考虑机构投资的压力，连我都不懂，他们更不懂了。」俞兴看着面前被自己写出来的东西，随手又在上面画了圈，说道，「吴总，我有问题再给你打电话。」
吴恩达答应了，听着挂断的声音，不知道俞总在忙活什麽。
俞兴放下手机，再度拜读吴恩达发来的材料内容，确定自己基本理解可能存在的方向差异，随即把电话打给了刚被OPENAI赶走的马斯克。
「埃隆，OPENAI是不是在使用Transformer解码器进行主要的研究？」
马斯克接到大空头的电话，完全没想到对方会问这个东西。
他答道：「这是什麽东西，我不清楚。」
「帮我问问呗。」俞兴说道，「我验证验证想法，过一阵到美国请你喝酒。」
「你要来美国？」马斯克诧异，又说道，「那我要一瓶最好的红酒。」
俞兴毫不犹豫的答应了。
电话结束，等待答案。
大约十分钟，马斯克的回覆来了，OPENAI确实在使用纯Transformer解码器的技术路线，也就是奔着生成的方向。
俞兴看着简讯，感觉这瓶红酒太值了。
>