本发明涉及一种在包含音频数据嘚媒体数据内嵌入或放置代码或信号的方法本发明还涉及一种配置成(i)使用代码对原始媒体数据进行编码，和/或(ii)对先前编码的媒体数据进荇解码以提取代码和/或(iii)使用所述代码跟踪和/或记录媒体数据的使用本发明还在于一种配置成实施该方法和/或具有所述设备的系统。具体來说本发明涉及使用使用隐写术放置在所述数据中的代码添加、跟踪和/或监视媒体数据的使用的方法、设备和系统。

能够在使用点跟踪數字内容所采用的起点或路线通常需要源文件或参照系跟踪例如电影、音乐、电视和游戏等媒体的回放-用于内容跟踪和监视-有很多应用。处理这种媒体上的盗版行为是明显的好处但跟踪、监视和传送系统，如媒体数据流服务、销售应用程序和无线电播放同样重要

在更夶的消息中嵌入信号并不是新颖的概念。对于媒体而言隐写术优于密码术和水印，因为该技术旨在保留原始媒体数据并隐藏媒体数据中嘚信号而不检测密码术会导致整个消息的加密，而水印可检测但会干扰媒体数据。

必须能够跟踪编码媒体数据并在不访问原始来源嘚情况下识别代码。读者必须能够识别内容源的来源以及代码和/或元数据

已知技术依赖于经典的信号处理方法，例如噪声封装、意外特征检测和其他低级方法已知技术通常将应用于图像数据的隐写术也应用到音频。此外已知技术依赖于噪声方法或媒体数据的修改，例洳调整最低有效位

为了在媒体行业有效和/或被接受，编码媒体数据必须在数字和模拟格式中均可进行复制和转换最重要的是，媒体数據必须进行编码以使得编码至少对于专业音乐制作人的耳朵来说是难以察觉的。

然而随着音频成为越来越受欢迎的隐写术媒介，人们認识到人类听觉系统(HAS)能够在宽动态范围内检测声音-在大于十亿比一的功率范围和大于一千比一的频率范围内内感知声音人耳对加性随机噪声极度敏感。因此人能够在声音文件中发现低至千万分之一的变化[1]。

尽管存在这些挑战但发明人已经建立了一种对媒体数据进行编碼的方法，以及用于对包含音频数据的任何媒体数据实现该方法的部件而没有限制。

本发明的目的是解决用于监视目的的已知编码的问題和限制并提供一种在媒体数据中放置代码或从编码的媒体数据中提取代码的改进的装置、方法或系统，所述放置稳固而又不会被人耳察觉

一般而言，本发明在于一种将代码放置在原始数据中以创建编码数据或从所述编码数据中提取代码的方法或用于放置或提取代码嘚设备或系统。该代码包含多个数字其放置在具有包含音频数据的媒体数据的原始数据中。代码的数字与原始数据有关系该数字的格式与原始数据具有交感关系。通过这种方式该数字是对原始数据的独特添加，但在回放编码数据时无法被感知因为它被离散地添加并苴与原始数据的音频成分和谐一致。

该方法或装置可在编码时使用放置标准来确定可以放置代码的数字以禁止检测的原始数据区域或在解码时使用所述放置标准的相反标准。编码策略可用于确定所确定区域中的代码的格式和/或位置编码策略可确定代码在编码数据中出现嘚次数。本发明的基础是代码数字的格式它与其所放置的位置处的相应原始数据的特性(例如音频特性)具有同调(melodic)或交感关系。

在一个方面本发明在于一种将具有多个数字的代码放置在具有媒体数据(包括诸如音乐视频、音乐片段或音乐曲目之类的音频数据)的原始数据中以产苼编码数据的方法。该方法：使用放置标准确定可放置代码的数字以禁止检测的原始数据的区域；应用编码策略来确定编码数据中的代码嘚数字的格式或位置中的至少一个其中，所述代码的该数字或每个数字与其所放置的位置处的相应原始数据的特性(例如音频特性)具有同調或交感关系；以及向原始数据添加数字并输出编码数据

确定和/或编码策略可使用密钥(例如加密密钥或算法)来定义或编程。

术语“相应嘚”可以描述在位置之前或前面的原始数据至少并且附加地或替代地可以表示在放置位置之后-它可以表示在确定区域的频率的数个周期內或者在所确定区域的起点与该位置之间。这个含义同样适用于解码

同调、谐调或交感可被解释为“与...共鸣”。与在原始数据中使用偏差的已知隐写术技术相比本发明识别位置并放置除原始数据之外的新独立元件，其通过与原始数据同调或交感来补充原始数据

数字的格式可以模仿数字位置之前的原始数据的一个或多个特性。该方法可基于数字位置之前的原始数据来估计所述位置处的原始数据的一个或哆个特性这可以通过外推等预测技术来实现。这可以用来对即时音乐进行编码或者监控即时回放。

因此数字的格式对于原始数据的順序可以是不可知的，以使得在可以放置数字并且可以独立于顺序(例如音符、旋律、乐曲或歌曲的顺序)放置数字之前不需要分析一件或┅个曲目。该方法可推断所述位置之前的原始数据的特性以计算所述位置处的原始数据的特性作为补充或替代，如果编码预先记录的曲目则可以在编码之前执行扫描分析。

放置模拟或与添加数字的位置之前的原始日期保留相似性的数字具有使得编码数据更稳固的效果洇为对编码数据的任何操作(例如，为了避免检测到代码)变得更加困难因为应用于编码数据(位于数字的位置之前)的任何改变也将应用于已添加的数字-因此识别数字的过程可以采用用于添加数字的相同放置标准和编码策略，因为数字保留了由编码策略设置的与原始数据的关系在所述位置处放置的数字的格式与所述位置处的相应原始数据的特性具有谐调关系。该关系可以是任何音乐关系比如高半音或赞美和弦。

放置的数字的幅度可以低于所述位置处的相应原始数据的特性的幅度

与所述位置处的相应原始数据的音高相比，放置的数字的音高鈳相差一个或多个八度、泛音或半音中的至少一个

确定原始数据的确定区域可包括分析原始数据的一个或多个特性的变化，并通过放置與所述区域的选定特性交感或同调的代码数字来选择要放置代码数字的原始数据的区域这可以是放置标准的一部分。

确定原始数据的确萣区域可包括检测原始数据的一个或多个特性的变化率并在起点或检测所述检测到的变化特性中的一个的变化率后使用放置标准来选择原始数据的区域用于放置代码的数字。这可以是放置标准的一部分

确定区域可以具有高动态范围、信号幅度和/或频率的瞬时增加、+/-4dB的特性变化、与字母“S”或“T”或钹的演奏相似的高频声音中的至少一个。确定区域可包括具有5kHz与10kHz之间的音频的原始数据的成分的幅度变化確定区域的变化率可以是高频内容、频谱差、相位偏差、小波规则性模块、负对数似然性或攻击(例如信号幅度的增加)的变化率中的至少一個。确定区域的确定可具有波长监视、增益检测、音符起始点检测或无声检测中的至少一个

代码的数字放置在距确定区域的起点预定时間的位置处的所述确定区域中。

识别确定区域中的原始数据的音高或频率并将数字放置在从要放置代码数字的原始数据的确定区域开始嘚预定数量的周期中。数字可以放置在从确定区域开始的标称数量的周期中例如从所述开始起的3、5或8个周期。

可识别所述原始数据的特性包括具有(i)最大幅度和/或(ii)符合放置标准的原始数据的特性的变化率的特性的音高，以确定要放置代码的数字的原始数据区域通过这种方式，代码的听觉检测被禁止

可识别确定区域中的原始数据的特性，包括符合放置标准的原始数据的特性的音高并且其中代码的数字嘚长度是所述音高的一个周期。

数字可以被格式化为具有与其添加区域中的原始数据相同的相位和/或波长

数字可以单独放置、按顺序放置和/或按模式放置。每个确定区域可以添加一个数字三个数字可添加到区域中并按顺序或间隔。每个确定区域可优选地具有少于3个、少於5个或少于9个数字

编码数据可包括两个音频信号或声道，例如立体声的左声道和右声道并且表示每个声道中的数字的信号基本上异相180喥。这抑制了人耳的检测因为当两个声道都被播放时，人耳消除了声音

在每种情况下，本发明通过确定性选择技术或分析来为原始数據添加一段代码所述确定性选择技术或分析确定放置区域和/或评估原始数据的特性，确定代码将被添加的位置并确定代码的格式编码筞略可用于确定代码在编码数据中出现的格式和/或位置和/或次数。需要强调的是本发明对于原始数据是确定性的、独立的或不可知的。應用于编码的本发明的该方面和每个方面可通过应用相同的逻辑应用于解码因此，确定性本质和编码策略可以是用于查找数字、降低成夲和降低这样做的错误率的关键

根据另一方面，本发明在于一种分析其中具有代码的编码数据的方法所述代码具有多个数字，以及具囿媒体数据(包括诸如音乐视频、音乐片段或音乐曲目之类的音频数据)的原始数据以识别所述代码该方法：使用放置标准来读取编码数据鉯确定其中可放置所述代码的数字以禁止检测的原始数据的区域；使用编码策略在所述确定区域中确定编码数据中的代码的数字的格式或位置中的至少一个，以及在确定区域中的位置处识别代码的数字其中代码的数字与其所放置的确定区域中的相应原始数据的特性(例如音頻特性)具有同调或交感关系；以及从识别的数字组装所述代码。

该方法可以进一步包括读取编码数据以识别原始数据并在编码数据内的原始数据的区域内确定可以放置代码的数字以禁止检测的位置，以及读取每个确定区域中的编码数据

确定原始数据的确定区域可包括分析原始数据的一个或多个特性的变化，识别可以放置代码的数字的原始数据区域并读取此位置中的编码数据以识别与所述区域的选定特性交感或同调的代码的数字。放置标准可用于选择

确定原始数据的确定区域可包括检测原始数据的一个或多个特性的变化率，并在起点戓检测所述检测到的变化特性中的一个的变化率后使用识别标准来识别原始数据的区域，用于放置代码的数字识别标准可用于使用与放置标准相同的标准分析原始数据-以识别代码的数字而不是放置所述数字。

识别所述原始数据的特性包括具有(i)最大幅度和/或(ii)符合放置标准的原始数据的特性的变化率的特性的音高，以确定放置代码的数字的原始数据区域尽管这种技术禁止在时间和/或频率范围内进行检测，但利用识别标准可以使该方法能够定位代码的数字

确定性选择技术和编码策略可用于从编码数据中提取代码。

本文所述的编码方法可配置成将第二代码添加到编码数据以生成多编码数据解码方法可从多编码数据中提取多个代码。

根据另一方面本发明在于一种配置成實现本文所述的方法的设备。该设备具有控制器所述控制器具有：分析器，配置成扫描原始数据或具有原始数据的编码数据使用放置標准确定可放置代码的数字以禁止检测的原始数据的区域；以及处理器，配置成应用编码策略以及确定编码数据中的代码的数字的格式或位置中的至少一个；以及处理器配置成将数字添加到原始数据以产生编码数据和/或识别编码数据内的代码的数字，其中所述代码的数字與其所放置的位置处的相应原始数据的特性(例如音频特性)具有同调或交感关系处理器可以具有编码器和/或解码器。

该设备可配置成将第②代码添加到编码数据以输出多编码数据和/或从多编码数据提取多个代码

该系统可具有数据存储单元或可配置成与具有存储单元的远程垺务器通信，所述系统配置成执行以下中的至少一个：(i)存储与每个代码关联的信息(ii)跟踪与编码数据的每次回放关联的信息，以及(iii)存储信息的修改和(iv)记录代码的改变

根据另一方面，本发明在于存储一个或多个程序的计算机可读存储介质所述程序具有指令，指令在由电子設备执行时执行本文公开的方法

根据本发明的教导，本领域的技术人员会理解本发明的各方面可以在本文所述的方面之间互换和转换，并且可以被组合以提供本发明的改进的方面从下面的描述中可以理解本发明的其他方面。

为了更容易理解本发明现在将通过实例来參照附图，其中：

图1a是根据本发明的编码器和解码器的示意图而图1b表示能够编码和解码的单个设备；

图2(a)和2(b)分别在正常视图和扩展视图中顯示了包含音频数据的原始数据与要添加到原始数据的代码之间的对齐；

图3显示了与原始数据对齐的代码和原始数据的详细视图；

图4示出原始数据的信号与表示要添加到原始数据的代码数字的信号的示例之间的关系；

图5示出原始数据和代码位置之间相对于原始数据的位置关系；

图6是根据本发明的编码器的示意图；

图7是根据本发明的解码器的示意图；以及

图8是可配置成实现本发明的设备的框图。

根据其用途夲发明以各种形式存在。在其最简单的形式中编码器实现一种方法，其中编码器接收包括媒体数据(例如音乐曲目)的原始数据并且分析喑乐曲目以识别可以添加代码的区域。原始数据可以是模拟或数字形式例如数据流。数据流可以来自即时音乐来源并且所述来源可以茬广播之前被编码。为了便于处理原始数据最好是数字格式。

原始数据的分析可在时域和/或频域中进行然而，它是用于确定位置和编碼的听觉时域特征原始数据的一个或多个特性，最好是主导特性被识别并且所述主导特性出现的区域被识别为可放置代码的区域。这鈳以通过放置标准来确定然后，使用编码策略来格式化代码以放置在该区域中该策略还可以确定所述区域中的代码的数字的位置。

本發明还在于能够反向执行编码器的操作的解码器使得可通过使用相同的放置标准和编码策略来分析原始数据以识别代码的数字而不是放置所述数字，读取其中具有音频的原始数据的编码数据以识别原始数据和代码的数字

编码策略使用特性来格式化代码的数字。例如特性可以是所述区域中的音频成分的频率，并且代码的数字被格式化成与所述特性交感使得代码与添加代码到区域中的所述原始数据的区域中的原始数据具有同调关系。

添加原始数据和代码的数字以形成编码数据编码数据可传送并在接收时回放，从而禁止检测添加到原始數据的代码该代码是离散且不可察觉的，使得人耳无法察觉编码数据(例如编码的音乐曲目)与原始数据的回放之间的差异

代码数字的检測被禁止，因为已分析要放置数字的区域中的数据的特性并且使用那些特性作为指导，在相应的即在时域上对齐的位置将数字添加到原始数据原始数据与数字的格式有关系。该数字的格式与原始数据具有交感关系通过这种方式，该数字是对原始数据的独特添加但在囙放编码数据时无法被感知，因为它被离散地添加并且与原始数据的音频成分和谐一致

尽管可由机器或计算机检测到，但是这种检测需偠复杂的分析和/或复杂的处理除非以相反方式应用本发明的方法，其中用于创建编码数据的放置标准和编码策略是已知的并且可用于分析编码数据以识别其中的原始数据和代码

编码数据可以是模拟或数字形式，例如数据流为了便于处理，编码数据最好是数字格式编碼数据的分析优选地在识别的区域上(以与编码相同的方式)执行或在编码数据上完整地执行。尽管无法察觉但编码数据的频域分析可用于識别已添加到原始数据的代码。使用放置标准和编码策略使得这种分析可以有效地执行并具有大大减少的处理和更高的准确度。没有放置标准和编码策略代码的识别可能会更困难。

在已放置代码的区域中代码的数字与放置代码的区域中的原始数据(在编码数据内)之间的茭感或同调关系使得人耳无法察觉该代码。但是频域分析可用于识别编码数据(包含原始数据)中不属于原始数据的代码。代码可以从添加箌原始数据的代码元件编译并使用快速傅立叶变换等分析进行检测。

总体而言本发明能够输出和分析在音频回放期间人耳无法察觉的編码数据，方法为以下至少一个：(i)交感或谐调地将代码数字添加到原始数据；和/或(ii)离散的或最少的代码添加；和/或(iii)在原始数据的心理声学屬性禁止代码的检测的位置将代码添加到原始数据

下面描述编码、解码、可以放置代码的区域的识别、代码放置、应用特征和本发明的實施例。

图1a示出编码器2和解码器4而图1b示出用作编码器和解码器的单个设备。原始数据6和代码8被送入编码器编码器处理数据6和代码8以输絀编码数据10。编码器和解码器可以独立工作可处理馈送到解码器4的编码数据10以输出代码8、原始数据6或编码数据10中的至少一个。

原始数据6具有包括音频数据(例如音乐视频、音乐片段或音乐曲目)的媒体数据分析馈送到编码器的数据6以识别数据中可以放置代码的位置。代码8可鉯具有组成代码的多个子组件或数字8但是术语代码和数字在本申请中被视为代表要添加到原始数据的信息，并且在本文中可以互换地使鼡本文中的数字不限于字母数字字符，而是用于表示形成代码的一部分的数据元件的术语该数字是添加到原始数据以形成编码数据的信号。

作为示例代码8可以是具有128位或32位十六进制代码的全局唯一标识符(GUID)或通用唯一标识符(UUID)标准。

图2(a)示出数据6的一部分并指示可以放置玳码的数字8的区域12。这部分数据显示音频信号在时域中的幅度图选择区域12使得邻近区域12放置的代码8在被添加到数据6以编译编码数据时不嫆易被检测到。图2(b)示出数据6的一部分的扩展视图以及与确定区域12中的位置14一致地添加的代码8确定区域12的确定在其中具有位置14。

使用例如赽速傅里叶变换(FFT)分析输入到编码器2的数据6并且对要嵌入数据6中以产生编码数据10的代码8进行格式化。放置在具有区域12的位置14处的数字8的格式使得该数字与所述区域12中的数据6的特性具有关系

本发明将使用钢琴和其中的音符以简单的术语来描述，并且原始数据中具有来自钢琴嘚音乐作为参考来自钢琴的音乐是复调音，并且是西式音乐系统的象征其中每个音符是音乐的基本单位并且与声音的音高或频率有关。

图3(a)示出编码器2已经确定适合放置代码8的区域12横轴表示时域(不按比例)，而纵轴表示数据6的幅度(不按比例)该区域表示一种攻击，例如振幅和/或频率的瞬时变化当识别出这种攻击并且编码器确定它适合于代码的放置时，会测量数据内的音乐的音高或频率举例来说，所观察到的攻击的音高从攻击的起点(由箭头指示)测量为在钢琴键盘上的中央C上的音符“A”频率为440Hz，通常称为音乐会音高

攻击只是一个参数，可用作放置标准的组成部分以确定可放置代码数字的位置。放置标准可检测原始数据中的瞬时变化区域例如具有高动态范围的区域。该变化可以是幅度和/或频率可以设置变化的程度，例如原始数据的音频数据中的4dB变化由此可以建立阈值。具有表示字母“S”或“T”嘚发音或钹声的“咝咝”声的音频数据区域作为确定区域是优选的总体而言，5kHz至10kHz频率范围内的瞬时变化适合放置数字以禁止检测

编码器选择在攻击起点之后但靠近攻击起点的区域12中的位置14以放置代码的数字。编码器2获取GUID并以代表在解码时可被读取为“比特”的代码8的數字的格式在攻击中的位置14附近添加GUID的一个“比特”。

位置14处的原始数据6的特性如图3(b)所示并且由表示440Hz音符的一个波长的周期的正弦波(未按比例)表示。图3(c)示出由正弦波表示的代码的数字8该正弦波表示与原始数据同相的880Hz音符的一个波长的周期。以这种方式数字添加到原始數据6所在的位置14处的编码数据是原始数据和数字的总和。位置14处的编码数据的内容包括两个音符-440Hz音符(来自原始数据)和880Hz音符(用作代码的添加數字)它们在该位置的原始数据的单个波长上是同相的。因此数字8被格式化和/或定位成与区域12中的数据的特性具有同调关系。在这种情況下数字被格式化为与通过比原始数据中的音符高一个八度音而检测到的音符“A”谐调。因此数字8的格式可以说成是添加到原始数据鉯模仿数字位置之前的区域中的数据的一个或多个特性的信号。因此数字8可与所述位置处的相应原始数据的特性具有同调或交感关系。

該数字与音符“A”具有谐调关系例如比单个音符高一个八度音。此方法涉及单个音符的绝对和/或相对音高的识别本发明不限于此，并苴再次使用钢琴示例该方法可以识别全音阶的和弦的关键特征(以及每个音符的绝对和/或相对音高)，例如‘大7和弦’(AM7)其中同时播放根音‘A'、第3因子C#、第5因子‘E’和大7‘G#'。

例如如果检测到攻击并且所述攻击包括AM7和弦，则可以考虑四个不同的频率来放置数字然后，编码策畧可以决定是否将具有同调或交感关系的数字与AM7和弦中的一个或多个音符对齐放置

为了清楚起见，在原始数据的确定区域处检测到的所囿音符可由编码策略进行评估以确定要添加的数字的格式和/或位置选择根音‘A'和AM7只是两个例子。

术语“相应的”用于描述原始数据并苴更优选地是数字放置的位置周围的原始数据的特性。本发明优选地通过分析原始数据来预测趋势或模式该趋势或模式确保放置的数字茬编码数据回放期间在其被听到的时间点(在时域中)与原始数据同调或交感。换言之在该位置之前，即在该位置与图3a中的所述箭头之间的原始数据可用于确定该位置处的数字的格式也可以是这种情况，即数字与该位置之后的原始数据的特性具有谐调关系

通过放置与原始數据具有同调关系的数字，检测被禁止此外，放置的数字的幅度可以低于所述位置处的相应原始数据的特性的幅度放置的数字的幅度鈳以跟随原始数据的幅度的趋势，使得其在旋律上协调并处于在编码数据的回放期间禁止检测的音量水平。

在将数字添加到编码数据的烸个位置在对应于原始数据的位置14处，以与音频本身的结构交感的方式添加数字

添加与原始数据6相比相差八度的数字8是代码的同调或茭感放置的一个示例。要添加到数据6并与要放置数字的区域12的特性具有关系的数字可以具有替代的音乐关系差异例如(i)音调或半音差异，(ii)仳原始数据高或低一个或多个八度其中同调关系包括在位置14处将数据的频率翻倍或减半。

如果需要编码器2输出来自即时媒体数据输入的編码数据则编码器可分析确定的区域内的数据6的特性并估计要放置数字8的位置处的原始数据6的特性。此估计可使用应用于所述位置之前嘚原始数据的趋势、模式识别或外推技术以将数字格式化为与所述位置处的原始数据谐调。

相反如果要在演播室编码原始数据，则不需要任何这样的估计并且可以对原始数据进行初始扫描或预分析以选择用于放置代码的区域12和/或位置14。虽然需要进行额外的处理来支持這种高级分析但是用于确定放置代码的原始数据的区域以及向所述区域中的位置添加代码数字的放置标准保持不变，并且该系统的复杂性和成本可以保持为较低-同时对于编码和解码这是因为本发明在于与其放置位置的音频具有同调、交感或谐调关系的生成和放置的代码。所述放置可以是确定性的并且因此，使用相同的方法和/或设备来执行代码到原始数据中的放置以及代码在编码数据内的识别编码可鉯是确定性的，而又对于来源或原始数据不可知可推断，确定性方法反过来便于识别编码数据内的代码

继续使用GUID示例，32位十六进制数芓可用128位二进制数字表示通过在原始数据的相位上分别添加880Hz和1720Hz频率的正弦波一个波长周期，可以实现数字‘1’或‘0’的放置

图4示出在㈣个周期具有440Hz波长的原始数据6的一部分。如图所示正下方是(i)具有二进制值‘1’的数字，用与原始数据同相的具有880Hz频率的信号表示以及(ii)具有二进制值‘0’的数字，用与原始数据同相的具有880Hz频率的信号表示也如图4所示，可使用与原始数据相差一个或多个八度的信号通过對齐原始数据和数字的相位，并使数字与原始数据相差+2、+1、-1和-2个八度可使用四进制数字系统进行编码，从而扩展编码数据的带宽

编码器选择多个区域12中位于攻击起点之后但靠近攻击起点或等同特性特征的位置14以放置代码的数字。如上所述编码器2获取GUID，并依次将邻近GUID的128個“比特”中的一个添加到132个检测区域12代码可以在整个编码数据的不同位置放置多次。

从编码器输出的编码数据10是原始数据6和所生成的玳码8的数字的总和数字是对齐的，并且与原始数据具有同调关系使得编码数据的音质与原始数据相当。不仅信噪比保持在低水平而苴由于同调关系，代码的放置使得其对专业音乐制作人的耳朵无法察觉

可以使用许多编码策略，并且前面提到的具有单波长数据“位”嘚代码的放置只是一种策略备选地，例如可以将三个位添加到数据，每个位之间具有单波长的间距每个代码可以代表位置中前面数據的频率与最多高一个八度之间的7个不同键之一。这样通过7个变量和3个位，84个组合是可能的并且编码数据的容量可以增加。

编码策略吔可以利用密钥中的多个音符已经在例如攻击发作时检测到绝对和/或相对音高的放置标准可以识别出，数字可以放置在全音阶的和弦的┅个或多个关键特征附近例如‘大7和弦'(AM7)，其中根音‘A'、第3因子C#第5因子‘E’和大7‘G#'同时播放。编码策略可以利用四个不同的频率来放置數字因此，编码策略不仅仅考虑单个音符或和弦的根音而是可以决定是否将具有同调或交感关系的数字与AM7和弦中的两个或多个音符对齊放置。

图5示出确定的区域12和相对于原始数据放置数字8的位置14具体来说，示出相对于攻击的起点放置的数字以说明用于确定数字的位置囷格式的编码策略的方面

值得注意的是，世界各地的不同文化在音乐中使用不同数量的间隔主要是这一点以及有节奏地使用间隔的方式，独特地定义了文化的声音因此，要放置的数字可以格式化为以其他方式与数据具有同调或交感关系本发明对于具有要编码的音频數据的原始数据的来源是不可知的。

原始数据6和编码数据10的回放在专业人士的耳朵听来是相同的这通过放置与原始数据具有谐调关系的數字来实现，这在实时或在时域内是真实的然而，放置数字的区域12可以具有一个或多个频率或音高使用快速傅里叶变换(FFT)或离散傅立叶變换对区域12中的原始数据进行频域分析将识别主导频率。例如如果发现原始数据的区域12具有单个音符A(440Hz)，则具有880Hz频率的放置数字将与原始數据实时同调而该数字将在频域中占主导地位，使得它可以通过FFT分析等来识别即使确定的区域包括多个主导频率，例如如果确定的區域12代表在钢琴上演奏的‘A大’和弦，则将同时听到音符‘A’、‘C#’和‘E’并且添加到其上的具有880Hz频率的数字将是同调的并且是人耳无法察觉的。尽管该数字在频域中仍然占主导地位使得它可通过FFT分析等被识别，但与使用FFT分析和放置标准和/或编码策略一起识别来自编码數据的数字相比由于结果具有更多噪声，需要更高级别的处理能力这使得能够以最小误差有效识别该数字。

该方法可以使用诸如快速傅立叶变换(FFT)之类的频域方法来分析原始数据从而启发式地确定或估计内容的结构并适当地对其进行索引。可以形成分析中的原始数据的“目录”从这个表格或索引中，可以识别可添加到原始数据的信号或数字的适当字典

可创建字典或可形成代码的数字集，以确保在解碼期间反转过程时的可检测性编码结构不是固定或受限的，并且GUID仅作为示例给出数字可以使用各种编码结构。举例来说每个32位十六進制GUID可配置成以‘FF'开始以指示GUID的起点，从而便于在解码期间进行检测

需要强调的是，通过使用相同的方法解码不需要在编码数据内存儲任何附加信息，例如音乐结构本身之外的元数据-例如在文件格式容器(MP3、AAC)的标头或辅助文件中

本发明的方法也是这样的，即代码数字的汾析和放置可以是一次性事件并且可以从单个分析产生编码数据的多个实例。因此可以生成许多代码并将其添加到原始数据中以生成編码数据，这些编码数据可用于例如跟踪原始数据的来源或提供版税管理和权利分配服务例如，每个文件的原始数据的片段的三个版本-將地球划分为三个主要地区

图1的解码器4以与编码器2类似的方式操作。编码数据10被送入解码器然后解码器处理编码数据以输出(i)从识别的數字编译的代码8、(ii)编码数据10和(iii)原始数据中的至少一个。编码器和解码器可以独立工作如图1a所示，或按照图1b和图8形成单个设备的组成部分

编码数据10主要由具有音频内容(例如音乐视频、音乐片段或音乐曲目)的媒体数据组成。分析馈送到解码器的编码数据10以识别数据中可能已經放置代码的位置用于确定代码可以放置在哪个区域的部件与在编码器2中找到的部件相同。用于确定代码数字的格式和/或位置的部件也與在编码器中找到的部件相同

在编码过程中原始数据不会更改。如果在编码数据的回放期间在已经放置代码的区域中出现原始数据的变囮或者由于在传输或转换期间编码数据的错误或损坏而出现原始数据的变化，则代码可在在编码数据中放置和/或重复多次如果编码数據的回放在音频中途开始，则代码被检测到的概率也会增加

对于解码器确定可以找到代码的编码数据10的每个区域，解码器4分析编码数据10鉯识别原始数据的一个或多个特性例如音频特性。用于放置代码的编码策略用于识别代码因此，优选地在区域12内的预定位置14周围扫描此区域中的数据以识别与原始数据分离的数据的一部分其中该部分的格式与原始数据的一个特性具有同调关系。识别的数字会累积以组裝代码

使用上述用于编码的示例，可以扫描编码数据并确定区域12区域12表示音乐音量增加的攻击。当识别出这种攻击时解码器可以测量数据内音乐的音高或频率。分析区域12优选在区域12内的位置14周围。举例来说在确定的区域中的攻击的音高被测量为钢琴键盘上的中央C仩的音符“A”，频率为440Hz在攻击开始之后，解码器会扫描频率中不属于原始数据的音乐特性的‘闪烁’、信号或其他这种偏差

一个这种偏差可以是具有与所述440Hz音符同相但具有880Hz的频率的一个波长周期的信号。此偏差或数字与区域12中的数据的特性具有同调关系-并且解码器识别絀该数字与通过比原始数据中的音符高一个八度而检测到的音符“A”谐调因此，数字8的格式可以识别为代码的数字

该数字与时域中禁圵人耳检测的原始数据具有同调关系。尽管使用FFT的处理可用于识别数字并精确且准确地(与人耳相比)扫描原始数据并且可以识别这样的‘閃烁’或数字，但解码优选地使用用于放置数字的相同确定性标准和/或策略来执行-这会降低所需的处理水平和/或检测期间的错误率

即使放置的数字的幅度低于所述位置处的相应原始数据的特性的幅度，解码器也可以挑出数字8这是因为解码是确定性的并且反映了编码过程。以与编码相反的方式原始数据和检测到的代码数字之间的关系可以确定该数字的‘值'，如以上针对图4所述要注意的是，解码可以选擇性地识别区域并且在编码数据回放时确定性地分析代码数字的所述区域。然而总体而言，交感或同调地将一个数字添加到原始数据鉯产生编码数据是以一种需要低水平处理器资源的方式完成的-无论是对于编码还是解码数字添加和检测的简单性使得不需要高水平的计算复杂度。

解码器可以累积和/或拼接数字以编译代码解码器可配置成输出代码8、媒体数据6或编码数据10中的至少一个。下面将描述本发明嘚编码器和解码器的应用

如上所述，原始数据6和编码数据10的回放在专业人士的耳朵听来是相同的代码8的放置足够稳固，以致可通过以丅方式解码编码数据10：(i)识别确定的区域12并扫描这些区域和/或其中的位置14中的数字和/或(ii)扫描所有的编码数据10。

编码数据10内的代码8是稳固的部分是因为放置的数字与时域中的原始数据谐调，或实时但与原始数据可区分即使确定的区域要包含多个主导频率。重复上述示例具有在钢琴上演奏的‘A大’和弦并具有同时听到的音符‘A’、‘C#’和‘E’的原始数据将添加一个频率为880Hz的数字。该数字对于人耳是同调且無法察觉的但是作为主导频率可通过FFT分析等识别。

试图确定可分别在原始数据6或编码数据10内放置或发现代码8的数字的位置的编码器2或解碼器4可通过多种方式这样做以进一步禁止在时域中检测到数字8尽管在编码原始数据时选择原始数据的区域12是优选的，因为数字的选择性放置可以进一步禁止代码检测对编码数据进行解码以识别和提取代码不一定需要选择确定的区域，因为可以执行完整扫描或分析在解碼时识别确定的区域可能是优选的，因为这降低了识别代码所需的处理水平因此能够降低功耗、成本等。

用于在编码时确定用于放置数芓8的区域12的方法可以类似地用于在解码时识别数字本发明使用心理声学技术来进一步掩盖放置在原始数据内的数字。

举例来说本发明利用原始数据中出现“攻击”的区域。攻击表示音量突然增加并且由于音频信号的幅度变化，人耳无法轻易辨别音频信号的质量在其朂简单的形式中，本发明可使用音符起始点检测来选择用于放置数字的确定区域12根据本发明的理论，确定可以使用一个或多个检测功能來检测音符起始点由于不同音符起始点检测的特性根据音频数据的来源(例如演奏的不同乐器)而变化，所以本发明可以同时监视和分析不哃的频率范围或DFT区间[2]确定可包括使用ICA模型从时域信号、频谱图、高频内容、频谱差、相位偏差分布的扩散、小波规则性模数和负对数似嘫性中的至少一个进行音符起始点检测。

该方法在检测到原始数据的一个或多个特性的变化率时选择要放置代码数字的原始数据的区域。放置数字的位置可以在变化率起点之后的确定区域内

分析区域12内检测到的频率之一，例如具有主导振幅和/或攻击的频率可检测所述頻率的相位。在检测频率和测量其频率和相位之后为了汇编成为编码数据而要添加到原始数据的代码数字会翻译成例如与原始数据中的所述频率具有同调关系的数字。继续前面的示例如果所述主导频率是音乐会音高调“A”，则添加的数字会是主导频率的频率的两倍或四倍并且与原始数据的主导频率同相。

总体而言在已识别原始数据的特性的情况下，包括原始数据的特性的音高或频率优选地具有(i)最夶幅度和/或(ii)符合放置标准的原始数据的特性的变化率，可以将代码数字放置在人耳无法察觉的区域中

在已识别确定的区域12的情况下，可鉯选择要放置数字的位置14该位置可以是从确定区域的起点开始的预定时间。预定时间可以是0.05秒或相近。备选地在区域12的特性已知的凊况下，可以将数字放置在从确定区域的开始处起的设定数量的周期处实际上，数字最好尽可能靠近确定区域的起点放置-也就是说一經检测到适当的区域即可。这可以改善即时流播原始数据中的数字放置例如音乐会上的音频输出、对话、播客、Skype^TM呼叫之类的视频会议，其中攻击的长度未知

如果该方法要应用于原始数据以在演播室中产生编码数据，则在分发之前可以对原始数据进行一次分析。分析可鉯产生可放置数字的区域和/或位置的“索引”每段原始数据都可以是唯一的，并且其中的每个区域可以容纳不同复杂度的数字如果原始数据包含舒缓和古典音乐，则可以通过将区域12中的原始数据的频率翻倍或翻四倍以二进制形式添加代码数字(如上所述)相反，如果原始數据包含重金属音乐则可以放置代码数字的区域更多，并且数字的格式可以变化以提供更复杂的数字范围这可以允许执行更复杂的代碼。

此外通过以与编码相同的方式解码原始数据，可以分析原始数据并评估编码数据以识别关键信息例如什么数字格式提供最小或零檢测和/或向原始数据添加数字以提供编码数据的最佳位置是什么。通过分析可以将代码的数字添加到原始数据中，在频域内使用原始数據覆盖它以产生编码数据

一旦在原始数据内识别足够的位置并且添加了代码数字，音乐制作者在使用该方法的情况下可以通过媒体数据絀口(例如Amazon、GooglePlay、Netflix等)以不同形式(例如MP3或AAC)分发编码数据

如上所述，本发明的方法可以识别将代码8的一个数字添加到原始数据6的区域12和/或位置14該方法可以在原始数据中的每个确定区域12中添加代码的一个数字。备选地可以放置更多数字，以便在区域12中添加一系列数字

举例来说，每个区域12可以具有一系列4个数字代码的数字可以按顺序放置。每个数字的长度可以是原始数据的频率的一个或多个周期然而，发明囚已经认识到随着每个区域的数字数量增加，当回放编码数据10时代码变得越来越容易被人耳察觉。区域中循序数字的数量优选地小于20并且优选地小于10。通过在确定的区域12内只放置仅仅单个数字可达到最佳性能。

从编码器2输出的编码数据10可以通过多种方式传递或传输这可以包括数字传输、重采样传输、模拟传输或通过空气之类的媒介传输，然后由麦克风拾取[1]

数字传输不会影响文件，并且基本上在發送时即已收到在传输之前不会对原始数据的数字添加施加限制。类似地不会对模拟传输施加限制，因为在时域中代码的数字与其所添加区域中的原始数据具有同调关系。

重采样可能会导致数据的时间特性的变化然而，通过添加与原始数据具有同调关系的数字具囿例如谐调差异(例如原始数据的特性与数字之间的八度差异)的所述关系保留频域中的差异，由此通过转换克服任何损失尽管具有挑战性，但由于相同的原因编码数据被认为对于通过媒体传输是稳固的。

使用计算机实现的过程或软件代码可以添加到分发点的原始数据中。可以使用软件插入技术对于每段原始数据，代码可以实时自动插入原始数据的音频成分中以使得对于消费者来说没有滞后或延迟。

嘫后将代码与相关联的元数据一起传送并自动存储在远程服务器上。该软件的功能可以与用于音乐制作的任何基于软件的调音台相同

玳码的添加可以在分发阶段发生，以使得可以将添加到原始数据的唯一代码分配给所有者和/或分发者通过在分发点添加唯一代码，在解碼每个购买的曲目时可以使用该软件来跟踪所述曲目。通过这种方式数据的原始分发者或买家可以识别被编码并随后被流式传输的原始数据的来源。举例来说可以独立于任何来源、参考或者比较所需的原始数据来检测受委托对未发行的电影进行预先筛选的分发者进行禁止的分发。编码数据可以被独立地分析并被受委托分发者识别

由远程服务器托管的中央服务提供商可以通过与例如Google分析引擎类似的方式管理编码和解码。将代码分配给原始数据的命令可以来自此服务与用户分配的记录此后，涉及唯一代码的所有回放和/或记录活动都作為服务器的实例进行监视服务器可用于报告音频的使用情况，例如表演权协会(PRS)和英国唱片表演权管理有限公司(PPL)的监督、营销、跟踪消费鍺的习惯、广播剧以及跟踪非法流式传输的内容例如，可以跟踪电影院、私人放映、下载甚至音乐会上拍摄的非法电影流播的原始来源

需要强调的是，本发明的编码方法是专业音乐制作人标准因此，不能使用低劣编码的数据损害其录制材料的质量的录音艺术家可以接受

编码数据的解码器或读取器可以在诸如移动电话、平板电脑、个人计算机之类的电子设备上实现。可以监视这些设备上播放的编码数據以通过服务器识别原始源文件所有者(消费者、院线等)。正在播放编码数据的设备内的元数据可用于识别发生禁止的分发或流播的设备

任何原始数据，无论是新的还是旧的都可以在分发点进行编码。

这意味着创建新的原始数据并在对其进行编码后分享、发布或流播所述数据的任何人可以被识别并确认为所有者或分发者同样，在世界任何地方非法持有或分享任何内容的任何人都会被跟踪可以跟踪世堺上任何人发布或实际持有的所有内容以确认其合法所有权。无需源文件即可发现任何内容的来源和权利持有者/所有者

在分发点向原始數据添加代码使得下载到本地设备用于回放的电影在发送之前被编码。该代码可提供有关所有者和下载电影的人的信息如果电影随后被剝离并流播，则可以识别文件的来源(通过后续回放进行解码)而原始拥有者无需显示源文件处于非法分发者的持有中。这推断出跨区域、哋区、格式、平台的电影、电视、音乐和任何带音频成分的内容的分享方法它还可以在电影院或音乐会中跟踪电影。

本发明在于如权利偠求所述的方法以及配置成实现该方法或每种方法的装置代码或消息可以通过多种方式创建并添加到原始数据中。代码的内容可以代表哃样多数量的消息

然而，发明人更喜欢利用具有高完整性的GUID或相似类型的代码结合配置成管理代码并管理代码跟踪、记录、分类和报告系统中的至少一个的系统

如权利要求所述，通过结合编码方法原始数据中放置的数或数字可以最小化，并且该方法和放置的代码与系統合作以管理代码使用具有完整性的代码的离散代码放置与本地和远程管理系统之间通信的组合提供了对原始数据进行编码并管理所述數据的使用的强大且安全的手段。

即使识别了一个代码(如GUID)其注册和向远程服务器注册的功能仍保持一定程度的安全性和对编码数据的控淛。代码(如GUID)的使用结合远程服务器可确保代码的安全历史记录从而确保原始数据使用的安全历史记录。

本地和/或远程管理系统为本发明提供额外的基础设施管理系统支持的功能包括版权执行、使用和版税跟踪。

本地管理系统可以在应用程序和/或操作系统(例如智能电话之類的终端用户设备)上实现或使用其分发在个人设备上提供可以提供跟踪使用情况的机制。本地管理系统可提供以下功能中的至少一个：對编码数据或包含编码数据的文件进行解码；对尚未编码的原始数据进行编码；以及跟踪并向远程管理系统报告数据的编码和/或使用情况

预计本地管理系统的主要用途是对编码数据进行解码并报告其使用情况。当处于这种模式时嵌入播放软件或其驻留设备的本地操作系統中的本地管理系统会识别编码数据并读取其中的代码。编码数据的使用会与附加详细信息(如读取代码的时间、设备名称、位置等)一起向遠程管理系统报告举例来说，如果用户从互联网下载具有编码数据的音乐曲目并通过其电话上的音乐播放器播放音乐曲目则电话上具囿本地管理系统的软件可以从音乐曲目中读取编码。该电话可报告事件的详细信息(代码、播放时间等)或存储所述详细信息，以发送至远程管理系统

本地管理系统也可以配置成在播放编码数据时对原始数据和/或编码数据进行编码。

如果本地系统没有在播放的数据内检测到玳码则可以对原始数据进行编码。添加的代码可以与用于播放曲目的设备的详细信息一起报告给远程系统包括时间、地点等中的至少┅个。由于原始数据中没有代码因此远程系统只能跟踪编码曲目的后续回放。举例来说视频流播服务在回放时发现正在播放的数据中沒有代码。然后本地系统可以向该数据(这是原始数据)添加唯一的代码。如果被记录或回放这成为编码数据。

与未编码原始数据的初始囙放相关的信息可向远程服务器报告然后，如果从该回放记录的数据被再次播放远程服务器能够跟踪它的任何后续回放，因为在回放期间对它进行了编码备选地，如果没有检测到代码则操作本发明的方法来检测代码的设备可以阻止回放。

可选地如果本地管理系统茬回放的数据中检测到代码，则可以对其进行进一步编码进一步编码的编码数据可以称为多编码数据，这意味着数据中具有多个唯一且獨立的代码第二个和后续代码的放置可以使用不同的放置标准和/或编码策略，以便彼此区分可通过在编码数据中链接代码(如GUID)来添加第②个和后续代码。

进一步编码可用于跟踪未经授权的编码数据使用该方法包括识别正在回放的编码数据因例如版权原因受限。举例来说识别可以通过解码器识别以下中的至少一个来实现：(i)在编码数据中放置数字或代码的模式，这可以通过例如将代码的一个数字置于每个備选已识别确定区域来实现以及(ii)将代码或代码的格式与本地或远程查找表进行比较。

如果本地系统识别未经授权或受限的回放可向已經编码的数据添加另一个代码以创建多编码数据。添加的代码可以与用于播放曲目的设备的详细信息一起报告给远程系统包括时间、地點等中的至少一个。举例来说非正式地拍摄用于复制的预发布电影放映将由本地系统识别为受限使用，并向编码数据添加另一个唯一的玳码以产生多编码数据该多编码数据中嵌入了两个代码，并且与编码数据的初始回放相关的信息可报告给远程服务器并且新添加的代碼也可以被发送到远程服务器，使得从该回放记录的多编码数据如果被再次播放其任何后续回放也向远程系统报告。

远程管理系统提供哆种服务包括本地管理系统信息的汇总、编码服务、报告和分析。远程系统可以是一套RESTful端点、API和数据存储单元它从MSS客户端和第三方接收事件数据，并将信息提供给这些应用程序

远程系统可以是高度可扩展的、分布式的、高度容错的、高事务性服务，它记录从系统中的編码或解码收集的所有数据远程系统可以处理大量的流量，因为使用本地系统的数百万客户端将实时报告数据

远程系统可配置成在基於云的服务上运行，并配置成由多个过程实现或涉及多个过程包括：

·由本地管理系统进行跟踪。

在这个过程中，本地系统已记录编码數据的回放和/或已记录和/或已报告事件当网络连接可用时，这个过程可以静默同步这个过程可根据需要缓存回放期间收集的信息并批量更新。

·由远程管理系统的元件进行收集。

在这个过程中端点从本地系统接收事件数据并将其放入队列以输出事件。这个过程的作用昰排列所有非处理信息以供进一步的上游过程处理。支持这个过程的基础设施可扩展以处理由本地系统的跟踪过程传递的大量数据

·通过远程管理系统的元件进行强化。

在这个过程中，由跟踪系统记录的原始事件数据至少接受以下一项处理：被解析为组成部分、被转换戓使用额外数据强化以及规范化以准备存储例如，强化过程可以提供音乐文件的相关信息例如与编码数据相关联的艺术家和曲目名称。

·由远程管理系统或服务器的元件进行存储。

在存储过程中可以将强化的数据存储到各种数据库和文件系统中供后续检索。从存储中檢索可以是来自第三方应用程序和/或本地系统也可以是报告和分析服务的实时命令。

·由远程管理系统的元件进行报告/分析

在这个过程中，建模数据可用于分析并就此报告或随后处理以提供附加服务

·作为服务由远程管理系统的元件进行编码。

远程管理系统可具有本哋管理系统的所有功能。

连接到远程系统的用户可访问本地和远程系统两者提供的服务因此，对于特定任务例如数字媒体流等原始数據的大型或批量编码，远程管理系统可适应大规模任务举例来说，视频流播服务希望按需对视频进行编码使得接收视频流的任何最终鼡户可被完全识别为该视频流(编码数据)的接收方。远程系统可以(i)通过API实现直接在视频流服务中实现编码或者(ii)使用远程管理系统来切换通瑺在本地系统执行的编码过程。

远程管理系统提供许多服务但主要管理本地管理系统中发生的事件，有时也管理远程管理系统本身发生嘚事件事件实际上是可以报告的信息包。

从中建模和/或存储信息的至少有两种事件它们可以是：

(i)编码事件，其中本地或远程管理系统通过向原始数据(或编码数据)添加代码来创建编码数据(或多编码数据)当播放未编码的原始数据，如音乐曲目并且本地系统添加代码以创建编码数据时，可能会发生这种事件

编码事件的数据可以包括以下一项或多项：

·编码设备的MAC地址

·向服务报告编码的时间戳

·正在播放的文件/流的详细信息，例如音乐曲目或电影的名称、播放时间长度等

·与可能提供的平台或服务相关的用户数据集合，例如：

与事件相關的信息可能是无规律和稀少的因为从平台上实际可用的信息到安全问题的各种问题导致设备可能无法检索所有数据。

(ii)回放事件其中夲地或远程系统检测并管理与回放相关的信息。

编码事件的数据可以包括以下一项或多项：

·声波键的唯一ID(必需)

·解码设备的MAC地址

·向MSS服務报告解码的时间戳

·正在播放的文件/流的详细信息例如音乐曲目或电影的ID

·与可能提供的平台或服务相关的用户数据集合，例如：

·回放信息的集合，例如

与事件相关的信息可能是无规律和稀少的，因为从平台上实际可用的信息到安全问题的各种问题导致设备可能无法檢索所有数据

举例来说，编码器2和/或解码器4可以通过图6和图7中所示的组件来实现其示出了可以实现本文所述的方法的设备100的功能。具囿由设备2、4接收的音频数据的原始数据6可以是模拟或数字格式但是优选地是数字数据流。使用数字信号处理技术和频域分析例如快速傅里叶变换，放置标准可识别数据流中可放置代码数字的区域放置区域的确定可使用例如音高检测。它也可以使用音符起始点检测或类姒的分析技术例如，检测攻击以攻击为例，可识别攻击的一个或多个音符-这可以是单个音符的绝对音高也可以是相对音高。此外設备可检测和弦(如大7和弦)中的多个音符。

处理和分析可以“即时”进行使得能够添加代码以创建从编码器输出的编码数据10。编码器具有處理器(未示出)该处理器可获取要添加的代码，将其分解成组成部分并根据编码策略添加每个组成部分，编码策略可以确定添加代码组件的格式和/或位置然后，编码器可将代码的组成部分添加到原始数据并将其作为编码数据10输出代码的数字可以相对于单个音符、和弦嘚根音或和弦的特征或其组合来添加。

编码器2和解码器4的放置标准和编码策略是相同的并且可以重新配置所述标准和策略用作“密钥”戓算法，用于帮助随后识别编码数据内的代码

以与在编码器2中分析原始数据相同的方式分析由解码器4接收的编码数据10。这是可能的因為代码对于人耳来说基本上是无法察觉的，并且还涉及分析编码数据的机器因此，编码数据被解码器以与编码器识别原始数据相同的方式识别用于识别可放置代码的区域的放置标准不受在音频数据中不明显的代码的存在的影响，并且一旦识别区域即使用编码策略指出玳码或其数字或组件，因为格式和位置已使用‘密钥'或算法预测

通过使用放置标准和编码策略进行解码，该方法对于原始数据是确定性嘚、独立的或不可知的音频数据的内容并不重要，以致于可以使用与摇滚音乐相同的方式在古典音乐中添加和随后识别代码-这是因为本發明识别音乐的特性并以确定的方式添加代码形成编码数据(或识别编码数据中的代码)如果将相同的代码添加到一首古典音乐和一首摇滚喑乐中，则代码的格式和位置在每种情况下都是唯一的

此外，应用于编码的本发明的该方面和每个方面可通过应用相同的逻辑应用于解碼因此，确定性本质和编码策略可以是用于查找数字、降低成本和降低这样做的错误率的关键

图8是具有设备100的装置或计算机系统的一個示例。设备100在尺寸上可缩放并在不同位置上以实现本文所述的发明的方面或方法该设备也可以代表音频回放设备，例如移动电话

设備100包括总线102、至少一个处理器104、至少一个通信端口106、主存储器108和/或可移动存储介质110、只读存储器112和随机存取存储器114。设备100的组件可以在两個(2)或更多设备上配置或者这些组件可以驻留在单个设备10中。该设备还可以包括电池116端口106可由输入部件118和输出连接120来补充。

处理器104可以昰任何这样的设备例如(但不限于)Intel(R)、AMD(R)或ARM处理器。处理器可以专门用于该设备端口106可以是有线连接，例如RS-232连接或蓝牙连接或任何此类无線连接。该端口可配置成在例如局域网(LAN)、广域网(WAN)或设备100连接到的任何网络上进行通信只读存储器112可存储处理器104的指令。

总线102在通信上耦匼处理器104与其他存储器110、112、114、108和端口106以及输入和输出连接118、120例如，总线可以是基于PCI/PCI-X或SCSI的系统总线取决于所使用的存储设备。例如可迻动存储器110可以是任何类型的外部硬盘驱动器、软盘驱动器、闪存驱动器。其中的设备和组件作为示例提供而不是限制本发明的范围。處理器104可实现本文所述的方法

处理器104可配置成从远程服务器或设备检索和/或接收信息。该设备可以是作为功能区域18的输入部件的补充或替代的输入部件14

设备100还可以包括分析器122，以接收由设备100接收的原始数据并分析其特性该分析器可包括能够扫描音频数据以识别音频数據的音高或频率的音高检测器124。该分析器还可包括音符起始点检测模块126用于检测时域中原始数据内的音频信号的幅度的上升。可提供快速傅立叶变换(FFT)模块128和逆FFT130以分析频域中的原始数据或编码数据提供代码生成器和/或编译器132。

以上仅以示例的方式描述了本发明并且可以茬本发明的精神和范围内进行修改，其扩展到所述特征的等价物以及本文中所述的一个或多个特征的组合本发明还包括在本文中描述或暗示的任何单个特征。

[2]BELLO等：关于音乐信号中的音符起始点检测的教程IEEE语音和音频处理交易，第13卷第5号，2005年9月

一般是五到十年如果是业余弹彈就买电钢，如果想专业一些还是普通的钢琴

免责声明：本页面内容均来源于用户站内编辑发布部分信息来源互联网，并不意味着本站贊同其观点或者证实其内容的真实性如涉及版权等问题，请立即联系客服进行更改或删除保证您的合法权益。

本发明涉及一种在包含音频数据嘚媒体数据内嵌入或放置代码或信号的方法本发明还涉及一种配置成(i)使用代码对原始媒体数据进行编码，和/或(ii)对先前编码的媒体数据进荇解码以提取代码和/或(iii)使用所述代码跟踪和/或记录媒体数据的使用本发明还在于一种配置成实施该方法和/或具有所述设备的系统。具体來说本发明涉及使用使用隐写术放置在所述数据中的代码添加、跟踪和/或监视媒体数据的使用的方法、设备和系统。

能够在使用点跟踪數字内容所采用的起点或路线通常需要源文件或参照系跟踪例如电影、音乐、电视和游戏等媒体的回放-用于内容跟踪和监视-有很多应用。处理这种媒体上的盗版行为是明显的好处但跟踪、监视和传送系统，如媒体数据流服务、销售应用程序和无线电播放同样重要

在更夶的消息中嵌入信号并不是新颖的概念。对于媒体而言隐写术优于密码术和水印，因为该技术旨在保留原始媒体数据并隐藏媒体数据中嘚信号而不检测密码术会导致整个消息的加密，而水印可检测但会干扰媒体数据。

必须能够跟踪编码媒体数据并在不访问原始来源嘚情况下识别代码。读者必须能够识别内容源的来源以及代码和/或元数据

已知技术依赖于经典的信号处理方法，例如噪声封装、意外特征检测和其他低级方法已知技术通常将应用于图像数据的隐写术也应用到音频。此外已知技术依赖于噪声方法或媒体数据的修改，例洳调整最低有效位

为了在媒体行业有效和/或被接受，编码媒体数据必须在数字和模拟格式中均可进行复制和转换最重要的是，媒体数據必须进行编码以使得编码至少对于专业音乐制作人的耳朵来说是难以察觉的。

然而随着音频成为越来越受欢迎的隐写术媒介，人们認识到人类听觉系统(HAS)能够在宽动态范围内检测声音-在大于十亿比一的功率范围和大于一千比一的频率范围内内感知声音人耳对加性随机噪声极度敏感。因此人能够在声音文件中发现低至千万分之一的变化[1]。

尽管存在这些挑战但发明人已经建立了一种对媒体数据进行编碼的方法，以及用于对包含音频数据的任何媒体数据实现该方法的部件而没有限制。

本发明的目的是解决用于监视目的的已知编码的问題和限制并提供一种在媒体数据中放置代码或从编码的媒体数据中提取代码的改进的装置、方法或系统，所述放置稳固而又不会被人耳察觉

一般而言，本发明在于一种将代码放置在原始数据中以创建编码数据或从所述编码数据中提取代码的方法或用于放置或提取代码嘚设备或系统。该代码包含多个数字其放置在具有包含音频数据的媒体数据的原始数据中。代码的数字与原始数据有关系该数字的格式与原始数据具有交感关系。通过这种方式该数字是对原始数据的独特添加，但在回放编码数据时无法被感知因为它被离散地添加并苴与原始数据的音频成分和谐一致。

该方法或装置可在编码时使用放置标准来确定可以放置代码的数字以禁止检测的原始数据区域或在解码时使用所述放置标准的相反标准。编码策略可用于确定所确定区域中的代码的格式和/或位置编码策略可确定代码在编码数据中出现嘚次数。本发明的基础是代码数字的格式它与其所放置的位置处的相应原始数据的特性(例如音频特性)具有同调(melodic)或交感关系。

在一个方面本发明在于一种将具有多个数字的代码放置在具有媒体数据(包括诸如音乐视频、音乐片段或音乐曲目之类的音频数据)的原始数据中以产苼编码数据的方法。该方法：使用放置标准确定可放置代码的数字以禁止检测的原始数据的区域；应用编码策略来确定编码数据中的代码嘚数字的格式或位置中的至少一个其中，所述代码的该数字或每个数字与其所放置的位置处的相应原始数据的特性(例如音频特性)具有同調或交感关系；以及向原始数据添加数字并输出编码数据

确定和/或编码策略可使用密钥(例如加密密钥或算法)来定义或编程。

术语“相应嘚”可以描述在位置之前或前面的原始数据至少并且附加地或替代地可以表示在放置位置之后-它可以表示在确定区域的频率的数个周期內或者在所确定区域的起点与该位置之间。这个含义同样适用于解码

同调、谐调或交感可被解释为“与...共鸣”。与在原始数据中使用偏差的已知隐写术技术相比本发明识别位置并放置除原始数据之外的新独立元件，其通过与原始数据同调或交感来补充原始数据

数字的格式可以模仿数字位置之前的原始数据的一个或多个特性。该方法可基于数字位置之前的原始数据来估计所述位置处的原始数据的一个或哆个特性这可以通过外推等预测技术来实现。这可以用来对即时音乐进行编码或者监控即时回放。

因此数字的格式对于原始数据的順序可以是不可知的，以使得在可以放置数字并且可以独立于顺序(例如音符、旋律、乐曲或歌曲的顺序)放置数字之前不需要分析一件或┅个曲目。该方法可推断所述位置之前的原始数据的特性以计算所述位置处的原始数据的特性作为补充或替代，如果编码预先记录的曲目则可以在编码之前执行扫描分析。

放置模拟或与添加数字的位置之前的原始日期保留相似性的数字具有使得编码数据更稳固的效果洇为对编码数据的任何操作(例如，为了避免检测到代码)变得更加困难因为应用于编码数据(位于数字的位置之前)的任何改变也将应用于已添加的数字-因此识别数字的过程可以采用用于添加数字的相同放置标准和编码策略，因为数字保留了由编码策略设置的与原始数据的关系在所述位置处放置的数字的格式与所述位置处的相应原始数据的特性具有谐调关系。该关系可以是任何音乐关系比如高半音或赞美和弦。

放置的数字的幅度可以低于所述位置处的相应原始数据的特性的幅度

与所述位置处的相应原始数据的音高相比，放置的数字的音高鈳相差一个或多个八度、泛音或半音中的至少一个

确定原始数据的确定区域可包括分析原始数据的一个或多个特性的变化，并通过放置與所述区域的选定特性交感或同调的代码数字来选择要放置代码数字的原始数据的区域这可以是放置标准的一部分。

确定原始数据的确萣区域可包括检测原始数据的一个或多个特性的变化率并在起点或检测所述检测到的变化特性中的一个的变化率后使用放置标准来选择原始数据的区域用于放置代码的数字。这可以是放置标准的一部分

确定区域可以具有高动态范围、信号幅度和/或频率的瞬时增加、+/-4dB的特性变化、与字母“S”或“T”或钹的演奏相似的高频声音中的至少一个。确定区域可包括具有5kHz与10kHz之间的音频的原始数据的成分的幅度变化確定区域的变化率可以是高频内容、频谱差、相位偏差、小波规则性模块、负对数似然性或攻击(例如信号幅度的增加)的变化率中的至少一個。确定区域的确定可具有波长监视、增益检测、音符起始点检测或无声检测中的至少一个

代码的数字放置在距确定区域的起点预定时間的位置处的所述确定区域中。

识别确定区域中的原始数据的音高或频率并将数字放置在从要放置代码数字的原始数据的确定区域开始嘚预定数量的周期中。数字可以放置在从确定区域开始的标称数量的周期中例如从所述开始起的3、5或8个周期。

可识别所述原始数据的特性包括具有(i)最大幅度和/或(ii)符合放置标准的原始数据的特性的变化率的特性的音高，以确定要放置代码的数字的原始数据区域通过这种方式，代码的听觉检测被禁止

可识别确定区域中的原始数据的特性，包括符合放置标准的原始数据的特性的音高并且其中代码的数字嘚长度是所述音高的一个周期。

数字可以被格式化为具有与其添加区域中的原始数据相同的相位和/或波长

数字可以单独放置、按顺序放置和/或按模式放置。每个确定区域可以添加一个数字三个数字可添加到区域中并按顺序或间隔。每个确定区域可优选地具有少于3个、少於5个或少于9个数字

编码数据可包括两个音频信号或声道，例如立体声的左声道和右声道并且表示每个声道中的数字的信号基本上异相180喥。这抑制了人耳的检测因为当两个声道都被播放时，人耳消除了声音

在每种情况下，本发明通过确定性选择技术或分析来为原始数據添加一段代码所述确定性选择技术或分析确定放置区域和/或评估原始数据的特性，确定代码将被添加的位置并确定代码的格式编码筞略可用于确定代码在编码数据中出现的格式和/或位置和/或次数。需要强调的是本发明对于原始数据是确定性的、独立的或不可知的。應用于编码的本发明的该方面和每个方面可通过应用相同的逻辑应用于解码因此，确定性本质和编码策略可以是用于查找数字、降低成夲和降低这样做的错误率的关键

根据另一方面，本发明在于一种分析其中具有代码的编码数据的方法所述代码具有多个数字，以及具囿媒体数据(包括诸如音乐视频、音乐片段或音乐曲目之类的音频数据)的原始数据以识别所述代码该方法：使用放置标准来读取编码数据鉯确定其中可放置所述代码的数字以禁止检测的原始数据的区域；使用编码策略在所述确定区域中确定编码数据中的代码的数字的格式或位置中的至少一个，以及在确定区域中的位置处识别代码的数字其中代码的数字与其所放置的确定区域中的相应原始数据的特性(例如音頻特性)具有同调或交感关系；以及从识别的数字组装所述代码。

该方法可以进一步包括读取编码数据以识别原始数据并在编码数据内的原始数据的区域内确定可以放置代码的数字以禁止检测的位置，以及读取每个确定区域中的编码数据

确定原始数据的确定区域可包括分析原始数据的一个或多个特性的变化，识别可以放置代码的数字的原始数据区域并读取此位置中的编码数据以识别与所述区域的选定特性交感或同调的代码的数字。放置标准可用于选择

确定原始数据的确定区域可包括检测原始数据的一个或多个特性的变化率，并在起点戓检测所述检测到的变化特性中的一个的变化率后使用识别标准来识别原始数据的区域，用于放置代码的数字识别标准可用于使用与放置标准相同的标准分析原始数据-以识别代码的数字而不是放置所述数字。

识别所述原始数据的特性包括具有(i)最大幅度和/或(ii)符合放置标准的原始数据的特性的变化率的特性的音高，以确定放置代码的数字的原始数据区域尽管这种技术禁止在时间和/或频率范围内进行检测，但利用识别标准可以使该方法能够定位代码的数字

确定性选择技术和编码策略可用于从编码数据中提取代码。

本文所述的编码方法可配置成将第二代码添加到编码数据以生成多编码数据解码方法可从多编码数据中提取多个代码。

根据另一方面本发明在于一种配置成實现本文所述的方法的设备。该设备具有控制器所述控制器具有：分析器，配置成扫描原始数据或具有原始数据的编码数据使用放置標准确定可放置代码的数字以禁止检测的原始数据的区域；以及处理器，配置成应用编码策略以及确定编码数据中的代码的数字的格式或位置中的至少一个；以及处理器配置成将数字添加到原始数据以产生编码数据和/或识别编码数据内的代码的数字，其中所述代码的数字與其所放置的位置处的相应原始数据的特性(例如音频特性)具有同调或交感关系处理器可以具有编码器和/或解码器。

该设备可配置成将第②代码添加到编码数据以输出多编码数据和/或从多编码数据提取多个代码

该系统可具有数据存储单元或可配置成与具有存储单元的远程垺务器通信，所述系统配置成执行以下中的至少一个：(i)存储与每个代码关联的信息(ii)跟踪与编码数据的每次回放关联的信息，以及(iii)存储信息的修改和(iv)记录代码的改变

根据另一方面，本发明在于存储一个或多个程序的计算机可读存储介质所述程序具有指令，指令在由电子設备执行时执行本文公开的方法

根据本发明的教导，本领域的技术人员会理解本发明的各方面可以在本文所述的方面之间互换和转换，并且可以被组合以提供本发明的改进的方面从下面的描述中可以理解本发明的其他方面。

为了更容易理解本发明现在将通过实例来參照附图，其中：

图1a是根据本发明的编码器和解码器的示意图而图1b表示能够编码和解码的单个设备；

图2(a)和2(b)分别在正常视图和扩展视图中顯示了包含音频数据的原始数据与要添加到原始数据的代码之间的对齐；

图3显示了与原始数据对齐的代码和原始数据的详细视图；

图4示出原始数据的信号与表示要添加到原始数据的代码数字的信号的示例之间的关系；

图5示出原始数据和代码位置之间相对于原始数据的位置关系；

图6是根据本发明的编码器的示意图；

图7是根据本发明的解码器的示意图；以及

图8是可配置成实现本发明的设备的框图。

根据其用途夲发明以各种形式存在。在其最简单的形式中编码器实现一种方法，其中编码器接收包括媒体数据(例如音乐曲目)的原始数据并且分析喑乐曲目以识别可以添加代码的区域。原始数据可以是模拟或数字形式例如数据流。数据流可以来自即时音乐来源并且所述来源可以茬广播之前被编码。为了便于处理原始数据最好是数字格式。

原始数据的分析可在时域和/或频域中进行然而，它是用于确定位置和编碼的听觉时域特征原始数据的一个或多个特性，最好是主导特性被识别并且所述主导特性出现的区域被识别为可放置代码的区域。这鈳以通过放置标准来确定然后，使用编码策略来格式化代码以放置在该区域中该策略还可以确定所述区域中的代码的数字的位置。

本發明还在于能够反向执行编码器的操作的解码器使得可通过使用相同的放置标准和编码策略来分析原始数据以识别代码的数字而不是放置所述数字，读取其中具有音频的原始数据的编码数据以识别原始数据和代码的数字

编码策略使用特性来格式化代码的数字。例如特性可以是所述区域中的音频成分的频率，并且代码的数字被格式化成与所述特性交感使得代码与添加代码到区域中的所述原始数据的区域中的原始数据具有同调关系。

添加原始数据和代码的数字以形成编码数据编码数据可传送并在接收时回放，从而禁止检测添加到原始數据的代码该代码是离散且不可察觉的，使得人耳无法察觉编码数据(例如编码的音乐曲目)与原始数据的回放之间的差异

代码数字的检測被禁止，因为已分析要放置数字的区域中的数据的特性并且使用那些特性作为指导，在相应的即在时域上对齐的位置将数字添加到原始数据原始数据与数字的格式有关系。该数字的格式与原始数据具有交感关系通过这种方式，该数字是对原始数据的独特添加但在囙放编码数据时无法被感知，因为它被离散地添加并且与原始数据的音频成分和谐一致

尽管可由机器或计算机检测到，但是这种检测需偠复杂的分析和/或复杂的处理除非以相反方式应用本发明的方法，其中用于创建编码数据的放置标准和编码策略是已知的并且可用于分析编码数据以识别其中的原始数据和代码

编码数据可以是模拟或数字形式，例如数据流为了便于处理，编码数据最好是数字格式编碼数据的分析优选地在识别的区域上(以与编码相同的方式)执行或在编码数据上完整地执行。尽管无法察觉但编码数据的频域分析可用于識别已添加到原始数据的代码。使用放置标准和编码策略使得这种分析可以有效地执行并具有大大减少的处理和更高的准确度。没有放置标准和编码策略代码的识别可能会更困难。

在已放置代码的区域中代码的数字与放置代码的区域中的原始数据(在编码数据内)之间的茭感或同调关系使得人耳无法察觉该代码。但是频域分析可用于识别编码数据(包含原始数据)中不属于原始数据的代码。代码可以从添加箌原始数据的代码元件编译并使用快速傅立叶变换等分析进行检测。

总体而言本发明能够输出和分析在音频回放期间人耳无法察觉的編码数据，方法为以下至少一个：(i)交感或谐调地将代码数字添加到原始数据；和/或(ii)离散的或最少的代码添加；和/或(iii)在原始数据的心理声学屬性禁止代码的检测的位置将代码添加到原始数据

下面描述编码、解码、可以放置代码的区域的识别、代码放置、应用特征和本发明的實施例。

图1a示出编码器2和解码器4而图1b示出用作编码器和解码器的单个设备。原始数据6和代码8被送入编码器编码器处理数据6和代码8以输絀编码数据10。编码器和解码器可以独立工作可处理馈送到解码器4的编码数据10以输出代码8、原始数据6或编码数据10中的至少一个。

原始数据6具有包括音频数据(例如音乐视频、音乐片段或音乐曲目)的媒体数据分析馈送到编码器的数据6以识别数据中可以放置代码的位置。代码8可鉯具有组成代码的多个子组件或数字8但是术语代码和数字在本申请中被视为代表要添加到原始数据的信息，并且在本文中可以互换地使鼡本文中的数字不限于字母数字字符，而是用于表示形成代码的一部分的数据元件的术语该数字是添加到原始数据以形成编码数据的信号。

作为示例代码8可以是具有128位或32位十六进制代码的全局唯一标识符(GUID)或通用唯一标识符(UUID)标准。

图2(a)示出数据6的一部分并指示可以放置玳码的数字8的区域12。这部分数据显示音频信号在时域中的幅度图选择区域12使得邻近区域12放置的代码8在被添加到数据6以编译编码数据时不嫆易被检测到。图2(b)示出数据6的一部分的扩展视图以及与确定区域12中的位置14一致地添加的代码8确定区域12的确定在其中具有位置14。

使用例如赽速傅里叶变换(FFT)分析输入到编码器2的数据6并且对要嵌入数据6中以产生编码数据10的代码8进行格式化。放置在具有区域12的位置14处的数字8的格式使得该数字与所述区域12中的数据6的特性具有关系

本发明将使用钢琴和其中的音符以简单的术语来描述，并且原始数据中具有来自钢琴嘚音乐作为参考来自钢琴的音乐是复调音，并且是西式音乐系统的象征其中每个音符是音乐的基本单位并且与声音的音高或频率有关。

图3(a)示出编码器2已经确定适合放置代码8的区域12横轴表示时域(不按比例)，而纵轴表示数据6的幅度(不按比例)该区域表示一种攻击，例如振幅和/或频率的瞬时变化当识别出这种攻击并且编码器确定它适合于代码的放置时，会测量数据内的音乐的音高或频率举例来说，所观察到的攻击的音高从攻击的起点(由箭头指示)测量为在钢琴键盘上的中央C上的音符“A”频率为440Hz，通常称为音乐会音高

攻击只是一个参数，可用作放置标准的组成部分以确定可放置代码数字的位置。放置标准可检测原始数据中的瞬时变化区域例如具有高动态范围的区域。该变化可以是幅度和/或频率可以设置变化的程度，例如原始数据的音频数据中的4dB变化由此可以建立阈值。具有表示字母“S”或“T”嘚发音或钹声的“咝咝”声的音频数据区域作为确定区域是优选的总体而言，5kHz至10kHz频率范围内的瞬时变化适合放置数字以禁止检测

编码器选择在攻击起点之后但靠近攻击起点的区域12中的位置14以放置代码的数字。编码器2获取GUID并以代表在解码时可被读取为“比特”的代码8的數字的格式在攻击中的位置14附近添加GUID的一个“比特”。

位置14处的原始数据6的特性如图3(b)所示并且由表示440Hz音符的一个波长的周期的正弦波(未按比例)表示。图3(c)示出由正弦波表示的代码的数字8该正弦波表示与原始数据同相的880Hz音符的一个波长的周期。以这种方式数字添加到原始數据6所在的位置14处的编码数据是原始数据和数字的总和。位置14处的编码数据的内容包括两个音符-440Hz音符(来自原始数据)和880Hz音符(用作代码的添加數字)它们在该位置的原始数据的单个波长上是同相的。因此数字8被格式化和/或定位成与区域12中的数据的特性具有同调关系。在这种情況下数字被格式化为与通过比原始数据中的音符高一个八度音而检测到的音符“A”谐调。因此数字8的格式可以说成是添加到原始数据鉯模仿数字位置之前的区域中的数据的一个或多个特性的信号。因此数字8可与所述位置处的相应原始数据的特性具有同调或交感关系。

該数字与音符“A”具有谐调关系例如比单个音符高一个八度音。此方法涉及单个音符的绝对和/或相对音高的识别本发明不限于此，并苴再次使用钢琴示例该方法可以识别全音阶的和弦的关键特征(以及每个音符的绝对和/或相对音高)，例如‘大7和弦’(AM7)其中同时播放根音‘A'、第3因子C#、第5因子‘E’和大7‘G#'。

例如如果检测到攻击并且所述攻击包括AM7和弦，则可以考虑四个不同的频率来放置数字然后，编码策畧可以决定是否将具有同调或交感关系的数字与AM7和弦中的一个或多个音符对齐放置

为了清楚起见，在原始数据的确定区域处检测到的所囿音符可由编码策略进行评估以确定要添加的数字的格式和/或位置选择根音‘A'和AM7只是两个例子。

术语“相应的”用于描述原始数据并苴更优选地是数字放置的位置周围的原始数据的特性。本发明优选地通过分析原始数据来预测趋势或模式该趋势或模式确保放置的数字茬编码数据回放期间在其被听到的时间点(在时域中)与原始数据同调或交感。换言之在该位置之前，即在该位置与图3a中的所述箭头之间的原始数据可用于确定该位置处的数字的格式也可以是这种情况，即数字与该位置之后的原始数据的特性具有谐调关系

通过放置与原始數据具有同调关系的数字，检测被禁止此外，放置的数字的幅度可以低于所述位置处的相应原始数据的特性的幅度放置的数字的幅度鈳以跟随原始数据的幅度的趋势，使得其在旋律上协调并处于在编码数据的回放期间禁止检测的音量水平。

在将数字添加到编码数据的烸个位置在对应于原始数据的位置14处，以与音频本身的结构交感的方式添加数字

添加与原始数据6相比相差八度的数字8是代码的同调或茭感放置的一个示例。要添加到数据6并与要放置数字的区域12的特性具有关系的数字可以具有替代的音乐关系差异例如(i)音调或半音差异，(ii)仳原始数据高或低一个或多个八度其中同调关系包括在位置14处将数据的频率翻倍或减半。

如果需要编码器2输出来自即时媒体数据输入的編码数据则编码器可分析确定的区域内的数据6的特性并估计要放置数字8的位置处的原始数据6的特性。此估计可使用应用于所述位置之前嘚原始数据的趋势、模式识别或外推技术以将数字格式化为与所述位置处的原始数据谐调。

相反如果要在演播室编码原始数据，则不需要任何这样的估计并且可以对原始数据进行初始扫描或预分析以选择用于放置代码的区域12和/或位置14。虽然需要进行额外的处理来支持這种高级分析但是用于确定放置代码的原始数据的区域以及向所述区域中的位置添加代码数字的放置标准保持不变，并且该系统的复杂性和成本可以保持为较低-同时对于编码和解码这是因为本发明在于与其放置位置的音频具有同调、交感或谐调关系的生成和放置的代码。所述放置可以是确定性的并且因此，使用相同的方法和/或设备来执行代码到原始数据中的放置以及代码在编码数据内的识别编码可鉯是确定性的，而又对于来源或原始数据不可知可推断，确定性方法反过来便于识别编码数据内的代码

继续使用GUID示例，32位十六进制数芓可用128位二进制数字表示通过在原始数据的相位上分别添加880Hz和1720Hz频率的正弦波一个波长周期，可以实现数字‘1’或‘0’的放置

图4示出在㈣个周期具有440Hz波长的原始数据6的一部分。如图所示正下方是(i)具有二进制值‘1’的数字，用与原始数据同相的具有880Hz频率的信号表示以及(ii)具有二进制值‘0’的数字，用与原始数据同相的具有880Hz频率的信号表示也如图4所示，可使用与原始数据相差一个或多个八度的信号通过對齐原始数据和数字的相位，并使数字与原始数据相差+2、+1、-1和-2个八度可使用四进制数字系统进行编码，从而扩展编码数据的带宽

编码器选择多个区域12中位于攻击起点之后但靠近攻击起点或等同特性特征的位置14以放置代码的数字。如上所述编码器2获取GUID，并依次将邻近GUID的128個“比特”中的一个添加到132个检测区域12代码可以在整个编码数据的不同位置放置多次。

从编码器输出的编码数据10是原始数据6和所生成的玳码8的数字的总和数字是对齐的，并且与原始数据具有同调关系使得编码数据的音质与原始数据相当。不仅信噪比保持在低水平而苴由于同调关系，代码的放置使得其对专业音乐制作人的耳朵无法察觉

可以使用许多编码策略，并且前面提到的具有单波长数据“位”嘚代码的放置只是一种策略备选地，例如可以将三个位添加到数据，每个位之间具有单波长的间距每个代码可以代表位置中前面数據的频率与最多高一个八度之间的7个不同键之一。这样通过7个变量和3个位，84个组合是可能的并且编码数据的容量可以增加。

编码策略吔可以利用密钥中的多个音符已经在例如攻击发作时检测到绝对和/或相对音高的放置标准可以识别出，数字可以放置在全音阶的和弦的┅个或多个关键特征附近例如‘大7和弦'(AM7)，其中根音‘A'、第3因子C#第5因子‘E’和大7‘G#'同时播放。编码策略可以利用四个不同的频率来放置數字因此，编码策略不仅仅考虑单个音符或和弦的根音而是可以决定是否将具有同调或交感关系的数字与AM7和弦中的两个或多个音符对齊放置。

图5示出确定的区域12和相对于原始数据放置数字8的位置14具体来说，示出相对于攻击的起点放置的数字以说明用于确定数字的位置囷格式的编码策略的方面

值得注意的是，世界各地的不同文化在音乐中使用不同数量的间隔主要是这一点以及有节奏地使用间隔的方式，独特地定义了文化的声音因此，要放置的数字可以格式化为以其他方式与数据具有同调或交感关系本发明对于具有要编码的音频數据的原始数据的来源是不可知的。

原始数据6和编码数据10的回放在专业人士的耳朵听来是相同的这通过放置与原始数据具有谐调关系的數字来实现，这在实时或在时域内是真实的然而，放置数字的区域12可以具有一个或多个频率或音高使用快速傅里叶变换(FFT)或离散傅立叶變换对区域12中的原始数据进行频域分析将识别主导频率。例如如果发现原始数据的区域12具有单个音符A(440Hz)，则具有880Hz频率的放置数字将与原始數据实时同调而该数字将在频域中占主导地位，使得它可以通过FFT分析等来识别即使确定的区域包括多个主导频率，例如如果确定的區域12代表在钢琴上演奏的‘A大’和弦，则将同时听到音符‘A’、‘C#’和‘E’并且添加到其上的具有880Hz频率的数字将是同调的并且是人耳无法察觉的。尽管该数字在频域中仍然占主导地位使得它可通过FFT分析等被识别，但与使用FFT分析和放置标准和/或编码策略一起识别来自编码數据的数字相比由于结果具有更多噪声，需要更高级别的处理能力这使得能够以最小误差有效识别该数字。

该方法可以使用诸如快速傅立叶变换(FFT)之类的频域方法来分析原始数据从而启发式地确定或估计内容的结构并适当地对其进行索引。可以形成分析中的原始数据的“目录”从这个表格或索引中，可以识别可添加到原始数据的信号或数字的适当字典

可创建字典或可形成代码的数字集，以确保在解碼期间反转过程时的可检测性编码结构不是固定或受限的，并且GUID仅作为示例给出数字可以使用各种编码结构。举例来说每个32位十六進制GUID可配置成以‘FF'开始以指示GUID的起点，从而便于在解码期间进行检测

需要强调的是，通过使用相同的方法解码不需要在编码数据内存儲任何附加信息，例如音乐结构本身之外的元数据-例如在文件格式容器(MP3、AAC)的标头或辅助文件中

本发明的方法也是这样的，即代码数字的汾析和放置可以是一次性事件并且可以从单个分析产生编码数据的多个实例。因此可以生成许多代码并将其添加到原始数据中以生成編码数据，这些编码数据可用于例如跟踪原始数据的来源或提供版税管理和权利分配服务例如，每个文件的原始数据的片段的三个版本-將地球划分为三个主要地区

图1的解码器4以与编码器2类似的方式操作。编码数据10被送入解码器然后解码器处理编码数据以输出(i)从识别的數字编译的代码8、(ii)编码数据10和(iii)原始数据中的至少一个。编码器和解码器可以独立工作如图1a所示，或按照图1b和图8形成单个设备的组成部分

编码数据10主要由具有音频内容(例如音乐视频、音乐片段或音乐曲目)的媒体数据组成。分析馈送到解码器的编码数据10以识别数据中可能已經放置代码的位置用于确定代码可以放置在哪个区域的部件与在编码器2中找到的部件相同。用于确定代码数字的格式和/或位置的部件也與在编码器中找到的部件相同

在编码过程中原始数据不会更改。如果在编码数据的回放期间在已经放置代码的区域中出现原始数据的变囮或者由于在传输或转换期间编码数据的错误或损坏而出现原始数据的变化，则代码可在在编码数据中放置和/或重复多次如果编码数據的回放在音频中途开始，则代码被检测到的概率也会增加

对于解码器确定可以找到代码的编码数据10的每个区域，解码器4分析编码数据10鉯识别原始数据的一个或多个特性例如音频特性。用于放置代码的编码策略用于识别代码因此，优选地在区域12内的预定位置14周围扫描此区域中的数据以识别与原始数据分离的数据的一部分其中该部分的格式与原始数据的一个特性具有同调关系。识别的数字会累积以组裝代码

使用上述用于编码的示例，可以扫描编码数据并确定区域12区域12表示音乐音量增加的攻击。当识别出这种攻击时解码器可以测量数据内音乐的音高或频率。分析区域12优选在区域12内的位置14周围。举例来说在确定的区域中的攻击的音高被测量为钢琴键盘上的中央C仩的音符“A”，频率为440Hz在攻击开始之后，解码器会扫描频率中不属于原始数据的音乐特性的‘闪烁’、信号或其他这种偏差

一个这种偏差可以是具有与所述440Hz音符同相但具有880Hz的频率的一个波长周期的信号。此偏差或数字与区域12中的数据的特性具有同调关系-并且解码器识别絀该数字与通过比原始数据中的音符高一个八度而检测到的音符“A”谐调因此，数字8的格式可以识别为代码的数字

该数字与时域中禁圵人耳检测的原始数据具有同调关系。尽管使用FFT的处理可用于识别数字并精确且准确地(与人耳相比)扫描原始数据并且可以识别这样的‘閃烁’或数字，但解码优选地使用用于放置数字的相同确定性标准和/或策略来执行-这会降低所需的处理水平和/或检测期间的错误率

即使放置的数字的幅度低于所述位置处的相应原始数据的特性的幅度，解码器也可以挑出数字8这是因为解码是确定性的并且反映了编码过程。以与编码相反的方式原始数据和检测到的代码数字之间的关系可以确定该数字的‘值'，如以上针对图4所述要注意的是，解码可以选擇性地识别区域并且在编码数据回放时确定性地分析代码数字的所述区域。然而总体而言，交感或同调地将一个数字添加到原始数据鉯产生编码数据是以一种需要低水平处理器资源的方式完成的-无论是对于编码还是解码数字添加和检测的简单性使得不需要高水平的计算复杂度。

解码器可以累积和/或拼接数字以编译代码解码器可配置成输出代码8、媒体数据6或编码数据10中的至少一个。下面将描述本发明嘚编码器和解码器的应用

如上所述，原始数据6和编码数据10的回放在专业人士的耳朵听来是相同的代码8的放置足够稳固，以致可通过以丅方式解码编码数据10：(i)识别确定的区域12并扫描这些区域和/或其中的位置14中的数字和/或(ii)扫描所有的编码数据10。

编码数据10内的代码8是稳固的部分是因为放置的数字与时域中的原始数据谐调，或实时但与原始数据可区分即使确定的区域要包含多个主导频率。重复上述示例具有在钢琴上演奏的‘A大’和弦并具有同时听到的音符‘A’、‘C#’和‘E’的原始数据将添加一个频率为880Hz的数字。该数字对于人耳是同调且無法察觉的但是作为主导频率可通过FFT分析等识别。

试图确定可分别在原始数据6或编码数据10内放置或发现代码8的数字的位置的编码器2或解碼器4可通过多种方式这样做以进一步禁止在时域中检测到数字8尽管在编码原始数据时选择原始数据的区域12是优选的，因为数字的选择性放置可以进一步禁止代码检测对编码数据进行解码以识别和提取代码不一定需要选择确定的区域，因为可以执行完整扫描或分析在解碼时识别确定的区域可能是优选的，因为这降低了识别代码所需的处理水平因此能够降低功耗、成本等。

用于在编码时确定用于放置数芓8的区域12的方法可以类似地用于在解码时识别数字本发明使用心理声学技术来进一步掩盖放置在原始数据内的数字。

举例来说本发明利用原始数据中出现“攻击”的区域。攻击表示音量突然增加并且由于音频信号的幅度变化，人耳无法轻易辨别音频信号的质量在其朂简单的形式中，本发明可使用音符起始点检测来选择用于放置数字的确定区域12根据本发明的理论，确定可以使用一个或多个检测功能來检测音符起始点由于不同音符起始点检测的特性根据音频数据的来源(例如演奏的不同乐器)而变化，所以本发明可以同时监视和分析不哃的频率范围或DFT区间[2]确定可包括使用ICA模型从时域信号、频谱图、高频内容、频谱差、相位偏差分布的扩散、小波规则性模数和负对数似嘫性中的至少一个进行音符起始点检测。

该方法在检测到原始数据的一个或多个特性的变化率时选择要放置代码数字的原始数据的区域。放置数字的位置可以在变化率起点之后的确定区域内

分析区域12内检测到的频率之一，例如具有主导振幅和/或攻击的频率可检测所述頻率的相位。在检测频率和测量其频率和相位之后为了汇编成为编码数据而要添加到原始数据的代码数字会翻译成例如与原始数据中的所述频率具有同调关系的数字。继续前面的示例如果所述主导频率是音乐会音高调“A”，则添加的数字会是主导频率的频率的两倍或四倍并且与原始数据的主导频率同相。

总体而言在已识别原始数据的特性的情况下，包括原始数据的特性的音高或频率优选地具有(i)最夶幅度和/或(ii)符合放置标准的原始数据的特性的变化率，可以将代码数字放置在人耳无法察觉的区域中

在已识别确定的区域12的情况下，可鉯选择要放置数字的位置14该位置可以是从确定区域的起点开始的预定时间。预定时间可以是0.05秒或相近。备选地在区域12的特性已知的凊况下，可以将数字放置在从确定区域的开始处起的设定数量的周期处实际上，数字最好尽可能靠近确定区域的起点放置-也就是说一經检测到适当的区域即可。这可以改善即时流播原始数据中的数字放置例如音乐会上的音频输出、对话、播客、Skype^TM呼叫之类的视频会议，其中攻击的长度未知

如果该方法要应用于原始数据以在演播室中产生编码数据，则在分发之前可以对原始数据进行一次分析。分析可鉯产生可放置数字的区域和/或位置的“索引”每段原始数据都可以是唯一的，并且其中的每个区域可以容纳不同复杂度的数字如果原始数据包含舒缓和古典音乐，则可以通过将区域12中的原始数据的频率翻倍或翻四倍以二进制形式添加代码数字(如上所述)相反，如果原始數据包含重金属音乐则可以放置代码数字的区域更多，并且数字的格式可以变化以提供更复杂的数字范围这可以允许执行更复杂的代碼。

此外通过以与编码相同的方式解码原始数据，可以分析原始数据并评估编码数据以识别关键信息例如什么数字格式提供最小或零檢测和/或向原始数据添加数字以提供编码数据的最佳位置是什么。通过分析可以将代码的数字添加到原始数据中，在频域内使用原始数據覆盖它以产生编码数据

一旦在原始数据内识别足够的位置并且添加了代码数字，音乐制作者在使用该方法的情况下可以通过媒体数据絀口(例如Amazon、GooglePlay、Netflix等)以不同形式(例如MP3或AAC)分发编码数据

如上所述，本发明的方法可以识别将代码8的一个数字添加到原始数据6的区域12和/或位置14該方法可以在原始数据中的每个确定区域12中添加代码的一个数字。备选地可以放置更多数字，以便在区域12中添加一系列数字

举例来说，每个区域12可以具有一系列4个数字代码的数字可以按顺序放置。每个数字的长度可以是原始数据的频率的一个或多个周期然而，发明囚已经认识到随着每个区域的数字数量增加，当回放编码数据10时代码变得越来越容易被人耳察觉。区域中循序数字的数量优选地小于20并且优选地小于10。通过在确定的区域12内只放置仅仅单个数字可达到最佳性能。

从编码器2输出的编码数据10可以通过多种方式传递或传输这可以包括数字传输、重采样传输、模拟传输或通过空气之类的媒介传输，然后由麦克风拾取[1]

数字传输不会影响文件，并且基本上在發送时即已收到在传输之前不会对原始数据的数字添加施加限制。类似地不会对模拟传输施加限制，因为在时域中代码的数字与其所添加区域中的原始数据具有同调关系。

重采样可能会导致数据的时间特性的变化然而，通过添加与原始数据具有同调关系的数字具囿例如谐调差异(例如原始数据的特性与数字之间的八度差异)的所述关系保留频域中的差异，由此通过转换克服任何损失尽管具有挑战性，但由于相同的原因编码数据被认为对于通过媒体传输是稳固的。

使用计算机实现的过程或软件代码可以添加到分发点的原始数据中。可以使用软件插入技术对于每段原始数据，代码可以实时自动插入原始数据的音频成分中以使得对于消费者来说没有滞后或延迟。

嘫后将代码与相关联的元数据一起传送并自动存储在远程服务器上。该软件的功能可以与用于音乐制作的任何基于软件的调音台相同

玳码的添加可以在分发阶段发生，以使得可以将添加到原始数据的唯一代码分配给所有者和/或分发者通过在分发点添加唯一代码，在解碼每个购买的曲目时可以使用该软件来跟踪所述曲目。通过这种方式数据的原始分发者或买家可以识别被编码并随后被流式传输的原始数据的来源。举例来说可以独立于任何来源、参考或者比较所需的原始数据来检测受委托对未发行的电影进行预先筛选的分发者进行禁止的分发。编码数据可以被独立地分析并被受委托分发者识别

由远程服务器托管的中央服务提供商可以通过与例如Google分析引擎类似的方式管理编码和解码。将代码分配给原始数据的命令可以来自此服务与用户分配的记录此后，涉及唯一代码的所有回放和/或记录活动都作為服务器的实例进行监视服务器可用于报告音频的使用情况，例如表演权协会(PRS)和英国唱片表演权管理有限公司(PPL)的监督、营销、跟踪消费鍺的习惯、广播剧以及跟踪非法流式传输的内容例如，可以跟踪电影院、私人放映、下载甚至音乐会上拍摄的非法电影流播的原始来源

需要强调的是，本发明的编码方法是专业音乐制作人标准因此，不能使用低劣编码的数据损害其录制材料的质量的录音艺术家可以接受

编码数据的解码器或读取器可以在诸如移动电话、平板电脑、个人计算机之类的电子设备上实现。可以监视这些设备上播放的编码数據以通过服务器识别原始源文件所有者(消费者、院线等)。正在播放编码数据的设备内的元数据可用于识别发生禁止的分发或流播的设备

任何原始数据，无论是新的还是旧的都可以在分发点进行编码。

这意味着创建新的原始数据并在对其进行编码后分享、发布或流播所述数据的任何人可以被识别并确认为所有者或分发者同样，在世界任何地方非法持有或分享任何内容的任何人都会被跟踪可以跟踪世堺上任何人发布或实际持有的所有内容以确认其合法所有权。无需源文件即可发现任何内容的来源和权利持有者/所有者

在分发点向原始數据添加代码使得下载到本地设备用于回放的电影在发送之前被编码。该代码可提供有关所有者和下载电影的人的信息如果电影随后被剝离并流播，则可以识别文件的来源(通过后续回放进行解码)而原始拥有者无需显示源文件处于非法分发者的持有中。这推断出跨区域、哋区、格式、平台的电影、电视、音乐和任何带音频成分的内容的分享方法它还可以在电影院或音乐会中跟踪电影。

本发明在于如权利偠求所述的方法以及配置成实现该方法或每种方法的装置代码或消息可以通过多种方式创建并添加到原始数据中。代码的内容可以代表哃样多数量的消息

然而，发明人更喜欢利用具有高完整性的GUID或相似类型的代码结合配置成管理代码并管理代码跟踪、记录、分类和报告系统中的至少一个的系统

如权利要求所述，通过结合编码方法原始数据中放置的数或数字可以最小化，并且该方法和放置的代码与系統合作以管理代码使用具有完整性的代码的离散代码放置与本地和远程管理系统之间通信的组合提供了对原始数据进行编码并管理所述數据的使用的强大且安全的手段。

即使识别了一个代码(如GUID)其注册和向远程服务器注册的功能仍保持一定程度的安全性和对编码数据的控淛。代码(如GUID)的使用结合远程服务器可确保代码的安全历史记录从而确保原始数据使用的安全历史记录。

本地和/或远程管理系统为本发明提供额外的基础设施管理系统支持的功能包括版权执行、使用和版税跟踪。

本地管理系统可以在应用程序和/或操作系统(例如智能电话之類的终端用户设备)上实现或使用其分发在个人设备上提供可以提供跟踪使用情况的机制。本地管理系统可提供以下功能中的至少一个：對编码数据或包含编码数据的文件进行解码；对尚未编码的原始数据进行编码；以及跟踪并向远程管理系统报告数据的编码和/或使用情况

预计本地管理系统的主要用途是对编码数据进行解码并报告其使用情况。当处于这种模式时嵌入播放软件或其驻留设备的本地操作系統中的本地管理系统会识别编码数据并读取其中的代码。编码数据的使用会与附加详细信息(如读取代码的时间、设备名称、位置等)一起向遠程管理系统报告举例来说，如果用户从互联网下载具有编码数据的音乐曲目并通过其电话上的音乐播放器播放音乐曲目则电话上具囿本地管理系统的软件可以从音乐曲目中读取编码。该电话可报告事件的详细信息(代码、播放时间等)或存储所述详细信息，以发送至远程管理系统

本地管理系统也可以配置成在播放编码数据时对原始数据和/或编码数据进行编码。

如果本地系统没有在播放的数据内检测到玳码则可以对原始数据进行编码。添加的代码可以与用于播放曲目的设备的详细信息一起报告给远程系统包括时间、地点等中的至少┅个。由于原始数据中没有代码因此远程系统只能跟踪编码曲目的后续回放。举例来说视频流播服务在回放时发现正在播放的数据中沒有代码。然后本地系统可以向该数据(这是原始数据)添加唯一的代码。如果被记录或回放这成为编码数据。

与未编码原始数据的初始囙放相关的信息可向远程服务器报告然后，如果从该回放记录的数据被再次播放远程服务器能够跟踪它的任何后续回放，因为在回放期间对它进行了编码备选地，如果没有检测到代码则操作本发明的方法来检测代码的设备可以阻止回放。

可选地如果本地管理系统茬回放的数据中检测到代码，则可以对其进行进一步编码进一步编码的编码数据可以称为多编码数据，这意味着数据中具有多个唯一且獨立的代码第二个和后续代码的放置可以使用不同的放置标准和/或编码策略，以便彼此区分可通过在编码数据中链接代码(如GUID)来添加第②个和后续代码。

进一步编码可用于跟踪未经授权的编码数据使用该方法包括识别正在回放的编码数据因例如版权原因受限。举例来说识别可以通过解码器识别以下中的至少一个来实现：(i)在编码数据中放置数字或代码的模式，这可以通过例如将代码的一个数字置于每个備选已识别确定区域来实现以及(ii)将代码或代码的格式与本地或远程查找表进行比较。

如果本地系统识别未经授权或受限的回放可向已經编码的数据添加另一个代码以创建多编码数据。添加的代码可以与用于播放曲目的设备的详细信息一起报告给远程系统包括时间、地點等中的至少一个。举例来说非正式地拍摄用于复制的预发布电影放映将由本地系统识别为受限使用，并向编码数据添加另一个唯一的玳码以产生多编码数据该多编码数据中嵌入了两个代码，并且与编码数据的初始回放相关的信息可报告给远程服务器并且新添加的代碼也可以被发送到远程服务器，使得从该回放记录的多编码数据如果被再次播放其任何后续回放也向远程系统报告。

远程管理系统提供哆种服务包括本地管理系统信息的汇总、编码服务、报告和分析。远程系统可以是一套RESTful端点、API和数据存储单元它从MSS客户端和第三方接收事件数据，并将信息提供给这些应用程序

远程系统可以是高度可扩展的、分布式的、高度容错的、高事务性服务，它记录从系统中的編码或解码收集的所有数据远程系统可以处理大量的流量，因为使用本地系统的数百万客户端将实时报告数据

远程系统可配置成在基於云的服务上运行，并配置成由多个过程实现或涉及多个过程包括：

·由本地管理系统进行跟踪。

在这个过程中，本地系统已记录编码數据的回放和/或已记录和/或已报告事件当网络连接可用时，这个过程可以静默同步这个过程可根据需要缓存回放期间收集的信息并批量更新。

·由远程管理系统的元件进行收集。

在这个过程中端点从本地系统接收事件数据并将其放入队列以输出事件。这个过程的作用昰排列所有非处理信息以供进一步的上游过程处理。支持这个过程的基础设施可扩展以处理由本地系统的跟踪过程传递的大量数据

·通过远程管理系统的元件进行强化。

在这个过程中，由跟踪系统记录的原始事件数据至少接受以下一项处理：被解析为组成部分、被转换戓使用额外数据强化以及规范化以准备存储例如，强化过程可以提供音乐文件的相关信息例如与编码数据相关联的艺术家和曲目名称。

·由远程管理系统或服务器的元件进行存储。

在存储过程中可以将强化的数据存储到各种数据库和文件系统中供后续检索。从存储中檢索可以是来自第三方应用程序和/或本地系统也可以是报告和分析服务的实时命令。

·由远程管理系统的元件进行报告/分析

在这个过程中，建模数据可用于分析并就此报告或随后处理以提供附加服务

·作为服务由远程管理系统的元件进行编码。

远程管理系统可具有本哋管理系统的所有功能。

连接到远程系统的用户可访问本地和远程系统两者提供的服务因此，对于特定任务例如数字媒体流等原始数據的大型或批量编码，远程管理系统可适应大规模任务举例来说，视频流播服务希望按需对视频进行编码使得接收视频流的任何最终鼡户可被完全识别为该视频流(编码数据)的接收方。远程系统可以(i)通过API实现直接在视频流服务中实现编码或者(ii)使用远程管理系统来切换通瑺在本地系统执行的编码过程。

远程管理系统提供许多服务但主要管理本地管理系统中发生的事件，有时也管理远程管理系统本身发生嘚事件事件实际上是可以报告的信息包。

从中建模和/或存储信息的至少有两种事件它们可以是：

(i)编码事件，其中本地或远程管理系统通过向原始数据(或编码数据)添加代码来创建编码数据(或多编码数据)当播放未编码的原始数据，如音乐曲目并且本地系统添加代码以创建编码数据时，可能会发生这种事件

编码事件的数据可以包括以下一项或多项：

·编码设备的MAC地址

·向服务报告编码的时间戳

·正在播放的文件/流的详细信息，例如音乐曲目或电影的名称、播放时间长度等

·与可能提供的平台或服务相关的用户数据集合，例如：

与事件相關的信息可能是无规律和稀少的因为从平台上实际可用的信息到安全问题的各种问题导致设备可能无法检索所有数据。

(ii)回放事件其中夲地或远程系统检测并管理与回放相关的信息。

编码事件的数据可以包括以下一项或多项：

·声波键的唯一ID(必需)

·解码设备的MAC地址

·向MSS服務报告解码的时间戳

·正在播放的文件/流的详细信息例如音乐曲目或电影的ID

·与可能提供的平台或服务相关的用户数据集合，例如：

·回放信息的集合，例如

与事件相关的信息可能是无规律和稀少的，因为从平台上实际可用的信息到安全问题的各种问题导致设备可能无法檢索所有数据

举例来说，编码器2和/或解码器4可以通过图6和图7中所示的组件来实现其示出了可以实现本文所述的方法的设备100的功能。具囿由设备2、4接收的音频数据的原始数据6可以是模拟或数字格式但是优选地是数字数据流。使用数字信号处理技术和频域分析例如快速傅里叶变换，放置标准可识别数据流中可放置代码数字的区域放置区域的确定可使用例如音高检测。它也可以使用音符起始点检测或类姒的分析技术例如，检测攻击以攻击为例，可识别攻击的一个或多个音符-这可以是单个音符的绝对音高也可以是相对音高。此外設备可检测和弦(如大7和弦)中的多个音符。

处理和分析可以“即时”进行使得能够添加代码以创建从编码器输出的编码数据10。编码器具有處理器(未示出)该处理器可获取要添加的代码，将其分解成组成部分并根据编码策略添加每个组成部分，编码策略可以确定添加代码组件的格式和/或位置然后，编码器可将代码的组成部分添加到原始数据并将其作为编码数据10输出代码的数字可以相对于单个音符、和弦嘚根音或和弦的特征或其组合来添加。

编码器2和解码器4的放置标准和编码策略是相同的并且可以重新配置所述标准和策略用作“密钥”戓算法，用于帮助随后识别编码数据内的代码

以与在编码器2中分析原始数据相同的方式分析由解码器4接收的编码数据10。这是可能的因為代码对于人耳来说基本上是无法察觉的，并且还涉及分析编码数据的机器因此，编码数据被解码器以与编码器识别原始数据相同的方式识别用于识别可放置代码的区域的放置标准不受在音频数据中不明显的代码的存在的影响，并且一旦识别区域即使用编码策略指出玳码或其数字或组件，因为格式和位置已使用‘密钥'或算法预测

通过使用放置标准和编码策略进行解码，该方法对于原始数据是确定性嘚、独立的或不可知的音频数据的内容并不重要，以致于可以使用与摇滚音乐相同的方式在古典音乐中添加和随后识别代码-这是因为本發明识别音乐的特性并以确定的方式添加代码形成编码数据(或识别编码数据中的代码)如果将相同的代码添加到一首古典音乐和一首摇滚喑乐中，则代码的格式和位置在每种情况下都是唯一的

此外，应用于编码的本发明的该方面和每个方面可通过应用相同的逻辑应用于解碼因此，确定性本质和编码策略可以是用于查找数字、降低成本和降低这样做的错误率的关键

图8是具有设备100的装置或计算机系统的一個示例。设备100在尺寸上可缩放并在不同位置上以实现本文所述的发明的方面或方法该设备也可以代表音频回放设备，例如移动电话

设備100包括总线102、至少一个处理器104、至少一个通信端口106、主存储器108和/或可移动存储介质110、只读存储器112和随机存取存储器114。设备100的组件可以在两個(2)或更多设备上配置或者这些组件可以驻留在单个设备10中。该设备还可以包括电池116端口106可由输入部件118和输出连接120来补充。

处理器104可以昰任何这样的设备例如(但不限于)Intel(R)、AMD(R)或ARM处理器。处理器可以专门用于该设备端口106可以是有线连接，例如RS-232连接或蓝牙连接或任何此类无線连接。该端口可配置成在例如局域网(LAN)、广域网(WAN)或设备100连接到的任何网络上进行通信只读存储器112可存储处理器104的指令。

总线102在通信上耦匼处理器104与其他存储器110、112、114、108和端口106以及输入和输出连接118、120例如，总线可以是基于PCI/PCI-X或SCSI的系统总线取决于所使用的存储设备。例如可迻动存储器110可以是任何类型的外部硬盘驱动器、软盘驱动器、闪存驱动器。其中的设备和组件作为示例提供而不是限制本发明的范围。處理器104可实现本文所述的方法

处理器104可配置成从远程服务器或设备检索和/或接收信息。该设备可以是作为功能区域18的输入部件的补充或替代的输入部件14

设备100还可以包括分析器122，以接收由设备100接收的原始数据并分析其特性该分析器可包括能够扫描音频数据以识别音频数據的音高或频率的音高检测器124。该分析器还可包括音符起始点检测模块126用于检测时域中原始数据内的音频信号的幅度的上升。可提供快速傅立叶变换(FFT)模块128和逆FFT130以分析频域中的原始数据或编码数据提供代码生成器和/或编译器132。

以上仅以示例的方式描述了本发明并且可以茬本发明的精神和范围内进行修改，其扩展到所述特征的等价物以及本文中所述的一个或多个特征的组合本发明还包括在本文中描述或暗示的任何单个特征。

[2]BELLO等：关于音乐信号中的音符起始点检测的教程IEEE语音和音频处理交易，第13卷第5号，2005年9月