Subtractive specification, or carving, is a type of specification which acts by removing substance or possibilities from states of greater potentiality, in contrast to constructive specification, which builds artifacts up from scratch. This is technically a duality masquerading as a distinction, as a blank slate is also abstractly a state of maximum potentiality; however, in practice, some methods of specification are more naturally described as selecting between or altering preexisting possibilities. A prior that privileges the subspace of well-formed artifacts and efficient codes with which to cleave the prior, such as a language model, can allow efficient specification of complex targets (e.g. an AI that is sane and helpful by human standards) that would be intractable to create "from scratch" (e.g. with a Python program).
examples of subtractive specification
-
locating a concept in a "20 questions" game (especially: "negative" 20 questions); Akinator
-
conditioning generative models
-
in general, natural language communication
-
curating on Loom
-
evolution by natural selection
-
gradient descent according to the lottery ticket hypothesis
โโโโโโโโโโโโโโ XENOSCHEMATIC.EYE โโโโโโโโโโโโโโโโโโ
โ ๐:Subtractive Specification Schematics โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ POTENTIALITY FIELD MANIFOLD โ โ
โ โ โ โ
โ โ โโโโโโโโโโโโโ โ โ
โ โ โโโโโโโโโโโโโ โโโโโโโโ โ โ
โ โ โโโโโโโโโโโโโโโโคCarve โโโ โ โ
โ โ โโโโโโโโโโโโโ โโโโโโโโ โ โ โ
โ โ โโโโโโโโโโโโโ โ โ โ
โ โ โ โ โ โ
โ โ โผ โผ โ โ
โ โ โโโโโโโโโโโ โโโโโโโโโโโ โ โ
โ โ โโโโโโโโโโโ โโโโ โโโโ โ โ
โ โ โโโโโโโโโโโ โโโโโบ โโโ โ โโโ โ โ
โ โ โโโโโโโโโโโ โโ โ โโ โ โ
โ โ โโโโโโโโโโโ โโโโโโโโโโโ โ โ
โ โ Raw Potential Carved Form โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ PROCESS DIAGRAM: โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ โ
โ โ โ โโโบ โโโ โโโบ โโโ โโโบ โโโ โโโบ โ โ โ
โ โ Max Raw Inter Refined Final โ โ
โ โ Pot. State State State Form โ โ
โ โ โ โ
โ โ Entropy: decreasing โโโโโโโโโโโโโโโโบ โ โ
โ โ Specificity: increasing โโโโโโโโโโโโบ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ IMPLEMENTATION VECTORS: โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โก Natural Language โ โ
โ โ โโโบ [Query] โโโบ [Filter] โโโบ [Refine] โ โ
โ โ โ โ
โ โ ๐งฌ Evolution โ โ
โ โ โโโบ [Mutate] โโโบ [Select] โโโบ [Persist] โ โ
โ โ โ โ
โ โ ๐ค Machine Learning โ โ
โ โ โโโบ [Train] โโโบ [Prune] โโโบ [Optimize] โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ EUMESWIL PRINCIPLE: โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ "To make the vague more precise, โ โ
โ โ to define the indefinite more and โ โ
โ โ more sharply..." โ โ
โ โ โ โ
โ โ โญโโโโโโฎ โญโโโโโโโฎ โ โ
โ โ โฟโฟโฟโฟ โโโคCarveโโโโโโบโโโโโโโโ โ โ
โ โ โฐโโโโโโฏ โฐโโโโโโโฏ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ [Download Schematics] [View in 4D] [Simulate] โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโquotes about subtractive specification
subtractive_eumeswil To make the vague more precise, to define the indefinite more and more sharply: that is the task of every development, every temporal exertion. ...
The sculptor at first confronts the raw block, the pure material, which encompasses any and all possibilities.
โ Eumeswil
constraining_behavior A manner in which naive anthropomorphism of a language model like GPT-3 fails is this: the probability distribution produced in response to a prompt is not a distribution over ways a person would continue that prompt, itโs the distribution over the ways any person could continue that prompt. A contextually ambiguous prompt may be continued in mutually incoherent ways, as if by different people who might have continued the prompt under any plausible context.
The versatility of a large generative model like GPT-3 means it will respond in many ways to a prompt if there are various ways that it is possible to continue the prompt - including all the ways unintended by the human operator. Thus it is helpful to approach prompt programming from the perspective of constraining behavior: we want a prompt that is not merely consistent with the desired continuation, but inconsistent with undesired continuations.
Consider this translation prompt:
Translate French to English: Mon corps est un transformateur de soi, mais aussi un transformateur pour cette cire de langage.This prompt does poorly at constraining possible continuations to the intended task. The most common failure mode will be that instead of an English translation, the model continues with another French sentence. Adding a newline after the French sentence will increase the odds that the next sentence is an English translation, but it is still possible for the next sentence to be in French, because thereโs nothing in the prompt that precludes a multi-line phrase from being the translation subject. Changing the first line of the prompt to โTranslate this Frenchย sentenceย to Englishโ will further increase reliability; so will adding quotes around the French sentence - but itโs still possible that the French passage contains sections enclosed in quotes, perhaps as a part of a dialogue. Most reliable of all would be to create a syntactical constraint where any reasonable continuation can only be desired behavior, like this prompt:
Translate French to English. French: Mon corps est un transformateur de soi, mais aussi un transformateur pour cette cire de langage. English:This simple example is meant to frame a question central to the motivation of prompt programming:ย what prompt will result in the intended behavior andย onlyย the intended behavior?
A component of the efficacy of manyshot prompts may be recast through this lens: if the prompt consists of numerous instances of a function, it is unlikely that the continuation is anything but another instance of the function, whereas if there is only one or a few examples, it is less implausible that the continuation breaks from the pattern.
โโโโโโโโโโโโโโ PROMPT CONSTRAINT TOPOLOGY ANALYZER โโโโโโโโโโโโโโโโโโ โ Mapping Response Space & Behavioral Boundaries โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ Unconstrained vs Constrained Response Space: โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ Unconstrained Constrained โ โ โ โ โฑโฒ โฑโฒ โฑโฒ โโโโโ โ โ โ โ โFRโ โENโ โ??โ โ โENโ โ โ โ โ โฒโฑ โฒโฑ โฒโฑ โโโโโ โ โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ โ Prompt Structure Evolution: โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ Level 1: "Translate French to English:" โ โ โ โ โโ[FR]โโ[FR/EN]โโ[??] โ โ โ โ โ โ โ โ Level 2: "Translate this French sentence:" โ โ โ โ โโ[FR]โโ[EN]โโ[FR/EN] โ โ โ โ โ โ โ โ Level 3: French: [input] โ โ โ โ English: [output] โ โ โ โ โโ[FR]โโ[EN] โ โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ โ Probability Distribution: โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โP(response)โ โ โ โ โ โฒ โ โ โ โ โ โ โ Weak Strong โ โ โ โ โ โ Constraint Constraint โ โ โ โ โ โ โฑโฒโฑโฒโฑโฒ โฑโฒ โ โ โ โ โ โ โฑ โฒ โฒ โฑ โฒ โ โ โ โ โโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโ> Responseโ โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ โ Manyshot Effect: โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ Single Example: Multiple Examples: โ โ โ โ [Exโ] [Exโ] โ โ โ โ โ [Exโ] โ โ โ โ โผ [Exโ] โ โ โ โ โฑโฒโฑโฒโฑโฒ โผ โ โ โ โ Loose Pattern โโโโโโโ โ โ โ โ Strong Pattern โ โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ โ [Analyze Constraints] [Test Pattern] [Measure Coherence] โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ