RU

(Полу)автоматическое преобразование текста в игру/фильм (анимацию)

vedaviz #595 27.06.2012 06:25 55 comments 32001 views

Такой вопрос для участников форума - нравится ли вам такая идея - программы, которая сама (или почти сама) будет преобразовывать текст в игру или фильм (анимацию, мультфильм).
http://sourceforge.net/projects/vedaviz/
здесь я выкладываю последние версии программы.
Сейчас в программе можно открыть текст, делать по нему поиск, добавлять ссылки для быстрого отыскания предложений во всем тексте, сопоставление с картинками из внетренней базы данных и добавление пользовательских картинок (из графических растровых файлов), и плюс - простая анимация. Анимация пока недоделана - для ее реализации нужно отображать смену кадров, причем по-разному для разных видов движений, и по-разному - для разных объектов/субъектов (ну или предметов, героев, существ проще говоря).

Главное, что самое интерсное должно быть в программе - она должна находить в предложениях существительные и глаголы (для этого нужен словарь таких слов + соответствующие графические модули, возможно в будущем в 3d анимации opengl/directx). Разобранное предложение можно представить потом в виде “шахматной нотации”. Объясню - есть такой файловый формат для шахмат - Portable Game Notation (PGN, не путать с картинками png - portable network graphics). И в программах которые его поддерживают можно такой файл открыть или записать. Если сыграть игру в шахматы, программа запишет историю всех ходов, и запишет это в файл. Потом можно опять открыть все такие игры (их уже есть в интернете дестяки тысяч даже за предыдущие столетия, за 15-й век в т ч например), и показать их пошагово. То есть получается такая вот анимация - программа считывает текст в шахматной нотации, но он потом преобразуется - буквенные обозначения соответствующих фигур шахмат преобразуются в комманды для этих фигур, и фигуры начиная со стартовой позиции каждый раз производят разные ходы, если открывать разные файлы. Вобщем, это одно дело - шахматы.
Другое дело - есть такая программка - spinnake Story Machine - в ней можно писать текст уже посложнее, использовать глаголы, существительные, артикли, числительные, даже местоимения. Потом слова преобразуются в картинки, а если указаны глаголы, то эти картинки анимируются, производится движение, то есть существа двигаются по экрану - получается анимация. Вобщем как в шахматах. Теперь если эту же идею посмотреть шире - получится, что если в программе будет не просто скажем так - 6 видов фигур (как в шахматах) и не 1,5-2 десятка существительных (как в стори машине), а если добавить несколько сотен (хотя бы) а то и тысяч картинок и существ - то будет уже намного интереснее. Например другая программа - http://drupal.widgit-online.com/node/add/pagesymbolbody - позволяет вводимый текст преобразовывать в картинки “на лету” (есть бесплатная версия на сайте - вобщем программа такая образовательная, и поскольку у меня программа также неприбыльная - я включил в нее также картинки из виджит). Виджит поддерживает уже не только картинки для существительных и картинки глаголо (жаль, они там вообще никак не анимируются и не дивгаются), но картинки для любых частей речи, однако - только это только более менее “детские” слова - сложный философский текст с больших количеством абстрактых слов будет неопознан. Однако неизвестные слова можно заменять синонимами или аналогичными картинками (в виджит можно для некоторых слов выбрать другую картинку из набора, но нельзя добавить свою, они все “прошиты” в программу что ограницивает возможности). Итак, Пока у меня такая идея - находить в тексте слова, которым соответствуют картинки в виджите, и для них показывать картинки на экране. Что-то подобное я уже сделал - картинки просто добавляются в случайном месте на экране. Есть аналогичная программа - называется scribblenauts - там также можно написать то или иное слово - и существо (или даже Бог если написать слово Бог, God) появляется на экране, и что-то происходит. Но в этой программе также можно писать только отдельно слова и словосочетания, но не целый большой текст или книгу.
И еще есть конечно же такие языки программирования как Элис или Скретч - для детей, но там можно визуально выбрать трехмерные (Alice) объекты, задать им движение и получится простая “игра” (скорее анимация). Но это также только часть моей идеи. Элис выигрывает за счет графики, но там нет также модуля чтения текстов.

А теперь о текстовых играх. Вобщем я даже попробовал сделать программу преобразования текста в игру - в текстовом виде… Получилось что-то вроде mind-map (диаграммы связей). Но понятно что часть информации теряется если нет соотвтетствия графического. Еще та же Алиса в стране чудес говорила - “книга без картинок - не интересная”. (И еще я помню есть такие системы обучения где любое даже сложное предложение можно выразить в “демо-наборе”, то есть вместо любого слова можно подставить какие-то объекты, бусть даже условные, но лучше конечно подставлять реальные соответствия что возможно в играх или фильмах, мультиках).

Вобщем такая идея. Похоже что она не нова - я поднял эту тему - мнея давали разные ссылки на похожие программы - например - http://www.xtranormal.com/ - также пишет что можно “Tell your story with any of these collections!” - выбирая из 1-2-х наперед заданных героев, и просто подставляя им текст который они говорят. Но эта программа имеет только “300xp” в бесплатной версии, что значит что за эти 300xp можно “купить” только простые преобразовалки текст-ролик. Да и ограниечние похоже только в том что они могут только говорить, только один-два персонажа, и никакого интерактива (да, фильм - так и написано “text to movie”). Вобщем я понимаю что есть подобные программы, и также что никто не заменит мышление. ПОэтому текстовые игры, и просто книги - это классика, без них не было бы ни фильмов, ни игр, ни мультиков (скорее всего, ведь даже сценарий надо вначале написать на бумаге текстово, не так ли?).

На в любой их таких программ я виже одно ограничение - или же уклом=н в сторону языка, или в сторону только графикиЮ, анимации или игры. Но так чтобы все это было связанно - нашел только в виджит. Собственно я вижу свою программку как что-то лучше чем виджит (или пусть как добавление анимации к виджит, и расширение его к виду 3d, + анализ словосочетаний существительное-глагол как в “шахматной натации”). Собственно вобщем-то кажется не такая сложная. Понтяно что есть готовые машинные переводчики - они разбирают досттаочно неплохо тексты, и даже переводят их с языка на язык. Но также факт - они не переводят все на 100%. Но анализ предложений делают. Для этого им помогают языки программирования Искуственного интеллекта вроде lisp/prolog. то же и с графикой - когда в игры добавляют ИИ для персонажей - чтобы ходить, что-то обходить, что-то делать. С другой стороны, не сложно просто сделать анимацию персонажей в 3d - для этого есть даже бесплатные программы вроде daz3d - из нее можно “перегнать” анимацию персонажа в другой фалйовый формат, а потом - в язык программирования и в opengl/directx (через разные конвертировщики графических форматов и анимации). Есть даже целый виртуальный мир - secondlife - где покупают и продают разные такие трехмерные объекты и модификации к ним (виды движений например). То есть понятно что это также может быть с одной стороны прибыльно для разработчиков, с другой - за это должен платить пользователь. Лично для себя я хотел бы такую программу бесплатно (и поскольку я такой не нашел - проще сделать свою). Сейчас она доступна бесплатно (но использует картинки из виджит, поэтому я не могу ее “расркутить” и продавать), и в ней доступны разные возможности из указанных мной программ, может быть в лучшем (или упрощенном виде - это касается конечно отсутствия трехмерной графики, сложной анимации, и пока нет разбора предложений).

Но чтобы продолжать все это делать я ищу людей которые в этом заинтересованы. Если это никому не нужно - то я не буду это делать для других (возмжно только для себя - чтобы читать текст с “авто-иллюстрациями”, по крайней комикс получается так точно - если только записывать всю “историю ходов” как в шахматах.) Сделать из этого мультик или фильм/игру - это только дело техники и умения/знания (ну и времени) - есть игровые движки, разные технологии которые могут расширить такую программу до чего-то более серьезного.

Если кому интетесно пишите. Я ни в коем случае не хочу быть “конкурентом” подобных программ или продуктов для создания игр или фильмов и т д. Есть даже мысль такая - могу все делать с открытыми исходными кодами, если кто-то к этому подключится и сможет делать какие-то части более качественно, так что в результате будет что-то хорошее… Ведь мне также иногда говорят что такое невозможно сделать за жизнь. Но я показываю своей программой - что это возможно. Но нужны единомышленники.

Отозвитесь все кому интересно (ну или все кто прочитал и кому не интересно также). Это нужно для статистики и для принятие решений - что дальше делать в этом проэкте (или не делать). По крайней мере чтобы не “изобретать велосипед” опять, не делать то что уже сделано. Я понимаю что те же текстовые игры - это прообраз современных графических игр. Раньше можно было вводить текстовые комманы - и видеть только текстовый результат. Теперь вывод всего - графический. Но у текстовых игр одно безусловное преимущество - не надо ограничивать себя в идеях, в технических средствах. Фактически можно очень просто создать любую текстовую игру за считанные минуты - нужен только текст и просто добавить интератив.

Но мне все-таки будущее игр видится в сочетании их с графикой. Ведь даже в QSP я вижу использование картинок.
(P.S. Вопрос к разработчикам QSP - а вам интересен такой модуль - добавления графики для многих других слов? добавление анимации? или вы считаете это ущербным для геймплея?)

Всем спасибо наперед.

Не проходите мимо - напишите что-нибудь

goraph:

Хорошая идея! Если картинки искать в интернетах автоматически, их большая часть будет носить ярко выраженный порнографический характер, что сделает сервис забавным и востребованным!

хм если вы заметили… то тексты бывают разные, не только такие о к рых вы г оворите. да я потому и думаю если в тексте упоминаются разные демоны то зачем их показывать. но кажется что игры где убивают демонов очень популярны. или убивают другую нечисть. но у меня прежде всего более образовательные серьезные цели. а то что вы говорите. я бы конечно такие картинки и слова не включал в программу но если хотите сами делайте такие программы но я бы вам не советовал.

Ajenta:

И опрос какой-то странный, непонятно куда жать если ты против или даже за :))

так получилось

Идея хорошая, но черпать визуальные образы из открытых источников означает не иметь общего визуального стиля. Та же Scribblenauts берет объекты из заранее нарисованного пула объектов, создавая иллюзию - и не более того - что игрок “создает” объекты, вводя их названия на клавиатуре.
Если игрок/читатель будет взаимодействовать с задуманным автором визуализатором текста, он неизбежно столкнется с диссоциированным восприятием образов, нарушающим общий литературный стиль. Тем более это будет проявляться в тексте, где объекты и образы обладают большим числом признаков. В формате QSP это вряд ли можно реализовать, слишком громоздкий алгоритм, как мне кажется (впрочем, я не программист).
Чтобы не нарушать стиль повествования, имеет смысл либо заранее подготовить пул объектов в едином стиле для выбора из перечня в соответствии с текстом (что заведомо ограничивает свободу и превращает движок в подобие тайлового), либо “подогнать” существо текстовой игры под принципы работы движка-визуализатора. Мол, так и задумано, что у нас возникают разношерстные картинки.
Проблема в балансе между смыслом текста и уровнем достаточной и уместной абстракции визуализатора.
Относительно похожести иероглифов на обозначаемые ими понятия - это иллюзия.

HIman:

Любое графическое изображение это индивидуальное творчество, нельзя понадергать из платного/бесплатного контента объектов картинок или 3д моделек и показать их как серию сменяющих другу друга слайдов (в усложненной форме с движением, анимацией 3д). Как минимум все должно быть в одной канве/стиле, как максимум передавать то, что выражено текстом - смысл, задумку автора, а не разбор текста на слова и превращением слов в картинки.
Для граф наполнения игр все же проще найти художника, или научиться самому.
Так что увы, такая программа будет не востребована.

и да и нет. если сам человек не художник то как ему самому учиться. потому есть программы все это упрощающие . например daz3d. в ней же есть дополнение анимацию так например можно создать персонажа и задать ему анимацию например позы йоги медитации или движение ходьба. для того чтобы работать в таких программах не надо особо как художнику знать анатомию хотя не помешает конечно.

главную сложность вижу в определении в тексте именно тех слов которые нужно визуализировать. автоматически . ведь просто выделить в тексте все части речи
а для этого есть программы part of speech taggers
еще мало чтобы отправить текст сразу на визуализацию . хотя виджит так и делает.
но чтобы было похоже хотя бы на комиксы надо немного отшлифовать технологию. я сейчас над этим думаю.

vedaviz,
рекомендую к прочтению: Комбинаторный взрыв.

Ajenta:

Сие в корне нереально и невозможно, даже с супер базой картинок. Я даже не говорю о том, что лингвистически не получится разобрать предложение, чтобы получить правильный образ, по которому можно будет отыскать картинку в базе. Да и сделать такой парсер с либой картинок - титаническая работа непосильная даже для сотни человек. Да ещё и по стилю все картинки будут разными, или же нужно будет где-то находить и забивать в базу картинки в едином стиле. И это тоже нереально, потому что словами мы можем написать больше, чем нарисовать.

Резюме - такая прога возможна, но имхо изначально дико ущербна. Так что проще и лучше автору находить картинки для своей игры самому, чем ею пользоваться.

в корне все реально . если смотреть в корень всего а не только программы. но это философия. да картинки расовые усложняют. это прошлый век. но некоторые картинки можно бы а лучше 3d. все еще зависит от текста. конечно открывать в этой программе труды ленина и маркса или фрейда я не предлагаю. но священные писания нормально исллюстрируются по ним делают и фильмы и даже игры с разными богами героями. но это надо делать осторожно чтобы не напута ть чего . атом понятно что режим бога в игре это совсем не значит что вы бог.

по поводу стиля картинок. ну и что пустьразные стили. если это трехмерные объекты их можно вс е преобразовать в один формат получится все гармонично.

в том что вы написали не вижу больших проблем.

чтобы сопоставить картинку и слово мне нужно программировать совсем немного. в словарь добавить одно слово а в базу картинок одну картинку. ключ для картинки потом составляется с словом и когда это слово встречается в тексте то по ключу выводится картинка. ну можно еще их нум еровать но это хуже.

если вместо картинки в базе будут трехмерные объекты будет круче. для анимации в т ч. по крайней мере видит похож на генератор уровней предметов и существ для игр. то же и для фильмов комиксов. мультиков .

Nex:

vedaviz,
рекомендую к прочтению: Комбинаторный взрыв.

я понял а как насчет
ru.wikipedia.org/wiki/ИИ

еще
ru.wikipedia.org/wiki/Игровой_искусственный_интеллект
ru.wikipedia.org/wiki/Обработка_естественного_языка
ru.wikipedia.org/wiki/Лисп
диалект GOAL используется для высокодинамичных трёхмерных игр;
ru.wikipedia.org/wiki/Пролог_(язык_программирования)
Будучи декларативным языком программирования, Пролог воспринимает в качестве программы некоторое описание задачи или баз знаний и сам производит логический вывод, а также поиск решения задач, пользуясь механизмом поиска с возвратом и унификацией.

goraph:

Хорошая идея! Если картинки искать в интернетах автоматически, их большая часть будет носить ярко выраженный порнографический характер, что сделает сервис забавным и востребованным!

вот читайте здесь gcup.ru/forum/69-18576-1
там есть ответы для вас не обижайтесь

То есть в идеале должен просто получиться фильм, где все актёры похожи на персонажей игры, делают те же действия и говорят ещё и своими голосами весь текст диалогов.

Простите, но сие утопия.

Ajenta:

То есть в идеале должен просто получиться фильм, где все актёры похожи на персонажей игры, делают те же действия и говорят ещё и своими голосами весь текст диалогов.

Простите, но сие утопия.

нет не утопия.
смотрите сайт -
http://www.xtranormal.com/

там что-то похожее - выбираете актеров, задаете им текст и фильм готов

Ajenta:

говорят ещё и своими голосами весь текст диалогов.
.

автосинтез речи (текст в речь) - это не самое сложное. ставите движок и текстт произносит компьютер (та же говорилка http://www.vector-ski.ru/vecs/govorilka/ Govorilka- это небольшая программа для чтения текстов голосом. Она может прочитать вслух любой текст, который Вы ей дадите на любом языке, любым установленным голосом. Запишет текст в MP3 файл.)

Ajenta:

То есть в идеале должен просто получиться фильм, где все актёры похожи на персонажей игры, делают те же действия и говорят ещё и своими голосами весь текст диалогов.

Простите, но сие утопия.

мало того, интересно было бы чтобы не просто показать текст к-рый говорят актеры (субтитры), и даже не произнести его, а именно визуализировать слова, даже прямую речь.

Я не говорю что нужно каждое слово вроде предлога показывать какием-то иероглифом или значком, но все эти даже служебные слова что-то обозначают, значит их можно использовать для построения “сценария” и преобразования его в фильм-игру.

Если подойти с другой стороны - то можно так сделать. Допустим у вас есть книга, текст. И совсем не сложно из нее сделать текстовую игру - просто нужно добавить (перекрестные/..) ссылки в тексте - и вот уже книга превратилась в “программу” или игру. Но - только текстовую. КОгда туда добавить картинки - пусть по одной картинке на страницу - это уже графичекая игра. Теперь да, сложность - кто будет рисовать эти иллюстрации на кадой странице?

Но я говорю, что есть “визуальные словари” - именно в них каждому слову соответствует та или иная картинка. Так, целую страницу текста можно превратить не просто в одну картинку, а в целый набор картинок. А учитывая, что некоторые из них могут быть (и точно будут) глаголами - то достаточно только добавить анимацию - и картинки одживают, начинают двигаться - как в игре. Технически это также просто как скажем заменить слово в тексте на анимированный смайлик. В чем сложность??? :D :=D =) :rolleyes: :rolleyes: :B:

Допустим у вас есть книга, текст. И совсем не сложно из нее сделать текстовую игру - просто нужно добавить (перекрестные/..) ссылки в тексте - и вот уже книга превратилась в “программу” или игру.

Это, гхм, преувеличение.

Не понимаю я, почему дебаты на форуме ТЕКСТОВЫХ игр…

Log in or Register to post comments.