Интересная инфографика от Гугл, показывающая как работает поиск в Гугл и как осуществляется фильтрация результатов, какие сайты попадают в бан...
Полезно для тех, кто занимается продвижением сайтов и SEO.
На презентации работающие ссылки, которые показывают различные примеры и разъяснения.
В режиме реального времени показываются примеры сайтов, которые за последние полчаса были выкинуты из индекса Гугл, с объяснеинем причин.
Для нас (в рунете) увы пока еще эту опцию не включили, но уже можно ознакомиться по картинкам в презентации и статье Майка Бергмана, каким теперь будет страница с поисковыми результатами.
Как видим, страница поиска будет расширена добавлением блоков результатов по сущностям, выделенным из поискового запроса, из Википедии, Freebase, Factbook и еще нескольких источников.
Майк Бергман выделил пока только такой скудный список базовых сущностей (типов):
Entity types that I observed were in these categories:
People
Chemical Compounds
Directors
Some Companies
Some National Parks
Places
Musicians/Musical Groups
Actors
Some Government Agencies
Many Local Businesses
Animals
Movies
Albums
Notable Landmarks
Who Knows What Else
Entity types that I expected to see, but did not find include:
Products
Most Companies
Who Knows What Else
Songs
Most Government Agencies
Concepts
Non-government Organizations
Пока оценить такую страницу можно только пройдя по этой ссылке:
Вышла статья-рассуждение про веб реального времени.
Итак, основное определение из вики:
The real-time web is a set of technologies and practices that enable users to receive information as soon as it is published by its authors, rather than requiring that they or their software check a source periodically for updates.
т.е. веб реального времени - это набор технологий и практик, которые позволяют пользователям получать информацию сразу, как только она публикуется авторами, и не требует от пользователей или их ПО производить периодическую проверку ресурсов (источников) на предмет обновлений.
Все предлагаемые в данный момент приложения, по сути, не являются системами реального времени. На самом деле они так или иначе, но проводят проверку ресурсов, только с очень высокой периодичностью.
Topsy - поисковая система по Twitter`у. В качестве результатов поиска выдает ранжированные результаты (ссылки), фотографии т твиты. Ранжирование производится по количеству и качеству ретвитов, которые получили эти ссылки.
Поисковая система Topsyпредоставляет API-доступ к результатам поиска, а также к данным типа "влиятельности" (авторитетности) автора и т.п. Доступ к API свободный, ограничение на пользование - 10 000 запросов в час. Правда при этом, из-за трудоемкости и затратности, 1 поисковая операция приравнивается к 10 запросам. Но и 1 тысяча поисковых запросов в час - тоже неплохо :). Есть возможность и коммерческого использования.
Поисковую систему Topsy относят к классу систем поиска в режиме реального времени, осуществляющих поиск по социальным медиа.
Topsy также предлагает:
- плагины для броузеров Firefox и Internet Explore, которые показывают самые последние и горячие новости-твиты
- виджет поиска, которые веб-разработчик может разместить на своем сайте. Вот такой примерчик поиска по запросу "semantic search engine". Можете протестировать и позадавать свои запросы.
Yahoo провела «трехмерное» исследование поиска - «кто ищет», «что ищет» и «как ищет». Работа исследователей была представлена на конференции WSDM в Гонконге.
Измерения определялись при помощи демографических данных: пола, возраста, дохода и уровня образования, совокупности различных запросов, которые были привязаны к тематикам и географическим регионам. Вопрос «как» искали пользователи, изучался при помощи таких показателей как длина сессии и число запросов за сессию.
Ознакомиться с частью исследований можно при помощи сервиса Yahoo! Clues. Там показываются самые популярные текущие запросы, связанные запросы, и статистика по демографическим данным. Полные данные исследования доступны по ссылке research.yahoo.com (pdf) .
И нашелся один умелец, который за 6 часов написал 321 строчку html-кода (+ javascript), без серверной части!, которая в общих чертах повторяет систему QWiki. Т.е. клон fQWiki представляет собой ОДНУ html-страницу, использует AJAX и прочие возможности web 2.0 - библиотеку JQuery, Google API`s, API поиска в англоязычной версии википедии, и возможности Semantic Web - обращение к dbpedia, выполнение SPARQL-запросов. Система fQWiki , в отличие от монстра QWiki - бесплатна, имеет открытый код (Open Source) и не претендует на миллиардные вложения :).
Рекомендую посмотреть код - очень красивое решение.
Ознакомиться с fQWiki (и взять с разрешения автора код) можно на странице проекта fQWiki. :)
Надо признать, что fQWiki предоставляет более подробную информацию, чем QWiki :)
Google готов принять активные действия против «контентных ферм». По сообщению одного из главных инженеров и специалистов по качеству поиска, Метта Катса, компания готова ввести дополнительные метрики, позволяющие отсеять некачественный контент и снизить количество спама в поисковых результатах.
По словам Каттса: «Сегодня англоязычного спама в результатах Google в половину меньше, чем было пять лет назад, а спама на других языках даже меньше, чем на английском. Тем не менее, мы заметили небольшое увеличение количества спама в последние месяцы, и, несмотря на общий прогресс, которого мы достигли, мы примем новые меры для дальнейшего увеличения качества поиска».
Некоторое время Google никак не реагировал на жалобы пользователей по поводу качества результатов, в которых зачастую встречается контент, формально не являющийся спамом, однако созданный не в лучших интересах пользователей.
Среди мер, которые будут приняты, Каттс назвал изменения алгоритма, которые будут призваны понизить ранжирование сайтов, которые копируют чужой контент и выдают его за свой или просто собирают его автоматически. В качестве источника информации о таких сайтах будут выступать пользователи, установившие новое расширение для браузера Chrome, при помощи которого они смогут маркировать сайты как «спам».
Итак, все-равно, человеческая оценка "семантики", как ни крути.
Напомню, что идея ручного проставления рейтинга не нова - для большинства броузеров уже давно есть плагин сообщества Web Of Trust (Читать подробнее про WOT - Web Of Trust...) Очень рекомендую установить и пользоваться, а также самим активно проставлять рейтинги неблагонадежным сайтам. Одним кликом плагин устанавливается к броузеру - и вы всегда будете предупреждены про качество сайтов, а на красные - вас и не пустит.
В сентябре 2010 года в Сан-Франциско прошло мероприятие TechCrunch Disrupt, которое представляет новые инновационные интернет-компании и их проекты.
Одним из номинантов конкурса стал проект QWiki.
QWiki - платформа, которая аккумулирует разные типы контента и позволяет воспроизводство его на разных устройствах.
Как утверждает докладчик, данная система работает со знаниями. (- !?)
Разработчики выделяют 3 ключевые особенности системы:
1. В QWiki контент генерируется полностью автоматически без участия человека.
2. Контент, воспроизводимый системой полностью озвученый, т.о. полностью обработанный, логически связанный и сгенерированный.
3. Контент полностью интерактивный.
Хочу поставить ударение на том, что в оригинале докладчик вместо слова контент употребляет термин знания, что на мой взгляд терминологически не верно. Это всего лишь контент, поэтому буду употреблять именно этот термин.
Создатели системы утверждают о том, что это "семантическое приложение", и сравнивают его с поисковой системой Google, поскольку QWiki - это прежде всего поисковая система, которая автоматически создает видео-сюжеты (видео-статьи) "на лету" на основании результатов поиска. При этом это вики-система, т.е. она направлена на предоставление справочной (фактографической) информации - о людях, странах, городах, искусстве, популярных темах, погодных данных, мероприятиях, картах и т.п. Предполагается, что система может выдавать и заданные персональные данные пользователя, напр. напоминалка по календарю персональных событий и т.п.
Вся информация выдается приятным женским голосом и сопровождается видео-фрагментами.
Система в качестве исходной информации использует открытые источники, такие как фотографии из Flickr, блоги, твиты, и т.п., и, на основании обработанной информации из Википедии, генерирует видео и аудио- "сюжет".
Уникальность системы, по заявлениям авторов, в полной автоматизации процесса. (Прим. автора. Стоит все-таки не забывать, что контент википедии создают люди, и он иногда бывает не совсем правильным).
Следующий естественный шаг в эволюции Интернета - использование социального свободного контента блогов, фотографий, видео и т.п. для сбора, анализа, переработки и генерации новой (точнее - по-новому представленной) информации.
Система пока представлена альфа-версией.
В общих чертах ознакомиться с проектом можно из видео (англ.)
Подробнее о проекте можно узнать на сайте проекта qwiki.com
ИМХО - авторы системы достаточно амбициозны, однако, не за горами ответный ход главного игрока - поисковика Google.
Делая упор на видео и аудио информацию, система становится более "тяжелой", что не всем и не всегда подходит.
Откидывать "обычный" текстовый поиск не стоит. Также нельзя не учитывать объемы необходимых вычислений и обрабатываемых данных, да и саму сложность задачи, на которую замахнулись авторы.
Тут можно вспомнить опыт предыдущего амбициозного "убийцы" Гугла - PowerSet - где он сейчас?? И что они смогли сделать?...
Добавлено 24-01-2011
Первое знакомство с QWiki (Alpha-версия) создает впечатление работы c интерактивной мультимедийной вики-системой. Система поддерживает только английский язык и имеет довольно маленькую базу. Ориентирована на визуальную и аудио- подачу энциклопедической информации общего характера в сжатой форме. На мой взгляд, очень подходит для эффектной подачи информации детям (моему сыну понравилось очень - просто, доходчиво и круто! :)), т.е. система может стать хорошей платформой для обучающей системы.
По мнению англоязычных коллег - система дает очень поверхностные знания...
...it is slick and superficial and dumbs people down. Sure, Qwiki may wind up being “successful”, but then lots of things are successful (take McDonald’s, but that doesn’t mean that 4000-calorie supersized meals are good for society).
И снова вспоминается классика - идеи летают в воздухе, их надо только быстро подхватить...
Идея и алгоритм, которую так долго обговаривали и прорабатывали у нас - гугл взял да и реализовал... Правда частично, но они на правильном пути. Им, естественно это проще...
Google фильтрует результаты по уровню читаемости
2010-12-14 12:37
Google добавил новый фильтр для поисковых результатов, который может помочь расположить результаты в соответствии с уровнем сложности текста. По словам представителя Google, этот фильтр может быть полезен различным категориям пользователей, в частности, учителям, которые хотят найти материалы различного уровня сложности.
(Про уровни читабельности-сложности текстов написано в статье Рогушиной Ю.В. "ИСПОЛЬЗОВАНИЕ КРИТЕРИЕВ ОЦЕНКИ УДОБОЧИТАЕМОСТИ ТЕКСТА ДЛЯ ПОИСКА ИНФОРМАЦИИ, СООТВЕТСТВУЮЩЕЙ РЕАЛЬНЫМ ПОТРЕБНОСТЯМ ПОЛЬЗОВАТЕЛЯ", источник eprints.isofts.kiev.ua/235/1/Рогушина_1.doc, и поскольку я принимала участие в тестировании этих критериев, могу сказать, что гугл поленился - их решение слишком упрощенное... А идея очень хорошая и дает неплохие результаты. Статья 2-х или даже 3-х годичной давности.)
Кроме фильтрации сайтов, инструмент позволяет пользователям сравнить уровень читаемости различных документов, выбрав опцию «указать уровень читаемости» ("annotate results with reading levels") и введя имя домена в форму.
Технология, позволяющая делить весь контент на три категории: от «базовой» до «продвинутой», была разработана при участии педагогов, которые разделили тексты на три категории и создали определенную базу, на основании которой была выведена статистическая модель и алгоритм определения сложности текста.
* Mathematische Annalen
* Journal of Optimization Theory and Applications
* Mathematische Zeitschrift
* Inventiones Mathematicae
* Mathematical Programming
* Mathematical Intelligencer
* Archiv der Mathematik
* Numerische Mathematik
* Probability Theory and Related Fields
* Bulletin of Mathematical Biology
* Manuscripta Mathematica
* Applied Mathematics and Mechanics
* Journal of Mathematical Sciences
* Journal of Mathematical Biology
* Acta Mathematica
* Israel Journal of Mathematics
* Journal of Geometric Analysis
* Journal d'Analyse Mathematique
* Optimization Letters
* Journal of Fixed Point Theory and its Applications
* Complex Analysis and Operator Theory
* Mathematics in Computer Science
* Japanese Journal of Mathematics
* Qualitative Theory of Dynamical Systems
* Logica Universalis
* Mathematics and Financial Economics
* Mathematical Programming Computation
* Functional Analysis and other Mathematics
* International Journal of Computer Vision
* Machine Learning
* Scientometrics
* Data Mining and Knowledge Discovery
* Algorithmica
* Visual Computer
* Machine Vision and Applications
* AI & SOCIETY
* Computing
* Ethics and Information Technology
* Journal of Real-Time Image Processing
* Swarm Intelligence
* Service Oriented Computing and Applications
* Cryptography and Communications
* Journal of Multimodal User Interfaces
Wolfram Alpha представил версию поиска для Android
2010-10-08 13:56
Wolfram Alpha развивает мобильное направление поиска. В качестве нового шага на пути освоения мобильного пространства, создатели поисковой системы представили приложение для операционной системы Android.
По словам разработчиков, Wolfram Alpha для мобильного имеет такую же способность к извлечению данных, что и полная версия для PC, а также обладает полным доступом к базе, состоящей из «10 триллионов элементов данных» и включающей «десятки тысяч» моделей вычисления.
Приложение поддерживает как текстовый, так и голосовой ввод. Областями поиска, в которых система себя зарекомендовала наилучшим образом, являются математика, прикладные науки, инженерия и спорт. Приложение стоимостью $1.99 работает только на Android OS 1.6 и выше.
Цена приложения для Android во много раз ниже цены программы для Apple App Store, которая появилась в прошлом году. Тогда стартовая цена поисковой программы равнялась $49.99. Низкие продажи заставили компанию пересмотреть ценовую политику и снизить стоимость установки почти в 25 раз.
По материалам Wolfram Alpha Blog
Источник: www.searchengines.ru (русск.)
Итак, про систему Swingly было уже написано ранее .
Это новая самообучающаяся система поиска фактов.
Наконец пришло разрешение на бета-тестирование системы.
Задем вопрос "What is the future of Internet?"
Результат получился ошеломляющий. Система выдала около двадцати результатов, а также определение, что такое интернет:
Internet is a(n) academic discipline, computer network, digital medium, discipline, mass medium, system, telecommunication, topic, wide area network
Также очень толковое разъяснение:
The Internet is a global network of interconnected computers, enabling users to share information along multiple channels. Typically, a computer that connects to the Internet can access information from a vast array of available servers and other computers by moving information from them to the computer's local memory. The same connection allows that computer to send information to servers on the network; that information is in turn accessed and potentially modified by a variety of other interconnected computers.
Question: What did Ben Scott say about The future of the Internet?
Answer:
Sentence: "The future of the Internet as we know it depends on maintaining freedom and openness online," said Ben Scott, policy director of Free Press.
Question: What failed to agree on the future of Internet governance?
Answer:
Sentence: When the 2003 summit failed to agree on the future of Internet governance, the Working Group on Internet Governance (WGIG) was formed to come up with ideas on how to progress.
When the 2003 summit failed to agree on the future of Internet governance, the Working Group on Internet Governance (WGIG) was formed to come up with ideas on how to progress.
Question: What is lauded and championed as the future of the internet?
Answer: video content
Sentence: Although video content is lauded and championed as the future of the internet, there is still a lot of dissension over whether it has a place in corporate blogging.
video content
Although video content is lauded and championed as the future of the internet, there is still a lot of dissension over whether it has a place in corporate blogging.
Question: What did Seth Finkelstein post on the future of the Internet?
Answer: Seth Finkelstein's answers
Sentence: Seth Finkelstein has posted his answers to a Pew survey on the future of the Internet, and Google making us stupid (or not) in a thought provoking yet grounded (which is rare on the Web-admit it!) post.
URL: http://paradox1x.org
Source: QUAB3
Seth Finkelstein's answers
Seth Finkelstein has posted his answers to a Pew survey on the future of the Internet, and Google making us stupid (or not) in a thought provoking yet grounded (which is rare on the Web-admit it!) post.
Question: What did Jonathan Zittrain at The Future of the Internet opin?
Answer:
Sentence: On the matter of greater moment--Will the ax fall on Scrabulous--Jonathan Zittrain at The Future of the Internet answers his own question in the affirmative based on the name alone, opining that by calling it "rainbows and buttercups” instead of “Scrabulous” there’d be little claim of brand confusion but noting the "residual claim that the Scrabulous game board infringes the copyright held in the Scrabble game board."
On the matter of greater moment--Will the ax fall on Scrabulous--Jonathan Zittrain at The Future of the Internet answers his own question in the affirmative based on the name alone, opining that by calling it "rainbows and buttercups” instead of “Scrabulous” there’d be little claim of brand confusion but noting the "residual claim that the Scrabulous game board infringes the copyright held in the Scrabble game board."
Question: What did the OECD pick up for the future of the Internet economy?
Answer: the term and shown activities such as publishing recommendations
Sentence: The OECD has picked up the term and shown activities such as publishing recommendations for the future of the Internet economy, for example (see the activities section).
URL: http://en.wikipedia.org/wiki/Future_Internet
Source: QUAB3
the term and shown activities such as publishing recommendations
The OECD has picked up the term and shown activities such as publishing recommendations for the future of the Internet economy, for example (see the activities section).
Question: What did Professor Jonathan Zittrain see as the future of the Internet?
Answer:
Sentence: Professor Zittrain sees the rise of the relatively “tethered appliances” (e.g. iPhones, TiVos, and XBoxes) as the future of the Internet, promoted by companies and adopted by consumers because, when connected to the cloud, they seem to offer security, economies of scale or increased reliability.
URL: http://blurringborders.com/
Source: QUAB3
Professor Zittrain sees the rise of the relatively “tethered appliances” (e.g. iPhones, TiVos, and XBoxes) as the future of the Internet, promoted by companies and adopted by consumers because, when connected to the cloud, they seem to offer security, economies of scale or increased reliability.
Question: What became increasingly important in the future of Australian Internet connectivity?
Answer: IPv6
Sentence: With the Asia-Pacific Network Information Centre's Geoff Huston stating that IPv4 addresses will be exhausted prior to October 2010, IPv6 is becoming increasingly important in the future of Australian Internet connectivity.
IPv6
With the Asia-Pacific Network Information Centre's Geoff Huston stating that IPv4 addresses will be exhausted prior to October 2010, IPv6 is becoming increasingly important in the future of Australian Internet connectivity.
Doug Gramling's three children
Pastor Doug Gramling said his three children are part of the Internet generation that will eventually decide the future of worship.
Question: What did Maria Rosalia Vicente say about the internet of the future?
Answer:
Sentence: “The broadband quality study shows us which countries have made real moves towards the internet of the future," said Maria Rosalia Vicente, a professor at the University of Oviedo, in a statement.
“The broadband quality study shows us which countries have made real moves towards the internet of the future," said Maria Rosalia Vicente, a professor at the University of Oviedo, in a statement.
Question: What is a future Internet country code top-level domain?
Answer: .mf
Sentence: .mf is a future Internet country code top-level domain (ccTLD) that is likely to be created for Saint Martin , following the decision on September 21, 2007 by the ISO 3166 Maintenance Agency to allocate MF as the ISO 3166-1 alpha-2 code for Saint Martin .
URL: http://en.wikipedia.org/wiki/.mf
Source: unknown
.mf
.mf is a future Internet country code top-level domain (ccTLD) that is likely to be created for Saint Martin , following the decision on September 21, 2007 by the ISO 3166 Maintenance Agency to allocate MF as the ISO 3166-1 alpha-2 code for Saint Martin .
Question: What is a future Internet country code top-level domain?
Answer: .bl
Sentence: .bl is a future Internet country code top-level domain (ccTLD) that is likely to be created for Saint Barthélemy , following the decision on 21 September 2007 by the ISO 3166 Maintenance Agency to allocate BL as the ISO 3166-1 alpha-2 code for Saint Barthélemy .
URL: http://en.wikipedia.org/wiki/.bl
Source: unknown
.bl
.bl is a future Internet country code top-level domain (ccTLD) that is likely to be created for Saint Barthélemy , following the decision on 21 September 2007 by the ISO 3166 Maintenance Agency to allocate BL as the ISO 3166-1 alpha-2 code for Saint Barthélemy .
Question: Who made some kind of statements to the Financial Times about the future power of the Internet?
Answer:
Sentence: Google CEO Eric Schmidt made some kind of statements to the Financial Times about the future power of the Internet to be a BS detector when it comes to politicians’ statements.
Google CEO Eric Schmidt made some kind of statements to the Financial Times about the future power of the Internet to be a BS detector when it comes to politicians’ statements.
Question: Who made some kind of statements to the Financial Times about the future power of the Internet?
Answer:
Sentence: Google CEO Eric Schmidt made some kind of statements to the Financial Times about the future power of the Internet to be a BS detector when it comes to politicians’ statements.
Google CEO Eric Schmidt made some kind of statements to the Financial Times about the future power of the Internet to be a BS detector when it comes to politicians’ statements.
Question: When will this course introduce the history and development of the genre in pulp magazines to its future on the internet?
Answer: from its early days
Sentence: This course will introduce the history and development of the genre from its early days in pulp magazines to its future on the internet.
URL: http://literaturenetwork.org/?m=200903
Source: QUAB3
from its early days
This course will introduce the history and development of the genre from its early days in pulp magazines to its future on the internet.
Question: What will the advent of cable TV, DVR & Tivo, and the Internet continue to change in the future?
Answer: TV
Sentence: The advent of cable TV, DVR & Tivo, and the Internet has drastically changed the television landscape today, and will continue to change TV in the future.
URL: http://knowmoremedia.com/
Source: QUAB3
TV
The advent of cable TV, DVR & Tivo, and the Internet has drastically changed the television landscape today, and will continue to change TV in the future.
Question: Where did governments and the private sector set the stage for a showdown on the future of Internet governance?
Answer: with the United States
Sentence: BRUSSELS, Belgium-The European Union insisted Friday that governments and the private sector must share the responsibility of overseeing the Internet, setting the stage for a showdown with the United States on the future of Internet governance.
with the United States
BRUSSELS, Belgium-The European Union insisted Friday that governments and the private sector must share the responsibility of overseeing the Internet, setting the stage for a showdown with the United States on the future of Internet governance.
Результаты можно откорректировать, указать свое согласие.
Результат меня довольно приятно удивил - мнения многих специалистов про направления развития интернета, информация свежая.
На запрос "How many documents are in the Internet?" я получила забавные ответы:
Во-первых, система сообщила в резюме, что список ответов скорее всего не соответствует моему запросу. Опять таки, в качестве информации, было дано определение и разъяснение, что такое интернет. А среди ответов были и просто перлы типа "The internet is shit.", но несколько ответов все-таки по теме, хотя и без указания конкретного числа: "But the internet is pretty big...", "The Internet is huge...".
Мне система понравилась. В отличие от других монстров типа Wolfram Alpha и других, претендующих на роль Google Killer App, эта система хотя бы частично смогла ответить на мои вопросы.
Отобрала список базовой литературы по онтологиям: Изучаем онтологии 1. Базовой книгой по всей видимости является Handbook on Ontologies...
Использование материалов сайта
Информация, представленная на сайте, может свободно использоваться и распространяться при обязательном указании активной прямой ссылки на сайт http://in-search-of-semantics.blogspot.com/, а тексты научных статей – при указании авторства и ссылки на бумажную публикацию.
При размещении текстов статей на своих сайтах, блогах и пр., пожалуйста, присылайте ссылки. Комментарии перед публикацией предварительно модерируются.
Хотите сказать спасибо автору? Не откажусь :) - Поставьте ретвит на пост, или другую социальную закладку. Спасибо.
2 
0 Powered by socialditto
Posts
