Программа загрузки базы данных с сайта АвтоТрансИнфо
Программа предназначена для загрузки базы данных сайта autotransinfo.ru (АТИ) в книгу Excel.
Результатом работы программы является книга Excel, состоящая из 2 листов: «Организации» и «Контактные лица».
На листе «Организации» собрана вся информация об организациях, зарегистрированных на сайте autotransinfo.ru, а на листе «Контактные лица» - подробные сведения о сотрудниках каждой из организаций, и их контактные данные (имя, номер телефона и факса, ник в Скайпе, адрес электронной почты, номер ICQ)
Загрузка данных с сайта осуществляется в 3 этапа:
На этом этапе, для каждой из найденных фирм, в таблицу Excel попадают её код в АТИ (ID), название, номер в рейтинге АТИ, и балл надёжности: (запуск первого этапа выполняется нажатием кнопки «Загрузка списка фирм»)
Время загрузки данных во многом зависит от загруженности сайта, и от доступной скорости вашего интернет-соединения. Кроме того, некоторое влияние оказывает и производительность вашего компьютера.
На моём компьютере (WinXP 32 бит, Office 2010, интернет около 20 Мб/с) скорость загрузки данных составляет около 1000 фирм за 1 минуту.
В базе данных сайта АвтоТрансИнфо присутствует очень много организаций, и выгрузка всей базы данных заняла бы очень много времени.
К тому же, обычно при работы с этой базой данных необязательно иметь список всех фирм, а достаточно лишь тех из них, у которых рейтинг надежности превышает некоторое значение.
Поэтому программа скачивает с сайта на всю базу целиком, а лишь информацию о тех фирмах, рейтинг которых выше заданного в настройках:
Этап 2. Загрузка подробной информации по каждой фирме
После того, как перечень фирм загружен с сайта, программа приступает к загрузке детальной информации по каждой из организаций. (запуск второго этапа осуществляется нажатием кнопки «Загрузка подробной информации о фирмах»)
В списке организаций заполняются такие столбцы, как: ИНН, Профиль деятельности, Страна, Область, Город, Адрес, Сайт, Примечание:
Время загрузки информации с сайта, как говорилось ранее, зависит от загруженности сайта, и от скорости вашего соединения и интернетом.
На моём компьютере скорость загрузки подробной информации о фирмах составляет около 400 фирм за 10 минут.
По всем столбцам базы данных возможна фильтрация (если, к примеру, понадобится выбрать всех экспедиторов из Омской области, или всех перевозчиков из Красноярска с рейтингом надежности 5)
Аналогично можно отфильтровать данные и на листе «Контактные лица».
Этап 3. Распознавание адресов электронной почты сотрудников фирм
Особенностью сайта АвтоТрансИнфо является вывод адресов электронной почты в виде изображений (а не в виде текста).
Это создаёт дополнительные трудности при формировании базы данных, поскольку нужно автоматически распознавать текст на тысячах изображений.
В программе реализованы 2 способа распознавания текста (рекомендуется способ «Быстрое распознавание»), и корректировка распознанных адресов email (ибо качество распознавания онлайн-сервисов OCR далеко от идеала)
- 26314 просмотров
Комментарии
Эта программа уже давно не продаётся и не поддерживается, - т.к. сайт АТИ поменялся, - теперь есть ограничение на количество просмотренных страниц.
так а где скачать саму программу . что то как то я либо не вижу либо не нахожу. если естьвозможность скиньте прямуюссылку
если так много заказывают тогда вопрос - почему у вас на сайте до моего заказа такой программы не было в продаже, и второй вопрос - почему выложена как раз редация за которую я оплатил. как раз ценно не то что бы разбираться в этих кодах, а в том что в итоге получится-а это уже работа заказчика направить куда нужно. у меня есть все редакции в процессе разработки и переписка - я в любом суде могу доказать свои авторские права. я бы на вашем месте поосторожнее кидался словами - вы ради заказчиков же и их оплаты ( что по вашему мнениею ничего не стоит) тут и трудитесь и сайт этот сделали .
Добрый день где можно скачать программу для ати для пробы , как работает?
Во-первых, программа не продаётся, т.к. она не универсальная, и давно уже не работает в том виде, в каком делалась изначально (т.к. сайт сильно поменялся) Ваше "придумал необходимость" - ничего не стоит, - с такими заказом (база данных АТИ) мне ежегодно человек по 5 обрашается. Ваша доля? Мы не обсуждали никакую долю при разработке программы, я вам не передавал никаках прав на программы, чтобы теперь не иметь возможности кому-то делать подобное. Хотите заработать? ну так продавайте программу самостоятельно Я же просто выложил статью в программе как пример выполненной мной ранее работы.
интересно выходит я эту прогу заказал, придумал необходимость, оплатил, оттестил , сейчас она всем продается ? где моя доля собтвенно ?
Здравствуйте! Можно у Вас заказать парсер АТИ?
Испытать прогу в действии
Здравствуйте, Виталий. Видимо, опять сайт поменялся. Техподдержка этой программы не производится, ввиду отсутствия на неё спроса, — потому новые версии с исправлениями выпускаться не будут.
Можно под заказ настроить универсальную программу «Парсер сайтов», чтобы загрузить с сайта ATI нужные данные (лицензия на программу «Парсер сайтов» стоит 2000 руб + настройка под конкретный сайт около 1000 руб)
При загрузке висит на 10% и больше ничего не происходит. Данных 0.
Написать - можно попробовать. О стоимости рано говорить, - нет подробного задания (что и как должно работать) По заданию, сформулированному в 5 словах, стоимость не оценить даже приблизительно.
А можно написать прогу для постоянного обновления грузов в ати су?хотелось бы знать стоимость ее
Уведомляю, что 28 октября 2013 г. в 08:31 стало доступно обновление программы «AutoTransInfo» (версия 1.0.6).
Изменения в новой версии программы:
восттановлена работоспособность программы, после изменения сайта ATI - отключено распознавание адресов email с картинок
Рекомендуем обновить программу до последней версии!
Заказ отправил. Что интересует указал
Смотря какие данные нужны, по каким регионам и отраслям. Оформляйте заказ, прикрепляйте пример желаемой базы, и подробно описывайте, что и откуда надо скачивать, - тогда смогу озвучить стоимость. Есть готовые базы, - напишите, что конкретно вас интересует.
Понятно. Сколько будет стоить у вас заказать такую программу и сколько потребуется времени? Заранее благодарю.
Здравствуйте, Аркадий. Сайтов много разных, на их все программ не напасёшься. Но отсутствие готового решения, - не проблема, всегда ведь можно сделать программу под заказ.
Добрый день! Есть ли у вас программа для формирования базы данных с других сайтов, например с b2blist.ru?
Сразу скажу - теперь распознавание адресов email в программе не работает (когда программа разрабатывалась, оба онлайн-сервиса OCR работали. Сейчас - оба не работают)
В остальном - программа работает.
Здравствуйте Сколько стоит полная версия?
Здравствуйте, Павел. Да, на сайте доступна версия версия с ограниченной функциональностью. Приобретение полной версии подразумевает оплату. Впрочем, вы можете воспользоваться кодом demo в целях тестирования - для активации в программе полнофункционального режима на 48 часов.